有基础了解大致情况， 详细请参考原文

 

DW ：data warehouse 翻译成数据仓库DW  数据分层，由下到上为  DWD,DWB,DWSDWD：data warehouse detail 细节数据层，有的也称为 ODS层，是业务层与数据仓库dao的隔离层DWB：data warehouse base 基础数据层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。DWS：data warehouse service 服务数据层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据，一般是宽表。

 

数仓分层

ODS：Operation Data Store 原始数据

DWD(数据清洗/DWI) data warehouse detail 数据明细详情，去除空值，脏数据，超过极限范围的 明细解析 具体表

DWS(宽表-用户行为，轻度聚合) data warehouse service ----->有多少个宽表？多少个字段 服务层--留存-转化-GMV-复购率-日活 点赞、评论、收藏;  轻度聚合对DWD

ADS(APP/DAL/DF)-出报表结果 Application Data Store 做分析处理同步到RDS数据库里边

数据集市：狭义ADS层； 广义上指DWD DWS ADS 从hadoop同步到RDS的数据

 

1. ODS层

原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。

2. DWD层数据解析

对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）

3. DWD层

 1） 商品点击表

2 ）商品详情页表

3 ）商品列表页表

4 广告表

5 消息通知表

6 用户前台活跃表

7 用户后台活跃表

8 评论表

9 收藏表

10 点赞表

11 启动日志表

12 错误日志表