数据仓库项目的整体框架分层
数仓项目最主要的就是分层一般都会分为四层:
ODS层：操作数据（最原始的数据）层 —OD贴源层
DWD层：数仓明细层(将会原始数据明细化) —DWD明细层
DWS层：数仓汇总层(将明细表轻聚合成宽表) —DWS宽表层
ADS层： 应用服务层—(根据宽表层整理汇总上报领导决策)—ADS报表层
一:ODS 贴源层: 最贴近源数据点的一层
ODS 贴源层:flume/sqoop获取原始数据埋点日志,解析json,数据清洗,将数据表格化(数据的事件字段用map集合装),关联geohash地理位置维表id-mapping用户唯一标识两个字典.数据的集成和回补
二:DWD明细层各种各样的明细表
DWD明细层:会写出各种明细表,例如全局事件明细表,广告事件明细表,流量事件明细表,交互事件明细表.
三:DWS:宽表层:关联各种维表使得表变得很宽
DWS宽表层:会group by 各个字段的角度,例如:商品信息宽表,订单信息宽表,物流信息宽表,评论信息宽表
四:ADS:报表层:上报领导进行决策的表会轻聚合各种维表
流量多维报表,日新统计报表,日活统计报表,用户留存报表,用户活跃报表,广告概况报表,转化漏斗报表