数据仓库分层

2023-10-13 08:15:58

1、为什么要分层

在未分层的情况下，数据之间的耦合性与业务耦合性是不可避免的，当源业务系统的业务规则发生变化时，可能影响整个数据的清洗过程。这就好比把衬衫、裤子、袜子、外套分类存放整理就比打散之后不分类的整理哪一种更让人舒服，更容易找呢？

2、分层的好处

数据分层简化了数据清洗的过程，每一层的逻辑变得更加简单和易于理解，当发生错误或规则变化时，只需要进行局部调整。

通过大量的预处理来提升应用系统查询速度，进而提升的用户体验，因此数据仓库会冗余大量的数据，是典型的空间换时间的策略。这好处还真有点像衣服归类存放的好处，有些东西不用刻意记，想一种日常现象理解更容易

3、数据仓库分层

其实各种分层无论是接下来常用的分层还是阿里的分层，只有适合当前业务的分层才是最好的分层；有的公司业务没有那么麻烦，就只要把数据理清楚，分清楚就OK，不一定非要按着这个分层；

3.1、数据操作层-ODS

全称是Operational Data Store,又叫数据准备层，数据来源层；日志或者关系型数据库，并通过Flume、Sqoop、Kettle等etl工具导入到HDFS，并映射到HIVE的数据仓库表中。主要用于原始数据在数据平台的落地，这些数据从数据结构，数据之间的逻辑关系上都与原始数据保持一致，在源数据装入这一层时，要进行诸如业务字段提取或去掉不用字段，脏数据处理等等。可以理解为是关系层的基础数据

1) 数据结构:数据机构与原始数据基本保持一致

2) 存储周期:ODS默认保留近30天的数据

3) 表命名规范:[层次]_[主题]_[表内容]_[分表规则]

ODS层数据的来源方式：

1）业务库

经常会使用sqoop来抽取，比如我们每天定时抽取一次。在实时方面，可以考虑用canal监听mysql的binlog，实时接入即可。

2）埋点日志

线上系统会打入各种日志，这些日志一般以文件的形式保存，我们可以选择用flume定时抽取，也可以用用spark streaming或者storm来实时接入，当然，kafka也会是一个关键的角色。

3）其它数据源

这和具体的业务相关

3.2、公共的信息层-DIM

主要存放公共的信息数据,比如国家代码和国家名，地理位置等信息就存在DIM层表中，对外开放,用于DWD，DWS和APP层的数据维度关联。可以理解为一些字典表、单独存放

1) 数据机构:维表,以国家ID等字段为主键

2) 存储周期:按需存储,一般会保留历史至今所有的数据

3) 命名规范:

所有维度表都在DIM下面。

dim.dim+_业务描述

举例: dim.dim_year 时间维表

3.3、数据明细层-DWD

全称是Data Warehouse Detail，用于源系统数据在数据平台中的永久存储。它用以支撑DWS层和DM层无法覆盖的需求，比如像用户通话详单类业务需求。该层的数据模型不建议开给不懂技术的业务人员直接使用。这一层主要解决一些数据质量问题和数据的完整度问题。比如商场的会员信息来与不同表，某些会员的的和数据可能不完整等等问题,我们可以再这一层做一些屏蔽

1) 数据结构:数据结构与源系统保持一致

2) 存储周期:保留历史至今所有的数据

3) 命名规范:dwd.dwd_业务描述+_时间粒度

举例: dwd.dwd_sales_d 销售详细日志

3.4、数据汇总层- DWS层

全称是Data Warehouse Service，主要包含两类汇总表:一是细粒度宽表，二是粗粒度汇总表。我们拿商场售卖举例，那么包含基于订单、会员、商品、店铺等实体的细粒度宽表和基于维度组合(会员日进场汇总、会员消费汇总、商场销售日汇总、店铺销售日汇总等)的粗粒度汇总表。这层是对外开放的，用以支撑绝大部分的业务需求，汇总层是为了简化源系统复杂的逻辑关系以及质量问题等,这层是的业务结构容易理解。各个层面的工程师容易上手。dws层的汇总数据目标是能满足80%的业务计算。

1) 数据机构: 宽表:以业务实体进行展开,将与业务有关的相关字段和属性进行预关联,预处理和预计算,对业务实体进行拉伸形成宽表.汇总表:维度组合形成的汇总表

2) 存储周期:原则上保留历史至今全部的数据

3) 命名规范:

所有数据汇总层的表都放在DWS下面

dws.dws_业务描述+_时间粒度+_sum

举例:dws.dws_trans_d_sum 交易日汇总表

4、数据仓库分层-阿里

4.1、ODS 数据准备层

功能：ODS层是数据仓库准备区，为DWD层提供基础原始数据，可减少对业务系统的影响

建模方式及原则：从业务系统增量抽取、保留时间由业务需求决定、可分表进行周期存储、数据不做清洗转换与业务系统数据模型保持一致、按主题逻辑划分。

4.2、DWD 数据明细层

功能：为DW层提供来源明细数据，提供业务系统细节数据的长期沉淀，为未来分析类需求的扩展提供历史数据支撑

建模方式及原则：数据模型与ODS层一致，不做清晰转换处理、为支持数据重跑可额外增加数据业务日期字段、可按年月日进行分表、用增量ODS层数据和前一天DWD相关表进行merge处理。

4.3、DW(B/S) 数据汇总层

功能：为DW、ST层提供细粒度数据，细化成DWB合DWS；DWB是根据DWD明细数据经行清晰转换，如维度转代理键、身份证清洗、会员注册来源清晰、字段合并、空值处理、脏数据处理、IP清晰转换、账号余额清洗、资金来源清洗等；DWS是根据DWB层数据按各个维度ID进行粗粒度汇总聚合，如按交易来源，交易类型进行汇合

建模方式及原则：

1) 聚合、汇总增加派生事实；

2) 关联其它主题的事实表，DW层可能会跨主题域；

3) DWB保持低粒度汇总加工数据，DWS保持高粒度汇总数据；

4) 数据模型可能采用反范式设计，合并信息等。