1、数仓架构介绍

神策数据：

云上数仓：https://www.aliyun.com/solution/datavexpo/datawarehouse

 

2、数仓的输入输出

输入系统：用户埋点行为数据、后台产生的业务数据、爬虫数据。

输出系统（BI）：报表系统、大屏展示、用户画像系统、推荐系统

 

3、系统流程

 

4、框架选型

1）Apache：运维麻烦，需要对组件兼容性进行维护

2）CDH：国内使用最多，不开源，对中、小公司没有影响（建议使用）

3）HDP：开源，可以进行二次开发，但是没有CDH稳定，国内使用较少

 

5、版本选择

Apache、CDH

 

6、集群规模（实习项目也可）

每条消息1K，压缩后不0.1K

Kafka所用的空间计算

 

 

7、数仓分层架构

 

ods 原始数据层 存放原始数据，保持原貌不做处理

dwd 明细数据层 对ods层数据清洗（去除空值，脏数据，超过极限范围的数据）

dws 服务数据层 轻度聚合  形成宽表

ads 应用数据层 具体需求

 

8、为什么对数仓分层

分层优点：复杂问题简单化、清晰数据结构（方便管理）、增加数据的复用性、隔离原始数据（解耦）