Hive中的ODS、 DWD、 DWS、 ADS 数仓分层

1、数据仓库

  我们常提的数仓(DataWarehouse),就是在我们已有的数据库(他是对数据的存储)的基础之上,增加了对数据的OLAP(On-Line Analytical Processing),支持复杂的数据分析操作,更侧重决策支持,提供直观易懂的查询结果,而数据库更着重的是事务处理。换句话讲,就是在数据库已经大量存在的情况下,进一步挖掘数据资源,它包括了一整套的ETL、调度、建模在内的完整理论体系。

  一句话概括:  

    数据库面向事务处理任务;数据仓库中的数据是按照一定的主题域进行组织主题。

2、数据库和数仓区别:

 

  DW 数据库
用途 专门为数据分析设计的,涉及读取大量数据以了解数据之间的关系和趋势 用于捕获和存储数据
特性 数据仓库 事务数据库
适合的工作负载 分析、报告、大数据 事务处理
数据源 从多个来源收集和标准化的数据 从单个来源(例如事务系统)捕获的数据
数据捕获 批量写入操作通过按照预定的批处理计划执行 针对连续写入操作进行了优化,因为新数据能够最大程度地提高事务吞吐量
数据标准化 非标准化schema,例如星型Schema或雪花型schema 高度标准化的静态schema
数据存储 使用列式存储进行了优化,可实现轻松访问和高速查询性能 针对在单行型物理块中执行高吞吐量写入操作进行了优化
数据访问 为最小化I/O并最大化数据吞吐量进行了优化 大量小型读取操作

3、Hive中的数据分层

  理论上一般分为三个层:ODS数据运营层、DW数据仓库层、ADS数据服务层。基于这个基础分层之上,再提交信息的层次,来满足不同的业务需求。

  3.1数据运营层(ODS):原始数据

  ODS:Operation Data Store 数据准备区,也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份,这称为ODS层,是后续数据仓库加工数据的来源。
  ODS层数据的来源方式:
    1.业务库 : 经常会使用sqoop来抽取,例如每天定时抽取一次。
      实时方面,可以考虑用canal监听mysql的binlog,实时接入即可。
    2.埋点日志 :  日志一般以文件的形式保存,可以选择用flume定时同步
      可以用spark streaming或者Flink来实时接入
    3.kafka也OK
      消息队列:即来自ActiveMQ、Kafka的数据等.

  3.2数据仓库层(DW):数据清洗

  DW数据分层,由下到上为DWD,DWB,DWS。

  1>  DWD:data warehouse details 细节数据层,是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗和规范化的操作。
数据清洗:去除空值、脏数据、超过极限范围的
  2>  DWB:data warehouse base 数据基础层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。
  3>  DWS:data warehouse service 数据服务层,基于DWB上的基础数据,整合汇总成分析某一个主题域的服务数据层,一般是宽表。用于提供后续的业务查询,OLAP分析,数据分发等。
用户行为,轻度聚合
主要对ODS/DWD层数据做一些轻度的汇总。

  3.3数据服务层/应用层(ADS):出报表

  ADS:applicationData Service应用数据服务,该层主要是提供数据产品和数据分析使用的数据,一般会存储在ES、mysql等系统*线上系统使用。
我们通过说的报表数据,或者说那种大宽表,一般就放在这里。

 

上一篇:短信接口-- java


下一篇:详解Java 去除json 数据中的null