ETL(Extract-Transform-Load 的缩写,即数据抽取、转换、装载的过程),是BI/DW的核心,按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据库转化的过程,是实施数据仓库转化的重要步骤。
-
E(Extract-抽取):从各类原始的业务系统中读取数据,这是所有工作的前提。
-
T(Transform-转化):按照已设计好的规则抽取数据进行转换,统一不同的数据格式。
-
L(Load-转载):将转化好统一格式的数据装载到数据仓库中。
-
BI(Business Intelligence-商业智能):
? 指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
-
DW(Data Warehouse-数据仓库):
? 是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合,是实现商务智能的基础平台。
-
数据仓库与数据库区别:
- 数据库主要用于事务处理,数据仓库主要用于数据分析。
- 数据库存储的一般为原始数据源,而数据仓库存放的则是从原始数据中提炼出来有价值,目的的数据。
- 数据库是面向应用,事务驱动的生产型系统,其实时性高,数据检索量相对较少。
- 数据仓库是面向主题和分析决策的,其实时性要求低,但数据检索量比较大,存储的是大量的历史数据和当前数据。