传统的ETL通常采用批处理的方式,一般来说是每天的夜间进行,当天的数据要到第二天才可以获得。随着数据仓库技术的逐步成熟,企业对数据仓库时间延迟的要求更高,希望达到零延迟,也就出现了实时ETL。
实时ETL指的是将业务数据源中产生的数据实时地抽取加载到数据仓库,为数据挖掘系统、OLAP联机分析处理、商务智能软件等提供更加有效的数据支持。
实时ETL的目标是在业务系统的数据发生变化后,以最少的延误保持数据仓库更新。
实时ETL常用的解决方案:
微批处理(MIcroBatch ETL)、企业应用集成(EAI)、CTF(Capture,Transform and Flow)、EII