Hudi初始

一、Hudi是什么

Hudi(Hadoop Upserts anD Incrementals):用于管理分布式文件系统DFS上大型分析数据集存储。 Hudi是一种针对分析型业务的、扫描优化的数据存储抽象,它能够使DFS数据集在分钟级的时延内支持变更,也支持下游系统对这个数据集的增量处理。  

二、Hudi功能

Hudi是在大数据存储上的一个数据集,可以将Change Logs通过upsert的方式合并进Hudi Hudi对上可以暴露成一个普通Hive或spark表,通过API或命令行可以获取到增量修改的信息,继续供下游消费 Hudi保管修改历史,可以做时间旅行或回退 Hudi内部有主键到文件级的索引,默认是记录到文件的布隆过滤器。 Hudi初始  

三、Hudi特性

Hudi使得用户能在Hadoop兼容的存储之上存储大量数据,同事它还提供两种原语,不仅可以批处理,还可以在数据湖上进行流处理 update/delete记录:Hudi使用细粒度的文件/记录级别索引来支持update/delete记录,同时还提供写操作的事务保证。查询会处理最后一个提交的快照,并基于此输出结果。 变更流:Hudi对获取数据变更提供了一流的支持:可以从给定的时间点获取给定表中已updated/inserted/deleted的所有记录的增量流,并解锁新的查询类别。 Hudi初始  

四、Hudi基础架构

Hudi初始 1.通过DeltaStreammer、Flink、Spark等工具,将数据读取到数据湖存储,可使用HDFS作为数据湖的数据存储 2.基于HDFS可以构建Hudi的数据湖 3.Hudi提供统一的访问spark数据源和flink数据源 4.外部通过不同引擎,如:spark、flink、presto、hive、impala、Aliyun DLA、AWS Redshit访问接口 Hudi初始      

四、历史节点

Hudi初始    

五、新架构:湖仓一体

Hudi对于flink友好支持以后,可以使用Flink+Hudi构建实时湖仓一体架构,数据的时效性可以到分钟级,能很好的满足业务准实时数仓的需求 通过湖仓一体、流批一体,准实时场景做到了:数据同源、同计算引擎、同存储、同计算口径 Hudi初始  
上一篇:postgre基于行数的外连接及python连接postgre数据库


下一篇:【漏洞复现】Linux Polkit本地权限提升漏洞(CVE-2021-4034)