如何构建云原生的开源大数据平台 | 产品新功能速递

云原生开源大数据的新产品和新功能「速递」:企业数据云Cloudera CDP 正式商业化,0元免费测试火热申请中;Elasticsearch、实时计算Flink版、EMR、DLF重磅功能升级。更多优惠等您领取。

如何构建云原生的开源大数据平台 | 产品新功能速递

分享嘉宾:潘禹丞,阿里云产品运营

视频地址:https://yqh.aliyun.com/live/bigdataop


「新产品发布」企业数据云 Cloudera CDP 平台

本次发布提供覆盖更全场景的统一管理组件,让 CDP、CDF 和 CDSW 形成统一管理平台,从而提供更加专业的数据安全和治理能力。简化多用户数据访问和分析,始终对数据访问及其使用进行授权、跟踪和审核。同时符合法规要求, 以减少由于不断增长的数据隐私要求而产生的业务和安全风险。

如何构建云原生的开源大数据平台 | 产品新功能速递

Cloudera Data Platform(CDP)

由CDH和HDP的优点与堆栈中的新功能和增强功能结合在一起形成CDP,使得用户在CDP中安全地运行多种类型的从边缘计算到人工智能的多功能数据分析。


Cloudera Data Flow (CDF)

CDF是一个可扩展的实时流数据平台,可收集、整理和分析数据,以便客户获得关键见解,并可以立即采取行动。


Cloudera Data Science Workbench (CDSW)

CDSW是一个安全的自助式企业数据科学平台,可让数据科学家管理自己的分析管道,从而加快从勘探到生产的机器学习项目.

 

点击了解:企业数据云ClouderaCDP

 

「新功能发布」Elasticsearch 自研存储引擎Openstore

阿里云Elasticsearch日志增强版,是由年初发布,针对日志场景的一个高写入低存储成本的版本。本次升级的新功能-自研存储引擎Openstore ,在数据存储成本上做到了进一步的降低。如果您对数据查询要求不高,同时日志/数据量较大的客户,带来了不错的性价比。

如何构建云原生的开源大数据平台 | 产品新功能速递

核心功能

  • 阿里云Elasticsearch团队自研的针对日志场景的低成本、高效、弹性存储解决方案,旨在日志场景为客户提供海量存储服务
  • 基于计算存储分离架构,可根据实际数据的存储量按量计费,无须提前预留集群存储容量
  • 100%兼容 Elasticsearch 原生查询能力,全自动索引生命周期管理,满足集群易用性及查询要求


应用场景

  • 适用于有海量数据高并发写入以及数据存储的日志分析、指标运维监控等场景
  • 数据有明显的冷热区分、查询QPS较低且查询时延容忍度相对较高


核心优势

  • 低成本:相较于本地SATA盘存储成本降低60%,比高效云盘存储成本降低70%
  • 海量存储:数据存储按实际用量用多少付多少存储Serverless按量付费
  • 高可用:底层存储服务保证了集群的数据高可用,提供99.9999999999%的数据持久性


点击了解更多:【Openstore存储引擎介绍】

 

「新功能发布」云原生数据湖构建DLF升级

数据湖是一个集中式存储库,可存储任意规模结构化和非结构化数据,支持大数据和AI计算。数据湖构建(Data Lake Formation,DLF)作为云原生数据湖架构核心组成部分,帮助用户简单快速地构建云原生数据湖解决方案,我们提供了四大主要的一个升级。

 如何构建云原生的开源大数据平台 | 产品新功能速递

元数据共享化

服务化元数据,满足单表百万分区元数据管理。支持超过10万DB,1亿Table,10亿Partition


统一的数据权限

对接多引擎,支持库/表/列等细粒度数据访问控制


数据入湖

多数据源一键入湖,支持离线/实时入湖方式,用户自定义数据预处理过程


数据探索

提供便捷的数据探查能力,快速对湖内数据进行探索和分析

 

点击了解更多:【数据湖构建 Data Lake Formation】

 

「新功能发布」EMR on ACK、Clickhouse、Presto

E-MapReduce(简称“EMR”)是云原生开源大数据平台,向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎。

 如何构建云原生的开源大数据平台 | 产品新功能速递

EMR on ACK

阿里云容器服务 Kubernetes版(ACK)之上,利用 ACK 在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入


EMR ClickHouse 半托管集群

独立的 ClickHouse, 基于业务需要选择匹配的服务器。结合 Dataworks,实现大数据实时数仓的数据集成,开发运维工作


独立的 Presto 集群

交互式分析 Presto,支持独立部署,按照时间和负载要求进行弹性。满足资源隔离和成本优化


全面支持阿里云第七代机型

50%以上性能的提升,极致的网络和磁盘IO体验,搭载可信芯片,满足全方位的安全需求。


点击了解更多:【E-MapReduce】


 

「新功能发布」阿里云实时计算Flink版

实时计算Flink版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,以下三点为主要升级方向

如何构建云原生的开源大数据平台 | 产品新功能速递

细粒度资源配置

针对流式SQL作业调优中常见的个别节点反压需要增加整体作业资源的痛点,商业版首发细粒度SQL作业调优的能力,使您能精准的分配自己的每一份资源


Flink CDC 2.0

针对Flink CDC功能进一步完善,支持并发读取数据,不再使用锁表机制,减少对线上数据库的影响,同时支持全量表同步中的cp机制,保证全量同步的稳定性


Holo元数据服务

支持在实时计算Flink版中直接连通Holo的元数据访问其中的表结构和数据,协助您更便捷的搭建实时数仓服务

点击了解更多:【实时计算Flink】


「限时优惠」新老同享,低至“0”元

限时优惠,为大家带来了100%大数据开源组件,存算分离,链接阿里云生态和开源大数据生态,EMR+Elasticsearch+Flink开源大数据上云搬站组合优惠

 如何构建云原生的开源大数据平台 | 产品新功能速递

阿里云Elasticsearch

通用商业版 2C4G版本新用户首月0元即可体验,同时对新老用户年付均享受8.5折


E-MapReduce

面向新老客户,包年包月即可享受0元使用优惠


实时计算Flink

包年包月 10CU的新客户,可享首月99元的体验价,同时购买3个月以上的新老客户,可享8.5折优惠

 

活动详情可点击访问“大数据分会场”

https://pre-www.aliyun.com/activity/1111/bigdata





相关信息


⭐点击链接观看直播回放,超多活动信息等你来

https://yqh.aliyun.com/live/bigdataop

⭐更多EMR相关信息,欢迎前往EMR产品详情页:    https://www.aliyun.com/product/emapreduce


欢迎钉钉扫码加入EMR相关产品交流群,为您提供最新的产品直播、产品活动及技术支持!

如何构建云原生的开源大数据平台 | 产品新功能速递

上一篇:Spring Boot(二)Customizing the Banner


下一篇:Spring Boot(四)Accessing application arguments