实时数仓Hologres 11月刊

实时数仓Hologres 2021年11月刊将会为您带来11月产品、技术最新动态,欢迎订阅Hologres开发者社区圈子。欢迎详细阅读本次月刊并结合业务进行实践,若需要技术探讨或者任何问题欢迎加入Hologers钉钉群,二维码见文末。

【12月重要通知】

1.交互式分析Hologers正式改名实时数仓Hologres

交互式分析Hologres正式改名实时数仓Hologres,致力于提供海量数据实时写入、实时更新、实时分析等,与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。


2.Lighting下线通知

MaxCompute Lightning服务(即使用lightning.cn-*相关Endpoint的服务)由于技术架构变更,将于2021年12月31日00点00分关闭MaxCompute Lightning新服务的开通入口。已存在的MaxCompute Lightning服务目前仍可继续使用,已存在的MaxCompute Lightning将于2022年12月31日00点00分下线。


针对MaxCompute查询加速的交互式分析场景,建议您升级成MaxCompute交互式分析(Hologres),详情请参见迁移公告。MaxCompute交互式分析(Hologres)兼容Postgres协议,原有应用无需修改,查询性能更稳定,功能更丰富,如需咨询相关详情,请添加钉钉群:Lightning迁移支持群(群号:35028911)


【11月重要功能发布】

1.【新功能】资源组隔离计算资源

在V1.1版本,Hologres新增支持使用资源组来助力您管理实例内的计算资源,,通过为不同的用户账号分配不同的计算资源(即CU,包括CPU和内存),限制用户使用计算资源的上限,实现单实例多负载的隔离,保证了用户之间、应用之间作业的互不影响。详情见资源组隔离文档


适用客户:Hologres公共云


2.【新功能】共享存储多实例部署提升高可用

Hologres 从V1.1版本开始,针对线上生产环境高可用的场景,提供了共享存储的多实例部署方式,在该模式下支持故障隔离,负载隔离,有效支撑了高可用场景。在该方案中,主实例具备完整能力,数据可读可写,权限、系统参数可配置,而子实例处于只读状态,所有的变更都通过主实例完成。详情使用见共享存储多实例


适用客户:Hologres公共云


3.【新功能】支持JDBC订阅Hologres binlog

在V0.9版本,Hologres支持Flink订阅Hologres binlog,在V1.1版本,支持JDBC实时消费Hologres Binlog,实现全链路事件驱动。详情使用见jdbc订阅Hologres binlog


适用客户:Hologres公共云


4.【新功能】读取MaxCompute存储加密数据

MaxCompute支持通过密钥管理服务KMS(Key Management Service)对数据进行加密存储,提供数据静态保护能力,满足企业监管和安全合规需求。Hologres与MaxCompure深度打通,支持直接读取maxCompute数据,在V1.1版本,Hologres支持读取MaxCompute加密数据,提升Hologres与MaxCompute的兼容性。详情见读取MC加密数据


适用客户:Hologres公共云


5.【新功能】支持行列混存表

Hologres行存表适用于基于PK的点查场景,列存表适合复杂OLAP查询。在V1.1版本,支持行列混存表,同时适用列存和行存的场景,既支持高效点查也支持OLAP分析,但也带来了更多的存储开销,以及内部数据状态同步的开销。详情见文档建表


适用客户:Hologres公共云


6.【优化】单节点计算内存上限取消20GB限制

Hologres从 V1.1.24版本开始,计算内存取消单节点20GB限制,采用动态调整节点内存。后端会去检查当前节点的内存水位,从而动态分配计算节点的内存,以此保证Query可以运行成功。

同时,1.1版本针对元数据管理内存进行了优化,确保元数据使用的内存降低。因此,升级到1.1.24版本之后,若内存水位不高,query oom的频率将会大大降低,若是执行Query时还报错超内存限制(报错:Query executor exceeded total memory limitation xxxxx: yyyy bytes used),说明内存已完全用到了上限,需要优化SQL或者扩容实例。


说明 一个实例后端由多个节点组成,不同实例规格对应不同节点数,单个节点的内存上限是64GB。内存会分为三部分,三分之一分配给计算,三分之一分配给缓存,三分之一分配给元数据。


适用客户:Hologres公共云


7.【新发布】法兰克福region上线

实时数仓Hologres在德国(法兰克福)商业化发布,增加商品可用区,支持按量付费和包年包月两种付费模式。


适用客户:Hologres公共云


【11月精选文章】



更多阿里巴巴实时数仓Hologres 产品信息,可扫码或者搜索加入实时数仓Hologres交流群(钉钉群号:32324975)。更多精彩请点击官网查看


实时数仓Hologres 11月刊

上一篇:SAP 产品一脉相承的 UI 增强思路,在 SAP Commerce Cloud(电商云) UI 增强实现中的体现


下一篇:Java 覆盖jar包内的方法