本期月刊将为您带来 MaxCompute 8月产品最新动态。
导读
- 8月产品发布最新动态
- 8月技术直播回顾
- 9月技术直播预告
8月产品发布最新动态
1、MaxCompute SQL 支持物化视图 查案文档 >>
适用客户
开发者、分析师、可以通过空间换时间的预计算方式提升查询效率的用户。
发布功能
MaxCompute SQL推出物化视图（Materialized View）功能。物化视图本质是一种预计算，即把某些耗时的操作（例如JOIN、AGGREGATE）的结果保存下来，以便在查询时直接复用，从而避免这些耗时的操作，最终达到加速查询的目的。
物化视图适用于如下场景：模式固定、且执行频次高的查询。查询包含非常耗时的操作，比如聚合、连接操作等。
创建了物化视图后，执行查询操作时，MaxCompute SQL查询改写能力会自动匹配到最优物化视图，并直接从物化视图中读取数据，从而大大提高查询效率，您不需要修改已有查询，例如改为从物化视图查询数据。
当前物化视图只支持手工更新或DataWorks调度更新，后续会进一步提供周期、自动更新，增量更新，外表支持等能力。
2、MaxCompute流式数据通道服务功能商业化发布 查案文档 >>
适用客户
有流计算Blink、数据通道DataHub、数据传输服务DTS、消息服务kafka、实时数据同步等场景的企业、机构。
发布功能
MaxCompute流式数据通道服务,支持API及插件方式实现流式数据无感知高QPS写入MaxCompute。
MaxCompute流式数据通道服务提供流式语义API支持，简化分布式服务开发操作。 支持分布式服务并发创建分区， 支持数据异步zorder by排序功能。
3、MaxCompute SQL UPDATE、DELETE和MERGE INTO功能商业化发布 查案文档 >>
自2021年8月10日起，中国公共云MaxCompute SQL UPDATE、DELETE和MERGE INTO功能商业化。
产品介绍
自2021年8月10日起，MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测，开始正式计费。
已经使用UPDATE、DELETE和MERGE INTO功能的按量计费作业，届时会产生计算费用。如果您之前因为担心公测稳定性问题而暂未使用UPDATE、DELETE和MERGE INTO功能，届时可以放心使用。MaxCompute为UPDATE、DELETE和MERGE INTO功能的相关可用性、稳定性等提供与MaxCompute SQL能力同等的保障。
价格调整内容
公测期间按量计费模式中包含UPDATE、DELETE和MERGE INTO关键字的SQL语句不计费。
商业化后SQL作业计费规则如下：
- 如果MaxCompute项目的计费模式为包年包月，SQL计算费用不单独收费。
- 如果MaxCompute项目的计费模式为按量计费，SQL计算费用计算规则调整为：单条SQL计算费用=计算输入数据量×SQL复杂度×单价（0.3元/GB）。其中：SQL复杂度通过SQL关键字个数折算。SQL关键字个数=JOIN个数+GROUP BY个数+ORDER BY个数+DISTINCT个数+窗口函数个数+MAX（INSERT个数|UPDATE个数|DELETE个数-1, 1）。
4、MaxCompute 支持读取 OSS 上 Hudi、Delta Lake 格式文件 查案文档 >>
适用客户
基于OSS 构建实时数据湖的客户，可以通过 MaxCompute 查询到实时数据，即时洞察业务数据变化。
发布功能
Delta Lake 和 Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute 基于阿里云 DLF、OSS产品提供了支持 Delta 或 Hudi 存储机制的湖仓一体架构。您可以通过 MaxCompute 查询到实时数据，即时洞察业务数据变化。
5、MaxCompute 支持访问开启 Kerberos 认证授权机制的 Hadoop 集群
适用客户
- 已经基于 Hadoop、阿里云 EMR 集群搭建数据平台，并开启 Kerberos 认证授权机制的客户；
- 对集群资源弹性有需求，希望利用 MaxCompute 的弹性与大规模机器学习能力，快速迭代创新业务的客户；
- 企业有多个 Hadoop 集群，需要各个集群之间数据打通，利用 DataWorks 构建企业数据中台的客户。
发布功能
大部分企业的 Hadoop 的生产集群开启了 Kerberos 认证授权机制，本次功能升级能够利用 MaxCompute 访问开启 Kerberos 认证授权机制的 Hadoop 集群，极大的扩展了湖仓一体对接 Hadoop 的适用范围。
8月技术直播回顾
2021阿里巴巴大数据技术公开课第二季 — SaaS模式云数据仓库MaxCompute应用场景实践
「 第一讲 」基于MaxCompute的智能推荐解决方案 直播回放 >> 阅读文字版 >>
「 第二讲 」基于MaxCompute+开放搜索的电商、零售行业搜索开发实践 直播回放 >> 阅读文字版 >>
「 第三讲 」基于MaxCompute+PAI的用户增长方案实践 直播回放 >> 阅读文字版 >>
「 第四讲 」基于MaxCompute的实时数据处理实践 直播回放 >> 阅读文字版 >>
9月技术直播预告
2021阿里巴巴大数据技术公开课第二季 — SaaS模式云数据仓库MaxCompute应用场景实践
「 第五讲 」基于MaxCompute分布式Python能力的大规模数据科学分析 9月8日 17:00-17:30
「 第六讲 」基于MaxCompute +Hologres 的人群圈选和数据服务实践 9月15日 17:00-17:30
「 第七讲 」基于 MaxCompute SQL 的半结构化数据处理实践 9月22日 17:00-17:30
「 第八讲 」基于Delta lake、Hudi格式的湖仓一体方案 9月24日 17:00-17:30
扫描下方二维码加入钉群观看直播