DataWorks 2021-05 产品月刊

本月DataWorks产品月刊为您带来

产品活动:

1.数据集成开放用户体验调研问卷啦!赶紧开启吐槽模式吧

2.首月特惠!DataWorks专业版原价5000元现飞天会员618特惠仅需99元;独享数据集成/调度资源组首月5折


产品功能更新:

  1. DataWorks数据集成新增实时同步至AnalyticDB MySQL 3.0的功能;
  2. 开放消息服务(Open Message)开启公测,支持订阅DataWorks中的元数据及任务变更事件,可实现DataWorks与您的自有系统的深度集成;
  3. 任务调度新增年周期和月末最后一天周期,可实现按年、按季度、按指定月最后一天的周期调度;
  4. 新增FTP Check节点,支持定时检测指定的“FTP标Done文件”,实现DataWorks与外部系统的调度信号打通;
  5. 新增ClickHouse引擎的支持,提供了数据集成、数据开发、任务调度与任务运维等ETL操作和管理能力;
  6. 全新改版了代码搜索功能,支持更实时、更精准和更灵活的代码全文搜索能力;


【产品活动】

1. 数据集成开放用户体验调研问卷啦!赶紧开启吐槽模式吧>>

立即前往>>

2. 首月特惠!DataWorks专业版原价5000元现飞天会员618特惠仅需99元>>

立即前往>>

3. 首月特惠!独享数据集成/独享调度资源组首月5折>>

立即前往>>


【产品功能更新】

1、DataWorks数据集成新增实时同步至AnalyticDB MySQL 3.0的能力

支持MySQL、OceanBase、PolarDB等数据库实时同步至AnalyticDB MySQL 3.0,可以在一个任务中一次同步多个表的实时信息,能够自动先全量同步,然后启动实时增量,实现数据不间断同步。其中实时同步时已经自动支持添加列的DDL同步,即源端增加列时目标端的表也会增加相应列。

查看详情:https://help.aliyun.com/document_detail/229552.htm


2、开放消息服务(Open Message)开启公测

DataWorks提供开放消息能力,您可以在DataWorks开放平台开启消息订阅功能。仅支持DataWorks企业版用户参与公测活动,企业版用户可以直接参与公测并试用开放消息能力,无需申请和支付相关费用。您可以通过开放消息获取DataWorks中的元数据及任务变更事件,可实现DataWorks与您的自有系统深度集成。

查看详情:https://help.aliyun.com/document_detail/215365.html


3、DataWorks任务调度新增年周期和月末最后一天周期

DataWorks周期任务调度现添加了年周期调度和月末最后一天调度,可实现按年、季度、指定月最后一天的周期调度,目前DataWorks调度周期支持包括分钟小时

查看文档:https://help.aliyun.com/document_detail/137549.html


4、新增FTP Check节点,支持定时检测指定的“FTP标Done文件”

FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在,则启动调度下游任务,不存在,则按照配置的间隔时间重复检测,直到满足检测的停止条件时停止检测。该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。

查看详情:https://help.aliyun.com/document_detail/215542.html


5、新增ClickHouse引擎的支持,提供了数据集成、数据开发、任务调度与任务运维等ETL操作和管理能力

DataWorks提供通过EMR实例模式或JDBC连接串模式绑定ClickHouse集群,以及通过JDBC连接串模式绑定ClickHouse数据源。提供通过数据集成支持对ClickHouse的读写数据的能力。提供ClickHouse SQL节点,通过独享调度资源组进行数据开发,任务调度,任务运维,临时查询等ETL操作和管理能力。

配置ClickHouse数据源:https://help.aliyun.com/document_detail/251479.html

绑定ClickHouse计算引擎:https://help.aliyun.com/document_detail/136938.htm#title-pp2-itt-1ak

创建并使用ClickHouse SQL节点:https://help.aliyun.com/document_detail/216828.html


【产品文档更新】


新版安全中心上线

新增安全中心API-GetPermissionApplyOrderDetail

实时同步数据至Kafka

Cassandra Reader

Cassandra Writer

成员及角色管理

导出开源引擎任务

导入开源引擎任务

引擎运维

查看周期任务DAG图(周期任务)

查看周期任务DAG图(周期实例)

查看周期任务DAG图(补数据实例)

【往期系列】


DataWorks 产品月刊合集


更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】,为您提供最新的产品直播、产品活动及技术支持点击查看

上一篇:大数据开发和大数据分析有什么不同?


下一篇:阿里云API芝士堂[物模型管理][模型]