RestCloud ETL数据交换平台是基于微服务架构完全自主研发和创新的新一代数据集成平台,通过可视化的拖、拉、拽即可完成数据集成流程的构建并实现数据抽取、转换、清洗、脱敏、加载等功能,从架构、易用性、传输性能、可视化、功能丰富性等方面均全面超越Kettle等开源ETL工具。通过容器化技术RestCloud ETL支持大规模的分布式部署架构,可以根据资源利用率实现动态的弹性伸缩实现上万流程的同时调度与并发运行。通过叠加API服务平台即可快速落地构建一个轻量级的数据中台。
一、平台的主要优势
1、基于微服务架构开发,支持分布式部署,同时支持上万流程的调度与执行;
2、专为解决大型企业的复杂数据集成场景而研发;
3、支持完整的跨数据库事务控制,保证多个数据源传输数据高度一致性;
4、支持多数据源之间数据流的合并、拆分、聚合等操作;
5、支持超过40+数据源的链接包括国产数据库;
6、支持自定义数据检查规则、质量规则、补全规则等可以实现复杂的数据集成需求;
7、支持各种不同数据源之间数据类型的自动转换,极大提升集成流程的构建速度;
8、全Web前后端分离架构,所有能力均发布为API可轻松对接第三方业务系统;
9、支持批流一体化处理,大幅提升数据的采集和同步时间。
二、支持对接各种电商及SaaS系统
平台已内置多种电商及SaaS系统的对接接口及认证方式,通过数据集成平台可以快速的协助企业把SaaS及电商平台中的数据拉取到私有的数据库中,通过平台的清洗、转换、运算功能可以一步完成数据对接工作,大幅提升数据的时效性降低数据集成成本。
三、丰富的监控指标
平台自带提供丰富的监控和统计数据同时可以通过Restful API快速接入第三方的大屏监控界面中,可监控流程每天的失败数量、失败的传输记录数据、流程平均运行时间、流程插入成功数量、失败数量、更新数量、删除数量等多维度的监控指标,并支持自定义报表实现更为复杂的统计维度,真正实时掌控企业数据的交换和传输情况。
四、主要适用场景
RestCloud ETL数据交换平台的目标是帮助企业快速实现数据集成、数据采集、数据服务于一体的轻量级数据中台产品,通过可视化的组件拖拽,实现快速的从数据采集、传输、转换、脱敏、运算到服务发布的全过程;通过数据集成/交换平台,可以在多个业务系统之间实现复杂的数据分发以及推送,同时也支持跨集团公司的数据传输与共享发布,协助企业快速构建轻量级数据中台等场景;同时RestCloud支持实时数据流的处理,可以实时接入物联网、Kafka等的实时数据流并进行实时运算处理后存入企业的实时数仓中。