作者：不周

关键词：Kafka ETL，高弹性、免运维、低成本

阿里云消息队列 Kafka 版提供兼容 Apache Kafka 生态的全托管服务，彻底解决开源产品长期的痛点，是大数据生态中不可或缺的产品之一。随着 Kafka 越来越流行，最初只是作为简单的消息总线，后来逐渐成为数据集成系统，Kafka 可靠的传递能力让它成为流式处理系统完美的数据来源。在大数据工程领域，Kafka 在承接上下游、串联数据流管道方面发挥了重要作用，Kafka 应用流式框架处理消息也逐渐成为趋势。

说到流计算，常用的便是 Storm、Spark Streaming、Flink 和 Kafka Streams，目前这些框架都相对成熟，并且都有相应的使用案例，但这些框架使用起来门槛较高，首先要学习框架和各种技术、规范的使用，然后要将业务迁移到这些框架中，最后线上使用并运维这些流计算框架。尤其在面对 70% 以上简单流处理场景的需求，传统方案的弊端会被不断放大，客户仍然需要投入较大的人力成本和较高的资源，同时整个架构也比较复杂。总结来说，主要遇到的问题包含以下四个方面：

• 一是运维成本较高，研发团队自行编写代码，后期需要持续维护，会带来较大的运维成本；
• 二是技术成本较大，对于很多轻量或简单计算需求，需要进行技术选型，而引入一个全新的组件会带来较高的技术成本；
• 三是学习成本不可预期，在某组件选定后，需要研发团队进行学习并持续维护，这就带来了不可预期的学习成本；
• 四是开发人员自行选用开源组件之后，可靠性和可用性并不能得到很好的保障。

为了更好的解决传统流式计算在面对简单流处理场景需求时遇到的种种问题，阿里云消息队列 Kafka 版也推出了相应的解决方案：Kafka ETL。

那么阿里云 Kafka ETL 具体是如何解决以上问题的呢？

点击此处，前往云计算情报局直播间，即刻为您答疑解惑！