流式处理框架的对比

2021-12-18 11:28:00

Hadoop MapReduce只支持批处理任务，无法支持流式任务
Apache Tez
支持批处理任务，只是使用DAG来组织MR任务。
Apache Storm
只支持流式的处理任务，无法支持批处理任务
Apache Spark支持批处理任务，在此基础上，通过Spark Streaming采用Micro-Batch的架构，把数据流切分成细粒度的批处理，并作为一个Spark任务，它不是原生的流处理。
Apache Flink
原生支持流式处理，通过缓存块的设计实现流和批的统一。