Flink学习笔记——Execution Mode

2024-02-15 20:00:47

Flink有3中运行模式，分别是STREAMING，BATCH和AUTOMATIC

Ref

https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/datastream_execution_mode.html

1.STREAMING运行模式是DataStream默认的运行模式

2.BATCH运行模式也可以在DataStream API上运行

3.AUTOMATIC运行模式是让系统根据source类型自动选择运行模式

可以通过命令行来配置运行模式

bin/flink run -Dexecution.runtime-mode=BATCH examples/streaming/WordCount.jar

也可以在代码中配置

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setRuntimeMode(RuntimeExecutionMode.BATCH);

在STREAMING运行模式中，Flink使用StateBackend来控制状态存储和checkpoint的工作，RocksDBStateBackend支持增量Checkpoint，其他2个不支持

在BATCH运行模式中，statebackend是被忽略的，batch模式不支持checkpoint

Flink支持3种StateBackend，其中

1.MemoryStateBackend
2.FsStateBackend
3.RocksDBStateBackend

StateBackend可以参考

在STREAMING运行模式中，flink使用checkpoint来进行容错，checkpoint参考

https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/stream/state/checkpointing.html

在BATCH运行模式中，flink会回滚到到之前的stage，只有失败的task才会重启，这比从checkpoint重启所以的task要高效，所以建议如果任务能在BATCK运行模式下运行，就使用BATCH运行模式

Broadcast State

1. STREAMING运行模式，一个典型应用就是允许一个控制流接收一个rules，并将其广播到其他的stream中

2. BATCH运行模式不支持

码农公寓