flink的部署模式有两种:一种是单独部署,一种是yarn来进行一个资源的调度
Standalone模式:
flink自己来做一个资源的调度分配,通常结合Zookeeper来进行一个高可用。
Yarn模式:
yarn模式下又分成两种,一种是 Session-Cluster ,另一种是 Per-Job-Cluster。
Session-Cluster:
在yarn中初始化一个flink集群,开辟指定资源(保持不变),资源满后,下一个作业无法提交,只能等作业完成,共享Dispatcher和ResourceManager
Per-Job-Cluster:
每次作业的提交都会创建一个新的flink集群,任务之间互相独立,互不影响,任务执行结束后集群解散,独享共享Dispatcher和ResourceManager
Session-Cluster 更适合小规模作业
Per-Job-Cluster 适合规模大时间长的作业