Flink 生产实践 性能问题

1. CDC 性能问题

问题描述:

ChunkSplitter split chunks 耗时导致CheckPoint 超时 job重启

解决方案:

  • 增大CheckPoint超时间隔
  • 增大Chunk.Size(需考虑数据源压力)

2. JM 和 TM 内存分配问题

问题描述:

当容器内存全部使用时,RM会kill 容器,重新申请容器,最终任务失败

解决方案:

  • 调整内存分配策略,分别设置内存比例系数
  • 合理设置状态清理周期
上一篇:大数据虚拟机集群搭建


下一篇:MinIO 单机版安装使用+Flink使用MinIO状态存储