flink背压问题解决记录

flink做流表维表关联,每天TB级数据量,维表存储在mysql。程序提交后,查看背压率为1.严重背压了
flink源是kafka,sink到hdfs。用到算子filter、process算子
filter按规则过滤
process关联维表,并作数据转换拼接
从flinkUI中看到filter方框的背压率为1,查看参数是output产生的背压,也就是process算子产生的背压。
优化手段:
checkpoint存储到rockDB,缩短checkpoint时间
给维表添加缓存,先读缓存,读不到再读数据库
mysql匹配字段添加索引
提高process算子并行度

上一篇:java中的正则匹配


下一篇:5G的功能架构和灵活性 | 《5G移动无线通信技术》之十二