Spark Streaming的Batch Duration优化

Spark Streaming 是微批处理。

SparkConf sparkConf = new SparkConf().setAppName("SparkStreaming").setMaster("local[*]"); 
JavaStreamingContext javaStreamingContext = new JavaStreamingContext(sparkConf, Durations.seconds(1000));

Durations.seconds(1000)设置的是sparkstreaming批处理的时间间隔,每个Batch Duration时间去提交一次job,如果job的处理时间超过Batch Duration,会使得job无法按时提交,随着时间推移,越来越多的作业被拖延,最后导致整个Streaming作业被阻塞,无法做到实时处理数据

这种情况

  1. 可以观察CPU,内存占用情况,判断是否可以通过提高硬件配置来保证性能
  2. 优化SparkStreaming的处理代码,缩短流程的执行时间
  3. 当然最简单的是试试改动batch Duration的大小,看看可不可以有所改善,一般这个值的大小如果能够使得Streaming作业刚好处理好上一个的批处理的数据,那么这个就是最优值

 

转载于:https://blog.csdn.net/qq_32635069/article/details/82286696

END

上一篇:用户画像


下一篇:Spark2.x优化:高性能序列化库Kryo使用及性能测试