Spark Streaming揭秘 Day21 动态Batch size实现初探(下)

Spark Streaming揭秘 Day21

动态Batch size实现初探(下)

接昨天的描述,今天继续解析动态Batch size调整的实现。

算法

动态调整采用了Fix-point迭代算法,其本质是一种回归计算,算法如下:
Spark Streaming揭秘 Day21 动态Batch size实现初探(下)

有点类似机器学习,学习当前SparkStreaming的状况,根据状况把Batch Duration调到最小,来获得最高的稳定性。

下面这张图比较重要,是主要描述了算法的实现思想:
Spark Streaming揭秘 Day21 动态Batch size实现初探(下)

基本思想是按100ms一个小的批次,根据处理情况,Job Generator会调整自己的Batch Duration。 非常关键的就是在处理过程中加入了Controller这个组件,会获取作业的统计信息,动态调整时间窗口

效果

根据测算,动态调整算法效果表现非常的稳定,成功了消除不同算子特性造成的效率波动。
Spark Streaming揭秘 Day21 动态Batch size实现初探(下)

同时,算法也能很好的适应外界的干扰,如下场景是指运行是突然有其他的作业加入,拿走了部分资源,这时,动态调整机制也能够有效进行工作。

Spark Streaming揭秘 Day21 动态Batch size实现初探(下)

实现

文中的算法比较复杂,基于相同的思路,在SparkStreaming中有一个轻量级的实现。

最关键的是Controller组件:
Spark Streaming揭秘 Day21 动态Batch size实现初探(下)

其实现主要包含两个步骤:

  1. 根据历史情况进行新的速率
  2. 发布使新的速率生效
    Spark Streaming揭秘 Day21 动态Batch size实现初探(下)

计算代码如下,在每次Job处理完成后,根据收集的信息评估消费数据的能力。
Spark Streaming揭秘 Day21 动态Batch size实现初探(下)

发布代码如下,是直接调用了ReceiverTracker的接口,发送速率调整的通知。
Spark Streaming揭秘 Day21 动态Batch size实现初探(下)

从速率控制的实现来看,可以通过控制最大接收速率,不过这个参数作用不大,不建议设置。
Spark Streaming揭秘 Day21 动态Batch size实现初探(下)

欲知后事如何,且听下回分解

DT大数据每天晚上20:00YY频道现场授课频道68917580

上一篇:【转载】6种.net分布式缓存解决方案


下一篇:redis的分布式解决方式--codis (转)