java学习笔记:Storm 常用配置

  1)Config.TOPOLOGY_WORKERS:

  这个设置用多少个工作进程来执行这个 topology。比如,如果你把它设置成 25,那么集群里面一共会有25个java进程来执行这个topology 的所有task。如果你的这个 topology 里面所有组件加起来一共有150的并行度,那么每个进程里面会有6个线程(150/ 25=6)。

  

java学习笔记:Storm 常用配置

  2)Config.TOPOLOGY_ACKERS:

  这个配置设置 acker 任务的并行度。默认的 acker 任务并行度为1,当系统中有大量的消息时,应该适当提高 acker 任务的并发度。设置为0,通过此方法,当 Spout 发送一个消息的时候,它的ack方法将立刻被调用;

  

java学习笔记:Storm 常用配置

  3)Config.TOPOLOGY_MAX_SPOUT_PENDING:

  这个设置一个 spout task 上面最多有多少个没有处理的 tuple(没有ack/failed)回复, 我们推荐你设置这个配置,以防止 tuple 队列爆掉。

  4)Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS:

  这个配置storm 的tuple的超时时间–超过这个时间的tuple被认为处理失败了。这个设置的默认设置是30秒

上一篇:Python: threading.Semaphore & threading.BoundedSemaphore & GIL


下一篇:基于Selenium+Python的web自动化测试框架