如何在E-MapReduce上使用storm

Storm 使用指南

集群创建

目前E-MapReduce已经支持了apache社区的1.0.1版本的storm。用户可以通过选择E-MapReduce 最新的镜像版本EMR-2.0.0(以及后续的以上版本),通过在控制台软件列表中勾选storm软件进行安装,选择完毕后即可登录到master节点,通过命令行提交storm作业(E-MapReduce控制台页面暂时还不支持页面提交storm作业类型,后续根据用户的使用情况会考虑支持)。具体构建集群相关选项如下图所示:

如何在E-MapReduce上使用storm

作业运行

  1. 通过SSH命令,登录集群的master节点。
  2. 登录到该节点后,即可通过命令行的方式提交作业,E-MapReduce集群中storm的运行环境位置为:/opt/apps/apache-storm-1.0.1 (用户可以自行将该运行环境目录配置到自己的环境变量中)。
  3. 提交storm作业的命令例如:/opt/apps/apache-storm-1.0.1/bin/storm jar xxxx.jar com.aliyun.emr.MainClassXXX args1 args2
  4. 作业提交成功后,通过storm的UI监控作业的运行状态,查看UI需要在本机和master建立SSH隧道,建立方法参考ssh登录集群,隧道建立成功后,在浏览器中访问:http://localhost:9999 即可打开storm的监控UI。

监控UI的截图样例如下:
如何在E-MapReduce上使用storm

storm启动的Daemon和占用的端口

  1. storm会在master节点启动nimbus进程和监控UI进程,分别占用6627端口和9999端口。
  2. storm会在core节点启动 supervisor 占用 6700 6701 6702 6703 端口。
上一篇:Skype十年庆 微软开通移动版多人视频会议功能


下一篇:Verilog HDL语言学习笔记