Storm 使用指南
集群创建
目前E-MapReduce已经支持了apache社区的1.0.1版本的storm。用户可以通过选择E-MapReduce 最新的镜像版本EMR-2.0.0(以及后续的以上版本),通过在控制台软件列表中勾选storm软件进行安装,选择完毕后即可登录到master节点,通过命令行提交storm作业(E-MapReduce控制台页面暂时还不支持页面提交storm作业类型,后续根据用户的使用情况会考虑支持)。具体构建集群相关选项如下图所示:
作业运行
- 通过SSH命令,登录集群的master节点。
- 登录到该节点后,即可通过命令行的方式提交作业,E-MapReduce集群中storm的运行环境位置为:
/opt/apps/apache-storm-1.0.1
(用户可以自行将该运行环境目录配置到自己的环境变量中)。 - 提交storm作业的命令例如:
/opt/apps/apache-storm-1.0.1/bin/storm jar xxxx.jar com.aliyun.emr.MainClassXXX args1 args2
- 作业提交成功后,通过storm的UI监控作业的运行状态,查看UI需要在本机和master建立SSH隧道,建立方法参考ssh登录集群,隧道建立成功后,在浏览器中访问:http://localhost:9999 即可打开storm的监控UI。
监控UI的截图样例如下:
storm启动的Daemon和占用的端口
- storm会在master节点启动nimbus进程和监控UI进程,分别占用6627端口和9999端口。
- storm会在core节点启动 supervisor 占用 6700 6701 6702 6703 端口。