集群环境搭建
- 关闭防火墙,修改/etc/hosts配置(3台机器的ip可以相互通信)
- 下载安装jdk7(1.6以上),配置JAVA_HOME, CLASSPATH
- 搭建Zookeeper集群(保证3台机器的zookeeper都可用)
- 安装Python(最好是2.6.6版本以上)
地址:wget https://www.python.org/ftp/python/2.6.6/Python-2.6.6.taz
解压:tar zxf Python-2.6.6.tgz
进入:cd Python-2.6.6
命令1: ./configure -prefix=/usr/local/Python2.6.6
命令2: make
命令3:sudo make install - 下载并解压Storm发布版本
- 修改storm.yaml配置文件
- 启动Storm各个后台进程
实际操作
storm包解压后的目录结构是这样的:
再到bin里面看看:
再看一下conf目录,可见我们需要配置的文件:
首先配置一下storm的profile全局环境(三台机器都要配置):
在来配置一下storm.yaml文件(三台机器都要配置),要注意短线前后的空格:
配置好后启动zookeeper:
- zkServer.sh start
- zkServer.sh status
先启动nimbus.host
storm nimbus &
再启动supervisor
storm supervisor &
到logs中分别查看nimbus.log 和supervisor.log 是否正常启动
在启动nimbus的时候报错,原因是6627端口已经被storm占用(因为之前已经启动过一次storm了,以为没启动好,又启动了一次)
(图片来自网络)
解决办法是jps:
然后kill -9 4016,最后再启动一次
启动管控台:
storm ui &
启动后在浏览器输入: http://192.168.1.16:18080 可以看到如下页面: