搭建storm 需要搭建:
1.zookeeper 搭建
2.下载/安装 storm 的依赖包 zeromq, jzmq,python
2.storm 搭建
一、Zookeeper 安装
- 下载安装包,到桌面 soft/zookeeper
- 解压 命令 tar –xzvf zookeeper-3.4.5.tar.gz
- 解压完成之后得到一个zookeeper-3.4.5 的文件夹一路 cd到conf目录 zookeeper/conf
4.用cp 命令拷贝一个zoo_samle.cfg 为zoo.cfg
5. 然后用vi zoo.cfg命令打开编辑zoo.cfg文件
(改为自己的目录 /home/sufi/Desktop/zookeeper/zookeeper-3.4.5/data)
6. 设置环境变量
export…与截图一样就可以了
7.回到zookeeper/bin目录下,启动zookeeper服务,在bin下运行 ./zkServer.sh start即可
8.测试zookeeper
--在zookeeper/bin目录下运行 ./zkCli.sh -server 192.168.130.130 就是你的服务器和端口
--命令 ifconfig 就可以查到服务器号
二、下载安装storm 的依赖包
下载安装 zeromq
执行第四步 ./configure 的时候可能报错 (我只遇到1,2 个问题)
----输入命令: sudo
yum
install
gcc-c++ (直接复制就可以了)
运行完,再次输入 ./configure 再看一下有什么错误
----命令: sudo
yum
install
uuid-devel (同样是直接复制)
sudo
yum
install
libuuid-devel
---命令: sudo
yum
install
libtool
(直接复制)
---此错误在安装jzmq 的 ./configure 时报错 ,还是提前装好吧
安装jzmq
-----执行 git clone git://github.com/nathanmarz/jzmq.git 可能会报错,可能是网络限制
改为 git clone https://github.com/nathanmarz/jzmq.git (git-->https)
安装 Python2.7.2
wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz
tar -zxvf Python-2.7.2.tgz
cd Python-2.7.2
./configure
make
make install
三、storm 安装
1.下载并解压storm
---把压缩文件放到指定目录
---tar -zxf 文件名 解压
2.修改storm.yaml配置文件
---Storm发行版本解压目录下有一个conf/storm.yaml
文件,用于配置Storm
---除了ip 地址,目录,要修改,其他保留复制就可以了
########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
- "10.3.3.244"
# - "server2"
#
nimbus.host: "10.3.3.244"
storm.local.dir: "/home/aicep/apache-storm-0.9.5/workdir"
ui.port: 8080
supervisor.slots.ports:
- 6700
- 6701
#- 6702
#- 6703
3.启动:
3.1.首先启动zookeeper ,在其安装的bin 目录下启动
--启动zookeeper:命令 : ./zKServer.sh start
--jps 命令:查看进程
3.2.启动storm
----3.2.1 启动storm主节点服务 nimbus
-- ./storm nimbus & ('&"表示在后台运行)
启动完 输入命令 # jps 看进程是否存在
----3.2.2 启动storm监控页面:监控地址:http://hostname:8080
-- ./storm ui &
-----3.2.3 启动supervisor(很不稳定,可能运行时 还要启动一次)
-- ./storm supervisor &
-----3.2.4 命令启动查看的启动的进程
3.3 检测是否搭建成功
打开浏览器 输入 192.168.130.130:8080(本虚拟机的IP+端口号)
出现页面,则成功
4.启动一个进程测试
---把storm 的java 项目打成jar 文件 我的例子的 storm_epl.jar
--右键项目-->export-->java-->javafile-->next-->..记得有一个是四个勾选的(勾 1,3)
--把storm_epl.jar 放到 storm 的安装目录下的 lib 文件夹中
--进入 lib 目录 ,启动jar 文件
./storm jar storm_epl.jar com.SimpleTopology test
1 2 3 4
--1./storm jar 固定格式,所有要启动的都是用 ./storm 这里是启动jar 包, 所以是 ./storm jar
--2(jar包的名字,若类不是直接放在 src 下的,前面应该加上包名,我是放在 com包下,所以加 com)
--3 main方法所在类的名称
--4 该进程的名称(自定义),等到执行性完 ,可以用 ./storm kill 进程名字 杀死该进程
----执行成功显示
----进入 192.168.130.130:8080 若执行成功 看到进程的状态为 Active
----回到命令 页面 杀死进程
./storm kill test
参考文档:
http://shiyanjun.cn/archives/241.html
http://www.myexception.cn/database/2045639.html