linux 下搭建 storm

搭建storm  需要搭建:

1.zookeeper 搭建

2.下载/安装 storm 的依赖包  zeromq, jzmq,python

2.storm 搭建

一、Zookeeper 安装

  1. 下载安装包,到桌面 soft/zookeeper
  2. 解压 命令 tar –xzvf  zookeeper-3.4.5.tar.gz
  3. 解压完成之后得到一个zookeeper-3.4.5 的文件夹一路  cd到conf目录  zookeeper/conf

linux 下搭建 storm

4.用cp 命令拷贝一个zoo_samle.cfg 为zoo.cfg

linux 下搭建 storm

5. 然后用vi zoo.cfg命令打开编辑zoo.cfg文件

    (改为自己的目录 /home/sufi/Desktop/zookeeper/zookeeper-3.4.5/data)

linux 下搭建 storm

  6. 设置环境变量

     export…与截图一样就可以了

linux 下搭建 storm

  7.回到zookeeper/bin目录下,启动zookeeper服务,在bin下运行 ./zkServer.sh start即可

    linux 下搭建 storm

8.测试zookeeper

        --在zookeeper/bin目录下运行 ./zkCli.sh -server  192.168.130.130 就是你的服务器和端口

        --命令 ifconfig 就可以查到服务器号

二、下载安装storm 的依赖包

    下载安装 zeromq

linux 下搭建 storm

执行第四步 ./configure 的时候可能报错 (我只遇到1,2 个问题)

    linux 下搭建 storm

----输入命令:  sudo yum install gcc-c++ (直接复制就可以了)

运行完,再次输入  ./configure    再看一下有什么错误

    linux 下搭建 storm

----命令: sudo yum install uuid-devel      (同样是直接复制)

                 sudo yum install libuuid-devel

linux 下搭建 storm

---命令: sudo yum install libtool     (直接复制)

---此错误在安装jzmq 的  ./configure 时报错   ,还是提前装好吧

安装jzmq

linux 下搭建 storm

-----执行      git clone git://github.com/nathanmarz/jzmq.git 可能会报错,可能是网络限制

改为  git clone https://github.com/nathanmarz/jzmq.git      (git-->https)

安装 Python2.7.2

wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz
          tar -zxvf Python-2.7.2.tgz
                      cd Python-2.7.2
                      ./configure
           make
               make install

三、storm 安装

1.下载并解压storm

---把压缩文件放到指定目录

---tar -zxf  文件名    解压

2.修改storm.yaml配置文件

---Storm发行版本解压目录下有一个conf/storm.yaml文件,用于配置Storm

---除了ip 地址,目录,要修改,其他保留复制就可以了

linux 下搭建 storm

      ########### These MUST be filled in for a storm configuration
            storm.zookeeper.servers:
            - "10.3.3.244"
            # - "server2"
            #
            nimbus.host: "10.3.3.244"

            storm.local.dir: "/home/aicep/apache-storm-0.9.5/workdir"

            ui.port: 8080
            supervisor.slots.ports:
            - 6700
            - 6701
            #- 6702
            #- 6703

3.启动:

3.1.首先启动zookeeper ,在其安装的bin 目录下启动

--启动zookeeper:命令 :  ./zKServer.sh start

--jps 命令:查看进程

linux 下搭建 storm

3.2.启动storm

----3.2.1 启动storm主节点服务   nimbus

--  ./storm nimbus &         ('&"表示在后台运行)

启动完 输入命令  # jps     看进程是否存在

----3.2.2 启动storm监控页面:监控地址:http://hostname:8080

--  ./storm ui  &

-----3.2.3 启动supervisor(很不稳定,可能运行时 还要启动一次)

-- ./storm supervisor &

-----3.2.4 命令启动查看的启动的进程

linux 下搭建 storm

3.3 检测是否搭建成功

打开浏览器 输入 192.168.130.130:8080(本虚拟机的IP+端口号)

出现页面,则成功

linux 下搭建 storm

4.启动一个进程测试

---把storm 的java 项目打成jar 文件 我的例子的 storm_epl.jar

--右键项目-->export-->java-->javafile-->next-->..记得有一个是四个勾选的(勾 1,3)

--把storm_epl.jar 放到 storm 的安装目录下的 lib 文件夹中

--进入 lib 目录 ,启动jar 文件

./storm jar storm_epl.jar com.SimpleTopology  test

1             2                         3                   4

--1./storm jar 固定格式,所有要启动的都是用  ./storm  这里是启动jar 包, 所以是 ./storm jar

--2(jar包的名字,若类不是直接放在 src 下的,前面应该加上包名,我是放在 com包下,所以加 com)

--3  main方法所在类的名称

--4  该进程的名称(自定义),等到执行性完 ,可以用  ./storm kill 进程名字    杀死该进程

----执行成功显示

linux 下搭建 storm

----进入 192.168.130.130:8080  若执行成功 看到进程的状态为  Active

----回到命令 页面 杀死进程

./storm kill test

参考文档:

http://shiyanjun.cn/archives/241.html

  http://www.myexception.cn/database/2045639.html

上一篇:Newtonsoft.Json 把对象转换成json字符串


下一篇:jQuery 表单验证 jquery.validator.js