hadoop分布式集群搭建(2.9.1)

1、环境

  操作系统:ubuntu16

  jdk:1.8

  hadoop:2.9.1

  机器:3台,master:192.168.199.88,node1:192.168.199.89,node2:192.168.199.90

2、搭建步骤

  2.1 修改主机名hostname,三台机器分别执行如下命令,依次填入master,node1,node2

    sudo vim /etc/hostname

    hadoop分布式集群搭建(2.9.1)

  2.2 修改hosts文件,三台机器依次执行

    sudo vim /etc/hosts

    hadoop分布式集群搭建(2.9.1)

  2.3 修改环境变量,三台依次执行

    vim /etc/profile,然后source /etc/profile使之生效

    hadoop分布式集群搭建(2.9.1)

    JAVA_HOME是java的安装路径,如果不知道自己的java安装路径,请参考如下操作:

hadoop分布式集群搭建(2.9.1)

     which java定位到的是java程序的执行路径,而不是安装路径,经过两次-lrt最后的输出才是安装路径

  2.3 配置master对node1和node2的免密登陆

    效果就是在master上输入ssh node1即可登陆node1,否则开启集群服务时,master与node无法连接,会报出connection refused

    2.3.1 配置前,先确保安装了openssh-server,默认是不安装的

      输入dpkg --list | grep ssh,如果没有openssh-server,执行以下命令安装:

      sudo apt-get install openssh-server

    2.3.2 每台机器执行ssh-keygen -t rsa,然后回车

hadoop分布式集群搭建(2.9.1)

       生成的公钥私钥都保存在~/.ssh下

    2.3.3、在master上将公钥放入authorized_keys,命令如下:        

       cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

    2.3.4、将master上的authorized_keys放到其它机器上

       scp ~/.ssh/authorized_keys root@node1:~/.ssh/

       scp ~/.ssh/authorized_keys root@node2:~/.ssh

    2.3.5、测试是否成功

      hadoop分布式集群搭建(2.9.1)

  2.4 下载hadoop及修改配置文件在master上执行即可,修改完再复制到其他机器上

    wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-2.9.1.tar.gz (我下载时这里的稳定版是2.9.1,如果更新了,下载相应的tar.gz包即可)

     解压:tar zxf hadoop-2.9.1.tar.gz

  2.5 创建HDFS存储目录

    进入解压后的文件夹: cd hadoop2.9.1

    mkdir hdfs

    cd hdfs

    mkdir name data tmp

    ./hdfs/name    --存储namenode文件

    ./hdfs/data      --存储数据

    ./hdfs/tmp       --存储临时文件 

  2.6 修改xml配置文件

      需要修改的xml文件在hadoop2.9.1/etc/hadoop/下

      主要有5个文件要修改:

      hadoop-env.sh

      core-site.xml

      hdfs-site.xml

mapred-site.xml

        yarn-site.xml

      slaves 

         hadoop分布式集群搭建(2.9.1) 

     2.6.1、vim  hadoop-env.sh,填写的是java的安装路径

      hadoop分布式集群搭建(2.9.1)

    2.6.2、vim core-site.xml,configuration标签中插入如下内容

                hadoop分布式集群搭建(2.9.1)

    2.6.3、vim hdfs-site.xml

     hadoop分布式集群搭建(2.9.1)

    2.6.4、vim mapred-site.xml

     hadoop分布式集群搭建(2.9.1)

    2.6.5、vim yarn-site.xml

     hadoop分布式集群搭建(2.9.1)

    2.6.6、vim slaves,将里面的localhost删掉,写入从节点主机名

     hadoop分布式集群搭建(2.9.1)

  2.7 将hadoop文件夹远程拷贝到node节点上

    scp -r hadoop-2.9.1 wang@node1:/home/wang/

    scp -r hadoop-2.9.1 wang@node2:/home/wang/

   2.8 启动hadoop

   2.8.1 启动之前要先格式化,格式化命令:hadoop namenode -format

     因为master是namenode,node1和node2都是datanode,所以只在master上执行

     hadoop分布式集群搭建(2.9.1)

    如果出现successfully formatted,即表示格式化成功,会看到name下多出current文件夹

hadoop分布式集群搭建(2.9.1)

   2.8.2 格式化成功后,在master上执行命令:start-all.sh,启动后可用jps命令查看开启的进程,master上有四个进程,node上是三个

    hadoop分布式集群搭建(2.9.1)

    hadoop分布式集群搭建(2.9.1)

    如果不是,请从头到尾再检查一下配置文件,看是否有拼错的地方

    另外还可以在浏览器查看:192.168.199.88:50070

               (masterIP,50070固定端口)

上一篇:dd命令详解-(转自dkcndk)


下一篇:javascript变量作用域 — 全局变量