hadoop完全分布式搭建HA(高可用)

2018年03月25日 16:25:26 D调的Stanley 阅读数:2725 标签: hadoop HAssh免密登录hdfs HA配置hadoop完全分布式搭建zookeeper 配置 更多
个人分类: hadooplinux
 

首先创建5台虚拟机(最少三台),并且做好部署规划

ip地址

主机名

安装软件

进程

192.168.xx.120

master

jdk,hadoop,zookeeper

namenode,ZKFC,Resourcemanager

192.168.xx.121

master2

jdk,hadoop,zookeeper

namenode,ZKFC,Resourcemanager

192.168.xx.122

slave1

jdk,hadoop,zookeeper

natanode,nodemanager,zookeeper,Journalnode,

192.168.xx.123

slave2

jdk,hadoop,zookeeper

natanode,nodemanager,zookeeper,Journalnode,

192.168.xx.124

slave3

jdk,hadoop,zookeeper

natanode,nodemanager,zookeeper,Journalnode,

一、首先设置防火墙防火墙

立即关闭防火墙service iptables stop

hadoop完全分布式搭建HA(高可用)

设置防火墙开机不启动 chkconfig iptables off

hadoop完全分布式搭建HA(高可用)

设置 selinux 将SELINUX 改为disabled

hadoop完全分布式搭建HA(高可用)

二、编辑主机名映射

vi/etc/hosts

hadoop完全分布式搭建HA(高可用)

下载 ssh包获取scp命令

yuminstall openssh-clients

hadoop完全分布式搭建HA(高可用)

将hosts远程拷贝至后面四台机器

scp /etc/hostsmaster2:/etc/hosts

hadoop完全分布式搭建HA(高可用)

三、设置五台机器时间同步

最小化安装没有ntpdate这个软件,首先用yum命令下载

yum –y installntp

hadoop完全分布式搭建HA(高可用)

设置master 与指定时间服务器同步

ntpdate cn.pool.ntp.org
hadoop完全分布式搭建HA(高可用)

设置后面4台机器与master同步

修改master ntp配置文件

vi /etc/ntp.conf

讲restrict 上的网段改为自己的网段

注释server 服务器

在最下面添加两行server 和fudge内容

hadoop完全分布式搭建HA(高可用)

启动ntpd ,并设置为开机启动

hadoop完全分布式搭建HA(高可用)

关闭后面几台ntpd,并设置为开机不启动

hadoop完全分布式搭建HA(高可用)

同步master时间服务器

ntpdate master

hadoop完全分布式搭建HA(高可用)

四、创建普通用户

adduser hadoop

hadoop完全分布式搭建HA(高可用)

passwd hadoop 设置密码

hadoop完全分布式搭建HA(高可用)

五、SSH免密登录

切换到普通用户

hadoop完全分布式搭建HA(高可用)

在五台机器上都输入ssh-keygen –t rsa,然后一直按回车

hadoop完全分布式搭建HA(高可用)

将秘钥拷贝到五台机器上

ssh-copy-id master

hadoop完全分布式搭建HA(高可用)

ssh-copy-id master2

hadoop完全分布式搭建HA(高可用)

ssh-copy-id slave1

hadoop完全分布式搭建HA(高可用)

ssh-copy-id slave2

hadoop完全分布式搭建HA(高可用)

ssh-copy-id slave3

hadoop完全分布式搭建HA(高可用)

测试能否免密登录,设置成功!

hadoop完全分布式搭建HA(高可用)

在其他四台机器上重复以上操作

六、安装jdk

我这里是最小化安装不需要检查系统自己看装的jdk,如果不是需要卸载

通过下面两行命令查找卸载

rpm –qa |grep jdk

rpm –e –nodep

修改/opt/文件夹用户

chown –R hadoop:hadoop /opt/

hadoop完全分布式搭建HA(高可用)

创建 /opt/software文件夹,这个文件夹用来存放压缩包, 创建/opt/modules这个文件用来存放解压的软件

hadoop完全分布式搭建HA(高可用)

上传jdk到software

hadoop完全分布式搭建HA(高可用)

解压jdk到modules

hadoop完全分布式搭建HA(高可用)

配置环境变变量,切换到root用户vi /etc/profile 也可以在普通用户下修改vi ~/.bash_profile,在最后添加

hadoop完全分布式搭建HA(高可用)

保存退出,输入 source /etc/profile ,然后输入java -version验证版本

hadoop完全分布式搭建HA(高可用)

将java scp至其他几台机器

hadoop完全分布式搭建HA(高可用)

将配置文件scp至其他几台机器

hadoop完全分布式搭建HA(高可用)

七、进入slave1主机,安装配置zookeeper

上传zookeeper到software文件夹,并解压到modules

hadoop完全分布式搭建HA(高可用)

修改zookeeper配置文件

hadoop完全分布式搭建HA(高可用)   hadoop完全分布式搭建HA(高可用)

修改dataDir 路径,增加server配置信息

hadoop完全分布式搭建HA(高可用)

创建zkData文件夹并创建myid文件,在slave1输入1

hadoop完全分布式搭建HA(高可用)

scp zookeeper文件夹到slave2和slave3下

hadoop完全分布式搭建HA(高可用)

修改slave2和slave3 的myid文件

hadoop完全分布式搭建HA(高可用)

启动zookeeper,并验证状态

hadoop完全分布式搭建HA(高可用)

启动 bin/zkCli.sh,配置完成!

hadoop完全分布式搭建HA(高可用)

八、安装配置hadoop

上传hadoop到software文件夹,并解压到modules

hadoop完全分布式搭建HA(高可用)

配置hadoop环境变量

root vi /etc/profile, 记得source /etc/profile

hadoop完全分布式搭建HA(高可用)

修改hadoop 配置文件

修改 etc/hadoop 下的环境变量文件增加java环境变量

hadoop-env.sh mapred-env.sh yarn-env.sh

export JAVA_HOME=/opt/modules/jdk1.7.0_79

修改core-site.xml文件

  1.  
    <configuration>
  2.  
        <property>
  3.  
      <name>fs.defaultFS</name>
  4.  
            <value>hdfs://ns1</value>
  5.  
        </property>
  6.  
        <property>
  7.  
            <name>hadoop.tmp.dir</name>
  8.  
            <value>/opt/modules/App/hadoop-2.5.0/data/tmp</value>
  9.  
        </property>
  10.  
        <property>
  11.  
            <name>hadoop.http.staticuser.user</name>
  12.  
            <value>hadoop</value>
  13.  
        </property>
  14.  
        <property>
  15.  
            <name>ha.zookeeper.quorum</name>
  16.  
            <value>slave1:2181,slave2:2181,slave3:2181</value>
  17.  
        </property>
  18.  
    </configuration>

修改hdfs-site.xml文件

  1.  
    <configuration>
  2.  
    <property>
  3.  
    <name>dfs.replication</name>
  4.  
    <value>3</value>
  5.  
    </property>
  6.  
    <property>
  7.  
    <name>dfs.permissions.enabled</name>
  8.  
    <value>false</value>
  9.  
    </property>
  10.  
    <property>
  11.  
    <name>dfs.nameservices</name>
  12.  
    <value>ns1</value>
  13.  
    </property>
  14.  
    <property>
  15.  
    <name>dfs.blocksize</name>
  16.  
    <value>134217728</value>
  17.  
    </property>
  18.  
    <property>
  19.  
    <name>dfs.ha.namenodes.ns1</name>
  20.  
    <value>nn1,nn2</value>
  21.  
    </property>
  22.  
    <!-- nn1的RPC通信地址,nn1所在地址 -->
  23.  
    <property>
  24.  
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
  25.  
    <value>master:8020</value>
  26.  
    </property>
  27.  
    <!-- nn1的http通信地址,外部访问地址 -->
  28.  
    <property>
  29.  
    <name>dfs.namenode.http-address.ns1.nn1</name>
  30.  
    <value>master:50070</value>
  31.  
    </property>
  32.  
    <!-- nn2的RPC通信地址,nn2所在地址 -->
  33.  
    <property>
  34.  
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
  35.  
    <value>master2:8020</value>
  36.  
    </property>
  37.  
    <!-- nn2的http通信地址,外部访问地址 -->
  38.  
    <property>
  39.  
    <name>dfs.namenode.http-address.ns1.nn2</name>
  40.  
    <value>master2:50070</value>
  41.  
    </property>
  42.  
    <!-- 指定NameNode的元数据在JournalNode日志上的存放位置(一般和zookeeper部署在一起) -->
  43.  
    <property>
  44.  
    <name>dfs.namenode.shared.edits.dir</name>
  45.  
    <value>qjournal://slave1:8485;slave2:8485;slave3:8485/ns1</value>
  46.  
    </property>
  47.  
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
  48.  
    <property>
  49.  
    <name>dfs.journalnode.edits.dir</name>
  50.  
    <value>/opt/modules/hadoop-2.5.0-cdh5.3.6/data/journal</value>
  51.  
    </property>
  52.  
    <!--客户端通过代理访问namenode,访问文件系统,HDFS 客户端与Active 节点通信的Java 类,使用其确定Active 节点是否活跃 -->
  53.  
    <property>
  54.  
    <name>dfs.client.failover.proxy.provider.ns1</name>
  55.  
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  56.  
    </property>
  57.  
    <!--这是配置自动切换的方法,有多种使用方法,具体可以看官网,在文末会给地址,这里是远程登录杀死的方法 -->
  58.  
    <property>
  59.  
    <name>dfs.ha.fencing.methods</name>
  60.  
    <value>sshfence</value>
  61.  
    </property>
  62.  
    <!-- 这个是使用sshfence隔离机制时才需要配置ssh免登陆 -->
  63.  
    <property>
  64.  
    <name>dfs.ha.fencing.ssh.private-key-files</name>
  65.  
    <value>/home/hadoop/.ssh/id_rsa</value>
  66.  
    </property>
  67.  
    <!-- 配置sshfence隔离机制超时时间,这个属性同上,如果你是用脚本的方法切换,这个应该是可以不配置的 -->
  68.  
    <property>
  69.  
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
  70.  
    <value>30000</value>
  71.  
    </property>
  72.  
    <!-- 这个是开启自动故障转移,如果你没有自动故障转移,这个可以先不配 -->
  73.  
    <property>
  74.  
    <name>dfs.ha.automatic-failover.enabled</name>
  75.  
    <value>true</value>
  76.  
    </property>
  77.  
    </configuration>

修改mapred-site.xml.template名称为mapred-site.xml并修改

  1.  
    <configuration>
  2.  
        <property>
  3.  
    <name>mapreduce.framework.name</name>
  4.  
    <value>yarn</value>
  5.  
        </property>
  6.  
        <property>
  7.  
         <name>mapreduce.jobhistory.address</name>
  8.  
         <value>master:10020</value>
  9.  
        </property>
  10.  
        <property>
  11.  
         <name>mapreduce.jobhistory.webapp.address</name>
  12.  
         <value>master:19888</value>
  13.  
        </property>
  14.  
    </configuration>

配置 yarn-site.xml

  1.  
    <configuration>
  2.  
        <property>
  3.  
    <name>yarn.nodemanager.aux-services</name>
  4.  
    <value>mapreduce_shuffle</value>
  5.  
        </property>
  6.  
        <!-- Site specific YARN configuration properties -->
  7.  
        <!--启用resourcemanager ha-->
  8.  
        <!--是否开启RM ha,默认是开启的-->
  9.  
        <property>
  10.  
         <name>yarn.resourcemanager.ha.enabled</name>
  11.  
         <value>true</value>
  12.  
        </property>
  13.  
        <!--声明两台resourcemanager的地址-->
  14.  
        <property>
  15.  
         <name>yarn.resourcemanager.cluster-id</name>
  16.  
         <value>rmcluster</value>
  17.  
        </property>
  18.  
        <property>
  19.  
         <name>yarn.resourcemanager.ha.rm-ids</name>
  20.  
         <value>rm1,rm2</value>
  21.  
        </property>
  22.  
        <property>
  23.  
         <name>yarn.resourcemanager.hostname.rm1</name>
  24.  
         <value>master</value>
  25.  
        </property>
  26.  
        <property>
  27.  
         <name>yarn.resourcemanager.hostname.rm2</name>
  28.  
         <value>master2</value>
  29.  
        </property>
  30.  
     
  31.  
        <!--指定zookeeper集群的地址-->
  32.  
        <property>
  33.  
         <name>yarn.resourcemanager.zk-address</name>
  34.  
            <value>slave1:2181,slave2:2181,slave3:2181</value>
  35.  
        </property>
  36.  
        <!--启用自动恢复,当任务进行一半,rm坏掉,就要启动自动恢复,默认是false-->
  37.  
        <property>
  38.  
         <name>yarn.resourcemanager.recovery.enabled</name>
  39.  
         <value>true</value>
  40.  
        </property>
  41.  
     
  42.  
        <!--指定resourcemanager的状态信息存储在zookeeper集群,默认是存放在FileSystem里面。-->
  43.  
        <property>
  44.  
         <name>yarn.resourcemanager.store.class</name>
  45.  
         <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  46.  
        </property>
  47.  
     
  48.  
    </configuration>

配置slaves

hadoop完全分布式搭建HA(高可用)

scp hadoop到其他四台机器,拷贝之前删除share/doc文件

hadoop完全分布式搭建HA(高可用)

hadoop完全分布式搭建HA(高可用)

分别在master和master2的yarn-site.xml上添加

  1.  
    <property>
  2.  
    <name>yarn.resourcemanager.ha.id</name>
  3.  
    <value>rm1</value>
  4.  
    </property>
  5.  
    <property>
  6.  
    <name>yarn.resourcemanager.ha.id</name>
  7.  
    <value>rm2</value>
  8.  
    </property>

hadoop完全分布式搭建HA(高可用)

启动zookeeper

hadoop完全分布式搭建HA(高可用)

启动journalnode sbin/hadoop-deamon.sh startjournalnode

hadoop完全分布式搭建HA(高可用)

格式化master namenode bin/hdfs namenode –format

hadoop完全分布式搭建HA(高可用)

启动 master namenode sbin/hadoop-deamon.sh startnamenode

hadoop完全分布式搭建HA(高可用)

在master2上同步master namenode元数据 bin/hdfs namenode -bootstrapStandby

hadoop完全分布式搭建HA(高可用)

启动master2 namenode sbin/hadoop-deamon.sh startnamenode

hadoop完全分布式搭建HA(高可用)

此时进入 50070 web页面,两个namenode都是standby状态,这是可以先强制手动是其中一个节点变为active bin/hdfs haadmin –transitionToActive–forcemanual

hadoop完全分布式搭建HA(高可用)

此时master变为active

hadoop完全分布式搭建HA(高可用)

手动故障转移已经完成,接下来配置自动故障转移

先把整个集群关闭,zookeeper不关,输入bin/hdfs zkfc –formatZK,格式化ZKFC

hadoop完全分布式搭建HA(高可用)

在slave1上登录zookeeper

hadoop完全分布式搭建HA(高可用)

输入ls / ,发现多了一个hadoop-ha节点,这是配置应该没有问题

hadoop完全分布式搭建HA(高可用)

启动集群, 在master 输入 sbin/start-dfs.sh

hadoop完全分布式搭建HA(高可用)

此时一个节点stanby 一个节点active

hadoop完全分布式搭建HA(高可用)

hadoop完全分布式搭建HA(高可用)

现在kill掉master namenode进程, 刷新master页面

hadoop完全分布式搭建HA(高可用)

master自动切换为active,配置成功!

hadoop完全分布式搭建HA(高可用)

启动yarn,测试resourcemanager ha ,master1输入 sbin/start-yarn.sh

hadoop完全分布式搭建HA(高可用)

master2输入 sbin/yarn-daemaon.sh start resourcemanager

hadoop完全分布式搭建HA(高可用)

在web 端输入master2:8088自动跳转

hadoop完全分布式搭建HA(高可用)

Kill master rm进程

hadoop完全分布式搭建HA(高可用)

master2:8088 active

hadoop完全分布式搭建HA(高可用)

wordcount程序测试,在本地创建一个测试文件,并上传到hdfs上

hadoop完全分布式搭建HA(高可用)

hadoop完全分布式搭建HA(高可用)

hadoop完全分布式搭建HA(高可用)

hadoop完全分布式搭建HA(高可用)

查看输出文件 hadoop fs –cat /output1/part*,运行成功

hadoop完全分布式搭建HA(高可用)

关闭active rm ,再次运行wordcount

hadoop完全分布式搭建HA(高可用)
hadoop完全分布式搭建HA(高可用)
hadoop完全分布式搭建HA(高可用)

关闭active namenode,查看文件

hadoop完全分布式搭建HA(高可用)

查看成功,rm nn HA配置成功!

hadoop完全分布式搭建HA(高可用)

上一篇:jquery获得select option的值 和对select option的操作【转藏】


下一篇:asp.net C#数据导出Excel实例介绍