首先创建5台虚拟机(最少三台),并且做好部署规划
ip地址 |
主机名 |
安装软件 |
进程 |
192.168.xx.120 |
master |
jdk,hadoop,zookeeper |
namenode,ZKFC,Resourcemanager |
192.168.xx.121 |
master2 |
jdk,hadoop,zookeeper |
namenode,ZKFC,Resourcemanager |
192.168.xx.122 |
slave1 |
jdk,hadoop,zookeeper |
natanode,nodemanager,zookeeper,Journalnode, |
192.168.xx.123 |
slave2 |
jdk,hadoop,zookeeper |
natanode,nodemanager,zookeeper,Journalnode, |
192.168.xx.124 |
slave3 |
jdk,hadoop,zookeeper |
natanode,nodemanager,zookeeper,Journalnode, |
一、首先设置防火墙防火墙
立即关闭防火墙service iptables stop
设置防火墙开机不启动 chkconfig iptables off
设置 selinux 将SELINUX 改为disabled
二、编辑主机名映射
vi/etc/hosts
下载 ssh包获取scp命令
yuminstall openssh-clients
将hosts远程拷贝至后面四台机器
scp /etc/hostsmaster2:/etc/hosts
三、设置五台机器时间同步
最小化安装没有ntpdate这个软件,首先用yum命令下载
yum –y installntp
设置master 与指定时间服务器同步
ntpdate cn.pool.ntp.org
设置后面4台机器与master同步
修改master ntp配置文件
vi /etc/ntp.conf
讲restrict 上的网段改为自己的网段
注释server 服务器
在最下面添加两行server 和fudge内容
启动ntpd ,并设置为开机启动
关闭后面几台ntpd,并设置为开机不启动
同步master时间服务器
ntpdate master
四、创建普通用户
adduser hadoop
passwd hadoop 设置密码
五、SSH免密登录
切换到普通用户
在五台机器上都输入ssh-keygen –t rsa,然后一直按回车
将秘钥拷贝到五台机器上
ssh-copy-id master
ssh-copy-id master2
ssh-copy-id slave1
ssh-copy-id slave2
ssh-copy-id slave3
测试能否免密登录,设置成功!
在其他四台机器上重复以上操作
六、安装jdk
我这里是最小化安装不需要检查系统自己看装的jdk,如果不是需要卸载
通过下面两行命令查找卸载
rpm –qa |grep jdk
rpm –e –nodep
修改/opt/文件夹用户
chown –R hadoop:hadoop /opt/
创建 /opt/software文件夹,这个文件夹用来存放压缩包, 创建/opt/modules这个文件用来存放解压的软件
上传jdk到software
解压jdk到modules
配置环境变变量,切换到root用户vi /etc/profile 也可以在普通用户下修改vi ~/.bash_profile,在最后添加
保存退出,输入 source /etc/profile ,然后输入java -version验证版本
将java scp至其他几台机器
将配置文件scp至其他几台机器
七、进入slave1主机,安装配置zookeeper
上传zookeeper到software文件夹,并解压到modules
修改zookeeper配置文件
修改dataDir 路径,增加server配置信息
创建zkData文件夹并创建myid文件,在slave1输入1
scp zookeeper文件夹到slave2和slave3下
修改slave2和slave3 的myid文件
启动zookeeper,并验证状态
启动 bin/zkCli.sh,配置完成!
八、安装配置hadoop
上传hadoop到software文件夹,并解压到modules
配置hadoop环境变量
root vi /etc/profile, 记得source /etc/profile
修改hadoop 配置文件
修改 etc/hadoop 下的环境变量文件增加java环境变量
hadoop-env.sh mapred-env.sh yarn-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_79
修改core-site.xml文件
-
<configuration>
-
<property>
-
<name>fs.defaultFS</name>
-
<value>hdfs://ns1</value>
-
</property>
-
<property>
-
<name>hadoop.tmp.dir</name>
-
<value>/opt/modules/App/hadoop-2.5.0/data/tmp</value>
-
</property>
-
<property>
-
<name>hadoop.http.staticuser.user</name>
-
<value>hadoop</value>
-
</property>
-
<property>
-
<name>ha.zookeeper.quorum</name>
-
<value>slave1:2181,slave2:2181,slave3:2181</value>
-
</property>
-
</configuration>
修改hdfs-site.xml文件
-
<configuration>
-
<property>
-
<name>dfs.replication</name>
-
<value>3</value>
-
</property>
-
<property>
-
<name>dfs.permissions.enabled</name>
-
<value>false</value>
-
</property>
-
<property>
-
<name>dfs.nameservices</name>
-
<value>ns1</value>
-
</property>
-
<property>
-
<name>dfs.blocksize</name>
-
<value>134217728</value>
-
</property>
-
<property>
-
<name>dfs.ha.namenodes.ns1</name>
-
<value>nn1,nn2</value>
-
</property>
-
<!-- nn1的RPC通信地址,nn1所在地址 -->
-
<property>
-
<name>dfs.namenode.rpc-address.ns1.nn1</name>
-
<value>master:8020</value>
-
</property>
-
<!-- nn1的http通信地址,外部访问地址 -->
-
<property>
-
<name>dfs.namenode.http-address.ns1.nn1</name>
-
<value>master:50070</value>
-
</property>
-
<!-- nn2的RPC通信地址,nn2所在地址 -->
-
<property>
-
<name>dfs.namenode.rpc-address.ns1.nn2</name>
-
<value>master2:8020</value>
-
</property>
-
<!-- nn2的http通信地址,外部访问地址 -->
-
<property>
-
<name>dfs.namenode.http-address.ns1.nn2</name>
-
<value>master2:50070</value>
-
</property>
-
<!-- 指定NameNode的元数据在JournalNode日志上的存放位置(一般和zookeeper部署在一起) -->
-
<property>
-
<name>dfs.namenode.shared.edits.dir</name>
-
<value>qjournal://slave1:8485;slave2:8485;slave3:8485/ns1</value>
-
</property>
-
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
-
<property>
-
<name>dfs.journalnode.edits.dir</name>
-
<value>/opt/modules/hadoop-2.5.0-cdh5.3.6/data/journal</value>
-
</property>
-
<!--客户端通过代理访问namenode,访问文件系统,HDFS 客户端与Active 节点通信的Java 类,使用其确定Active 节点是否活跃 -->
-
<property>
-
<name>dfs.client.failover.proxy.provider.ns1</name>
-
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
-
</property>
-
<!--这是配置自动切换的方法,有多种使用方法,具体可以看官网,在文末会给地址,这里是远程登录杀死的方法 -->
-
<property>
-
<name>dfs.ha.fencing.methods</name>
-
<value>sshfence</value>
-
</property>
-
<!-- 这个是使用sshfence隔离机制时才需要配置ssh免登陆 -->
-
<property>
-
<name>dfs.ha.fencing.ssh.private-key-files</name>
-
<value>/home/hadoop/.ssh/id_rsa</value>
-
</property>
-
<!-- 配置sshfence隔离机制超时时间,这个属性同上,如果你是用脚本的方法切换,这个应该是可以不配置的 -->
-
<property>
-
<name>dfs.ha.fencing.ssh.connect-timeout</name>
-
<value>30000</value>
-
</property>
-
<!-- 这个是开启自动故障转移,如果你没有自动故障转移,这个可以先不配 -->
-
<property>
-
<name>dfs.ha.automatic-failover.enabled</name>
-
<value>true</value>
-
</property>
-
</configuration>
修改mapred-site.xml.template名称为mapred-site.xml并修改
-
<configuration>
-
<property>
-
<name>mapreduce.framework.name</name>
-
<value>yarn</value>
-
</property>
-
<property>
-
<name>mapreduce.jobhistory.address</name>
-
<value>master:10020</value>
-
</property>
-
<property>
-
<name>mapreduce.jobhistory.webapp.address</name>
-
<value>master:19888</value>
-
</property>
-
</configuration>
配置 yarn-site.xml
-
<configuration>
-
<property>
-
<name>yarn.nodemanager.aux-services</name>
-
<value>mapreduce_shuffle</value>
-
</property>
-
<!-- Site specific YARN configuration properties -->
-
<!--启用resourcemanager ha-->
-
<!--是否开启RM ha,默认是开启的-->
-
<property>
-
<name>yarn.resourcemanager.ha.enabled</name>
-
<value>true</value>
-
</property>
-
<!--声明两台resourcemanager的地址-->
-
<property>
-
<name>yarn.resourcemanager.cluster-id</name>
-
<value>rmcluster</value>
-
</property>
-
<property>
-
<name>yarn.resourcemanager.ha.rm-ids</name>
-
<value>rm1,rm2</value>
-
</property>
-
<property>
-
<name>yarn.resourcemanager.hostname.rm1</name>
-
<value>master</value>
-
</property>
-
<property>
-
<name>yarn.resourcemanager.hostname.rm2</name>
-
<value>master2</value>
-
</property>
-
-
<!--指定zookeeper集群的地址-->
-
<property>
-
<name>yarn.resourcemanager.zk-address</name>
-
<value>slave1:2181,slave2:2181,slave3:2181</value>
-
</property>
-
<!--启用自动恢复,当任务进行一半,rm坏掉,就要启动自动恢复,默认是false-->
-
<property>
-
<name>yarn.resourcemanager.recovery.enabled</name>
-
<value>true</value>
-
</property>
-
-
<!--指定resourcemanager的状态信息存储在zookeeper集群,默认是存放在FileSystem里面。-->
-
<property>
-
<name>yarn.resourcemanager.store.class</name>
-
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
-
</property>
-
-
</configuration>
配置slaves
scp hadoop到其他四台机器,拷贝之前删除share/doc文件
分别在master和master2的yarn-site.xml上添加
-
<property>
-
<name>yarn.resourcemanager.ha.id</name>
-
<value>rm1</value>
-
</property>
-
<property>
-
<name>yarn.resourcemanager.ha.id</name>
-
<value>rm2</value>
-
</property>
启动zookeeper
启动journalnode sbin/hadoop-deamon.sh startjournalnode
格式化master namenode bin/hdfs namenode –format
启动 master namenode sbin/hadoop-deamon.sh startnamenode
在master2上同步master namenode元数据 bin/hdfs namenode -bootstrapStandby
启动master2 namenode sbin/hadoop-deamon.sh startnamenode
此时进入 50070 web页面,两个namenode都是standby状态,这是可以先强制手动是其中一个节点变为active bin/hdfs haadmin –transitionToActive–forcemanual
此时master变为active
手动故障转移已经完成,接下来配置自动故障转移
先把整个集群关闭,zookeeper不关,输入bin/hdfs zkfc –formatZK,格式化ZKFC
在slave1上登录zookeeper
输入ls / ,发现多了一个hadoop-ha节点,这是配置应该没有问题
启动集群, 在master 输入 sbin/start-dfs.sh
此时一个节点stanby 一个节点active
现在kill掉master namenode进程, 刷新master页面
master自动切换为active,配置成功!
启动yarn,测试resourcemanager ha ,master1输入 sbin/start-yarn.sh
master2输入 sbin/yarn-daemaon.sh start resourcemanager
在web 端输入master2:8088自动跳转
Kill master rm进程
master2:8088 active
wordcount程序测试,在本地创建一个测试文件,并上传到hdfs上
查看输出文件 hadoop fs –cat /output1/part*,运行成功
关闭active rm ,再次运行wordcount
关闭active namenode,查看文件
查看成功,rm nn HA配置成功!