本人微信公众号，欢迎扫码关注！
Hadoop运行模式（下）
2.3、完全分布式部署Hadoop
-
1）分析：
- 1）准备3台客户机（关闭防火墙、静态ip、主机名称）
- 2）安装jdk
- 3）配置环境变量
- 4）安装hadoop
- 5）配置环境变量
- 6）安装ssh
- 7）配置集群
- 8）启动测试集群
-
2）操作
-
（1） 虚拟机准备
- 克隆三台干净的虚拟机
（2） 主机名设置
-
（3） scp
1）scp可以实现服务器与服务器之间的数据拷贝。
-
2）案例实操
-
（1）将hadoop101中/opt/module和/opt/software文件拷贝到hadoop102、hadoop103和hadoop104上。
[root@hadoop101 /]# scp -r /opt/module/ root@hadoop102:/opt
[root@hadoop101 /]# scp -r /opt/software/ root@hadoop102:/opt
[root@hadoop101 /]# scp -r /opt/module/ root@hadoop103:/opt
[root@hadoop101 /]# scp -r /opt/software/ root@hadoop103:/opt
[root@hadoop101 /]# scp -r /opt/module/ root@hadoop104:/opt
[root@hadoop101 /]# scp -r /opt/software/ root@hadoop105:/opt -
（2）将192.168.1.102服务器上的文件拷贝到当前用户下。
[root@hadoop101 opt]# scp root@hadoop102:/etc/profile /opt/tmp/ -
（3）实现两台远程机器之间的文件传输（hadoop103主机文件拷贝到hadoop104主机上）
[atguigu@hadoop102 test]$ scp atguigu@hadoop103:/opt/test/haha atguigu@hadoop104:/opt/test/
-
-
（4）SSH无密码登录
-
1）配置ssh
-
（1）基本语法
ssh 另一台电脑的ip地址 -
（2）ssh连接时出现Host key verification failed的解决方法
问题再现
[root@hadoop2 opt]# ssh 192.168.1.103
The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.
RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)?
Host key verification failed. 解决办法
输入yes，然后输入目标机器的密码即可
-
-
2）无密钥配置
-
（1）进入到我的home目录
cd ~/.ssh -
（2）生成公钥和私钥：
ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥） -
（3）将公钥拷贝到要免密登录的目标机器上
ssh-copy-id 目标机器主机名或IP地址
-
-
3）.ssh文件夹下的文件功能解释
- （1）~/.ssh/known_hosts ：记录ssh访问过计算机的公钥(public key)
- （2）id_rsa ：生成的私钥
- （3）id_rsa.pub ：生成的公钥
- （4）authorized_keys ：存放授权过得无秘登录服务器公钥
-
-
（5）rsync
rsync远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
-
1）查看rsync使用说明
man rsync | more -
2）基本语法
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
命令 命令参数 要拷贝的文件路径/名称 目的用户@主机:目的路径 -
3）案例实操
把本机/opt/tmp目录同步到hadoop103服务器的root用户下的/opt/tmp目录
rsync –rvl /opt/tmp/* root@hadoop103:/op t/tmp
-
-
（6）编写集群分发脚本xsync
-
1）需求分析：循环复制文件到所有节点的相同目录下。
-
（1）原始拷贝：
rsync –rvl /opt/module root@hadoop103:/opt/ -
（2）期望脚本：
xsync 要同步的文件名称
（3）在/usr/local/bin这个目录下存放的脚本，可以在系统任何地方直接执行，需要制定路径。
-
-
2）案例实操：
-
（1）在/usr/local/bin目录下创建xsync文件
#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi #2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname #3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir #4 获取当前用户名称
user=`whoami` #5 循环
for((host=103; host<105; host++)); do
#echo $pdir/$fname $user@hadoop$host:$pdir
echo --------------- hadoop$host ----------------
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done -
（2）修改脚本 xsync 具有执行权限
[root@hadoop102 bin]# chmod 777 xsync （3）调用脚本形式：xsync 文件名称
-
-
-
（7）编写分发脚本xcall
-
1）需求分析：在所有主机上同时执行相同的命令
xcall +命令 -
2）具体实现
-
（1）在/usr/local/bin目录下创建xcall文件
#!/bin/bash
pcount=$#
if((pcount==0));then
echo no args;
exit;
fi echo -------------localhost----------
$@
for((host=101; host<=108; host++)); do
echo ----------hadoop$host---------
ssh hadoop$host $@
done -
（2）修改脚本 xcall 具有执行权限
[root@hadoop102 bin]# chmod 777 xcall -
（3）调用脚本形式： xcall 操作命令
[root@hadoop102 ~]# xcall rm -rf /opt/tmp/profile
-
-
-
（8） 基于伪分布式部署集群
-
1）集群部署规划
规划原则：尽量将耗内存的任务分散开来
Hadoop102 Hadoop103 Hadoop104 HDFS NameNode SecondaryNameNode DataNode DataNode DataNode YARN NodeManager ResourceManager NodeManager -
2）配置文件
-
（1）core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property> <!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property> -
（2）Hdfs
-
hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.7.0_79 -
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property> <property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:50090</value>
</property>
</configuration> -
slaves
hadoop102
hadoop103
hadoop104
-
-
（3）yarn
-
yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.7.0_79 -
yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> <!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
</configuration>
-
-
（4）mapreduce
-
mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.7.0_79 -
mapred-site.xml
<configuration>
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
-
-
-
3）在集群上分发以上所有文件
cd /opt/module/hadoop-2.7.2/etc/hadoop
xsync /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml
xsync /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml
xsync /opt/module/hadoop-2.7.2/etc/hadoop/slaves -
4）查看文件分发情况
xcall cat /opt/module/hadoop-2.7.2/etc/hadoop/slaves
-
-
（9）集群启动及测试
-
1）启动集群
-
（0）如果集群是第一次启动，需要格式化namenode
[root@hadoop2 hadoop-2.7.2]# bin/hdfs namenode –format -
（1）启动HDFS
[intflag@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh 启动之后验证
[intflag@hadoop102 hadoop-2.7.2]$ jps
3690 DataNode
9550 Jps
3583 NameNode [intflag@hadoop103 hadoop-2.7.2]$ jps
9095 Jps
3435 DataNode [intflag@hadoop104 hadoop-2.7.2]$ jps
3432 DataNode
9371 Jps
3518 SecondaryNameNode -
（2）启动yarn
注意：Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在ResouceManager所在的机器上启动yarn。
sbin/start-yarn.sh
-
-
2）集群基本测试
-
（1）上传文件到集群
-
上传小文件
bin/hdfs dfs –mkdir –p /user/atguigu/tmp/conf
bin/hdfs dfs –put etc/hadoop/*-site.xml /user/atguigu/tmp/conf -
上传大文件
[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz /user/atguigu/input
-
-
（2）上传文件后查看文件存放在什么位置
-
文件存储路径
[atguigu@hadoop103 subdir0]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0 -
查看文件内容
[atguigu@hadoop108 subdir0]$ cat blk_1073741825
hadoop
atguigu
atguigu
-
-
（3）拼接
-rw-rw-r--. 1 atguigu atguigu 134217728 5月 23 16:01 blk_1073741836
-rw-rw-r--. 1 atguigu atguigu 1048583 5月 23 16:01 blk_1073741836_1012.meta
-rw-rw-r--. 1 atguigu atguigu 63439959 5月 23 16:01 blk_1073741837
-rw-rw-r--. 1 atguigu atguigu 495635 5月 23 16:01 blk_1073741837_1013.meta
[atguigu@hadoop107 subdir0]$ cat blk_1073741836>>tmp.file
[atguigu@hadoop107 subdir0]$ cat blk_1073741837>>tmp.file
[atguigu@hadoop107 subdir0]$ tar -zxvf tmp.file -
（4）下载
[atguigu@hadoop107 hadoop-2.7.2]$ bin/hadoop fs -get /user/atguigu/input/hadoop-2.7.2.tar.gz
-
-
3）集群性能测试
- 写海量数据
- 读海量数据
-
-
（9）Hadoop启动停止方式
-
1）各个服务组件逐一启动
-
（1）分别启动hdfs组件
hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode -
（2）启动yarn
yarn-daemon.sh start|stop resourcemanager|nodemanager
-
-
2）各个模块分开启动（配置ssh是前提）常用
-
（1）整体启动/停止hdfs
start-dfs.sh
stop-dfs.sh -
（2）整体启动/停止yarn
start-yarn.sh
stop-yarn.sh -
3）全部启动（不建议使用）
start-all.sh
stop-all.sh
-
-
-
（11）配置集群常见问题
-
1）防火墙没关闭、或者没有启动yarn
INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 2）主机名称配置错误
3）ip地址配置错误
4）ssh没有配置好
5）root用户和atguigu两个用户启动集群不统一
6）配置文件修改不细心
-
7）未编译源码
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/05/22 15:38:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 -
8）datanode不被namenode识别问题
Namenode在format初始化的时候会形成两个标识，blockPoolId和clusterId。新的datanode加入时，会获取这两个标识作为自己工作目录中的标识。 一旦namenode重新format后，namenode的身份标识已变，而datanode如果依然持有原来的id，就不会被namenode识别。 解决办法，删除datanode节点中的数据后，再次重新格式化namenode。
-
-