链接：https://pan.baidu.com/s/1t8vDzoFb956TrsfGeq_3uA
提取码：lycc
一、安装之前先检查3虚拟机有没有以下问题
1、第一台虚拟机
配置网络
修改主机名
关闭防火墙
配置映射
安装jdk(删除自带jdk)
2、克隆两台
修改主机名
修改网络
3、SSH免密
4、修改启动级别之后重启（关闭虚拟机可视化界面，使用终端界面）
systemctl set-default multi-user.target
二、安装Hadoop
1、启动三台虚拟机，master，node1，node2，连接xshell，并回到之前拍的redis搭建集群前快照，杀死没有关闭的redis服务，也可以直接回到装完jdk快照直接安装，只要有三台虚拟机集群和配置好的jdk即可
2、通过xftp上传Hadoop压缩包到/usr/local/module目录下
3、解压
tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/
3、配置环境变量
export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
PATH中新加$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存退出生效
4、配置Hadoop变量
hadoop 配置文件在/usr/local/soft/hadoop-2.7.6/etc/hadoop/
1.修改slaves 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/slaves
删除原有内容
新加从节点主机名
node1
node2
2.修改hadoop-env.sh 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/hadoop-env.sh
删除export JAVA_HOME=${JAVA_HOME}
新加export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
3.修改core-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/core-site.xml
在core-site.xml标签configuration中复制一下内容
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
4.修改hdfs-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
5.修改yarn-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
6.修改mapred-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml
cp /usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml.template /usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
7.hadoop分发到node1和node2
scp -r /usr/local/soft/hadoop-2.7.6 node1:/usr/local/soft
scp -r /usr/local/soft/hadoop-2.7.6 node2:/usr/local/soft
8.启动hadoop
在master格式化
hdfs namenode -format
格式化成功
start-all.sh 启动
查看状态jps
google浏览器输入master:50070，访问hdfs页面验证是否安装成功
如果安装失败
stop-all.sh
再次重启的时候
1、需要手动将每个节点的tmp目录删除: 所有节点都要删除
rm -rf /usr/local/soft/hadoop-2.7.6/tmp
然后执行将namenode格式化
2、在主节点执行命令:
hdfs namenode -format
3启动hadoop
start-all.sh