Hadoop集群搭建

本人也是初学者,学习过程中做的笔记。能力有限,有不足之处欢迎指教!!!!

一、环境配置

操作系统:Centos 7

jdk:1.8

Hadoop 2.7.6

三个节点主机名分别为 master  node1  node2

 

二、安装前的准备

  1、安装jdk

  把jdk的jar包上传到/usr/local/soft目录下

Hadoop集群搭建

 

 

 

  解压到当前目录 (我这里解压过了,就不演示了下图展现的是解压过的结果)

 tar -zxvf jdk-8u171-linux-x64.tar.gz

 

Hadoop集群搭建

 

 

  配置环境变量 

 vim /etc/profile

 

Hadoop集群搭建

 

Hadoop集群搭建

 

 

 

 

 刷新一下

  source /etc/profile

 

Hadoop集群搭建

 

 

 

 

 

 

  2、永久关闭防火墙

   

 systemctl disable firewalld.service  这里是Centos 7 的命令

 

  3、配置SSH免密

    创建秘钥

      

ssh-keygen -t rsa 一直回车

 

    秘钥分发

      ssh-copy-id 主机名或ip地址

      

1 ssh-copy-id -i master
2 
3 ssh-copy-id -i node1
4 
5 ssh-copy-id -i node2

 

      实现免密码登录到子节点

    注意:如果执行出错,进入/root/.ssh删除里面所有内容,从新执行

 

三、下面开始今天的主题 集群的搭建

(以下操作在主机master上进行)  

1、上传Hadoop  jar包到/usr/local/soft  

Hadoop集群搭建

 

 

 2、解压安装到当前文件夹

tar -zxvf hadoop-2.7.6.tar.gz

 

Hadoop集群搭建

 

下面先配置Hadoop的环境变量

增加hadoop环境变量,将bin和sbin都配置到PATh中

1 export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
2 :$HADOOP_HOME/bin:$HADOOP_HOME/sbin  #增加到文件末尾

 

 Hadoop集群搭建

 

 

刷新一下环境

source /etc/profile

下面开始修改文件

进入目录

 cd /usr/local/soft/hadoop-2.7.6/etc/hadoop

 

Hadoop集群搭建

1、修改slaves

 vim slaves

 

删除原来的所有内容,修改为如下

Hadoop集群搭建

 

 

 

 

2、修改hadoop-env.sh文件

vim hadoop-env.sh

 

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

 

Hadoop集群搭建

 

 

 

(这里推荐在notepad++安装下NppFTP插件,可以连接虚拟机在Windows平台直接操作修改文件,复制粘贴很方便

  安装使用教程自行搜索,这里就不写了)

Hadoop集群搭建

 

 

 

 

3、修改 core-site.xml

 

vim core-site.xml

 

 

 

 

 1 <configuration>
 2     <property>
 3         <name>fs.defaultFS</name>
 4         <value>hdfs://master:9000</value>
 5     </property>
 6     <property>
 7         <name>hadoop.tmp.dir</name>
 8         <value>/usr/local/soft/hadoop-2.7.6/tmp</value>
 9     </property>
10     <property>
11         <name>fs.trash.interval</name>
12         <value>1440</value>
13     </property>
14 </configuration>

 

 

 

将下面的配置参数加入进去修改成对应自己的

Hadoop集群搭建

 

 

 

4、修改 hdfs-site.xml 将dfs.replication设置为1

 

vim  hdfs-site.xml 

 

 

 

 

 1 <configuration>
 2     <property>
 3         <name>dfs.replication</name>
 4         <value>1</value>
 5     </property>
 6     <property>
 7         <name>dfs.permissions</name>
 8         <value>false</value>
 9     </property>
10 </configuration>

 

 

 

Hadoop集群搭建

 

 

 

 

 

5、修改yarn-site.xml

 

vim yarn-site.xml

 

 

 

 

 1 <configuration>
 2 
 3     <property>
 4         <name>yarn.resourcemanager.hostname</name>
 5         <value>master</value>
 6     </property>
 7     <property>
 8         <name>yarn.nodemanager.aux-services</name>
 9         <value>mapreduce_shuffle</value>
10     </property>
11     <property>
12         <name>yarn.log-aggregation-enable</name>
13         <value>true</value>
14     </property>
15     <property>
16         <name>yarn.log-aggregation.retain-seconds</name>
17         <value>604800</value>
18     </property>
19     <property>  
20         <name>yarn.nodemanager.resource.memory-mb</name>  
21         <value>20480</value>  
22     </property>  
23     <property>  
24         <name>yarn.scheduler.minimum-allocation-mb</name>  
25         <value>2048</value>  
26     </property>  
27     <property>  
28         <name>yarn.nodemanager.vmem-pmem-ratio</name>  
29         <value>2.1</value>  
30     </property>
31 
32 </configuration>

 

 

 

Hadoop集群搭建

 

 

 

 

 

6、修改 mapred-site.xml(将mapred-site.xml.template 复制一份为 mapred-site.xml

 

命令:

 

cp mapred-site.xml.template mapred-site.xml

Hadoop集群搭建

vim  mapred-site.xml

 

 

 1 <configuration>
 2 
 3     <property>
 4         <name>mapreduce.framework.name</name>
 5         <value>yarn</value>
 6     </property>
 7     <property>  
 8         <name>mapreduce.jobhistory.address</name>  
 9         <value>master:10020</value>  
10     </property>  
11     <property>  
12         <name>mapreduce.jobhistory.webapp.address</name>  
13         <value>master:19888</value>  
14     </property>
15 
16 </configuration>

 

 

 

 

 

 

 

 

Hadoop集群搭建

 

 

 

7、将hadoop的安装目录分别拷贝到其他子节点

 

scp -r /usr/local/soft/hadoop-2.7.6/ node1:/usr/local/soft/

 

Hadoop集群搭建

 

 

 

 

scp -r /usr/local/soft/hadoop-2.7.6/ node2:/usr/local/soft/

 

Hadoop集群搭建

 

 

 

8、格式化namenode(在master中运行)

hdfs namenode -format

 

9、启动hadoop

start-all.sh

 

输入yes

Hadoop集群搭建

 

 

 

10、验证 是否安装成功

启动完成后通过jps命令查看验证进程:jps

主节点进程为下面几个(下面是进程名称,不是命令):

Namenode

secondarnamenode

resourcemanager

Hadoop集群搭建

 

 

 

子节点进程 (在node1和node2上分别输入命令:jps)

datanode

nodenodemanager

Hadoop集群搭建

 

 

 Hadoop集群搭建

 

 

 验证hdfs

windows电脑登录浏览器(强烈建议chrome浏览器)

 

 

master:50070

Hadoop集群搭建

 

 

 

刚装好的hadoop应该是空的什么都没有

到这里我们就大功告成了,赶紧拍个快照保存一下把

 

Hadoop集群搭建

 

上一篇:在一台机上搭建zookeeper集群(3节点)


下一篇:Git撤销commit提交