使用Docker搭建Hadoop集群(伪分布式与完全分布式)

  之前用虚拟机搭建Hadoop集群(包括伪分布式和完全分布式:Hadoop之伪分布式安装),但是这样太消耗资源了,自学了Docker也来操练一把,用Docker来构建Hadoop集群,这里搭建的Hadoop主要服务于之前没有完成的项目:网站日志流量分析系统(该系统目前用虚拟机实现了离线分析模块,实时分析由于资源问题尚未完成,我想这次不担心了)考虑到阿里云ECS对于我个人来说,成本有点太高了,但是自从学了Dokcer以后,我再也不怕了,用这一台就够啦,哈哈哈哈……下面开始吧!安装过程较长,so please be patient!

一、环境准备

  ①阿里云轻量应用服务器(学生价很实惠的~),我的配置:1C、2G、40G(足够了)

  ②CentOS7.3,内核4.4(可用uname -r 查看,自带的3.10.x可能会导致Docker运行不稳定,鄙人踩过的坑,可参考鄙人另一篇博客:从centos7镜像到搭建kubernetes集群(kubeadm方式安装)里面有关于升级内核命令)

  ③Docker版本:19.03.5(安装参考官网即可,镜像加速可参考鄙人另一篇博客:Docker配置阿里云镜像源

  ④JDK1.8:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

  ⑤Hadoop:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.ta​​r.gz(ps:source为源码包,binary为安装包)

二、构建ssh-centos镜像

1、创建对应目录

mkdir centos-ssh
cd centos-ssh
vim Dockerfile #这里docker build时缺省名为Dockerfile

2、编写Dockerfile

FROM centos

# 镜像的作者
MAINTAINER xiedong # 安装openssh-server和sudo软件包,并且将sshd的UsePAM参数设置成no
RUN yum install -y openssh-server sudo
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
#安装openssh-clients
RUN yum install -y openssh-clients # 添加测试用户root,密码root,并且将此用户添加到sudoers里
RUN echo "root:root" | chpasswd
RUN echo "root ALL=(ALL) ALL" >> /etc/sudoers
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key
# 启动sshd服务并且暴露22端口
RUN mkdir /var/run/sshd
EXPOSE
CMD ["/usr/sbin/sshd", "-D"]

3、构建镜像

docker build -t 'xd/centos-ssh' .    #注意别忘记末尾的点

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

三、构建jdk1.8镜像

1、创建目录并上传JDK至该目录

mkdir centos-ssh-root-jdk
cd centos-ssh-root-jdk

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

2、编辑Dockefile(docker build 缺省名为Dockerfile)

#基于上一个ssh镜像构建
FROM xd/centos-ssh
#拷贝并解压jdk
ADD jdk-8u231-linux-x64.tar.gz /usr/local/
RUN mv /usr/local/jdk1..0_231 /usr/local/jdk1.
ENV JAVA_HOME /usr/local/jdk1.
ENV PATH $JAVA_HOME/bin:$PATH

3、构建jdk1.8镜像

docker build -t 'xd/centos-jdk' .

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

四、构建hadoop镜像

1、创建目录并上传Hadoop安装包

mkdir centos-ssh-root-jdk-hadoop
cd centos-ssh-root-jdk-hadoop

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

2、编写Dockerfile

FROM xd/centos-jdk
ADD hadoop-2.7..tar.gz /usr/local
RUN mv /usr/local/hadoop-2.7. /usr/local/hadoop
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH

3、构建镜像

docker build -t 'xd/hadoop' .

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

五、启动容器并固定IP

1、集群规划

主节点:hadoop0 ip:192.168.2.10

从节点1:hadoop1 ip:192.168.2.11

从节点2:hadoop2 ip:192.168.2.12

ps:这里Docker容器重启后IP会发生变化,所以需要给Docker设置固定IP,使用pipework给docker固定ip

2、启动容器

  分别为hadoop0、hadoop1、hadoop2

docker run --name hadoop0 --hostname hadoop0 -d -P -p : -p : xd/hadoop    #hadoop0对外开放端口50070和8088
docker run --name hadoop1 --hostname hadoop1 -d -P xd/hadoop
docker run --name hadoop2 --hostname hadoop2 -d -P xd/hadoop

docker ps查看刚刚启动的3个容器

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

3、固定IP

  docker容器重启以后ip会发生变化,所以这里通过pipework给docker固定ip,pipework下载地址:https://github.com/jpetazzo/pipework

①上传、解压并改名该压缩包

unzip pipework-master.zip
mv pipework-master pipework
cp -rp pipework/pipework /usr/local/bin/

②安装birdge-utils

yum -y install bridge-utils

③创建网络

brctl addbr br0
ip link set dev br0 up
ip addr add 192.168.2.1/ dev br0

④设置固定IP

pipework br0 hadoop0 192.168.2.10/
pipework br0 hadoop1 192.168.2.11/
pipework br0 hadoop2 192.168.2.12/

⑤验证

分别ping这3个ip即可验证ip是否设定成功

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

六、集群搭建

ps:以下操作均是对hadoop0主节点配置(可参考博主之前写的虚拟机内搭建的Hadoop集群:Hadoop之伪分布式安装)----还是那条路子:配置主机名与IP映射、ssh免密登录……等。

1、进入容器

docker exec -it hadoop0 /bin/bash        (当然也可以用attach进入)

2、配置主机名与IP映射(3个节点)

192.168.2.10    hadoop0
192.168.2.11 hadoop1
192.168.2.12 hadoop2

3、ssh免密登录

ssh-keygen
#剩下的一路回车即可
ssh-copy-id hadoop0
#根据提示输入yes以及主机密码,开头我们设置的是root/root
ssh-copy-id hadoop1
ssh-copy-id hadoop2

4、hadoop的相关配置

进入/usr/local/hadoop/etc/hadoop目录,涉及的配置文件有:core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml

①配置hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.          #修改JAVA_HOME

②core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop0:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value></value>
</property>
</configuration>

③hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value></value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

④yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
</configuration>

⑤mapred-site.xml(需要修改模板:mv mapred-site.xml.template mapred-site.xml)

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

5、格式化hadoop并启动伪分布式hadoop

进入进入到/usr/local/hadoop目录下

①格式化(格式化操作不能重复执行。如果一定要重复格式化,带参数-force即可)

bin/hdfs namenode -format
注意:在执行的时候会报错,是因为缺少which命令,安装即可 执行下面命令安装
yum install -y which

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

②启动伪分布hadoop

sbin/start-all.sh

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

6、完全分布式hadoop搭建

进入/usr/local/hadoop

①停止上一步的伪分布式hadoop

sbin/stop-all.sh

②指定nodemanager的地址,修改文件yarn-site.xml

<property>
<description>The hostname of the RM.</description>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop0</value>
</property>

③修改hadoop0中hadoop的一个配置文件etc/hadoop/slaves

删除原来的所有内容,修改为如下

hadoop1
hadoop2

④拷贝至其他两个节点

 scp -rq /usr/local/hadoop/ hadoop1:/usr/local/
scp -rq /usr/local/hadoop/ hadoop2:/usr/local/

⑤启动hadoop分布式集群服务

执行sbin/start-all.sh

ps:在执行的时候会报错,是因为两个从节点缺少which命令,安装即可(yum install -y which)

7、验证完全分布式集群是否正常

①hadoop0主节点需要有以下进程

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

②hadoop1从节点需要有以下进程

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

③hadoop2从节点需要有以下进程

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

七、wordcount单词计数验证集群服务

1、创建本地文件并写入任意内容

vi a.txt
hello hadoop
hello spark
hello flink

2、上传该文件至HDFS并验证是否上传成功

hdfs dfs -put a.txt /
hadoop fs -ls /

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

3、提交job程序至hadoop集群

cd /usr/local/hadoop/share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-2.7..jar wordcount /a.txt /out

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

4、查看计算结果

hadoop fs -ls /out
hadoop fs -cat /out/part-r-

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

  至此、使用Docker搭建Hadoop集群成功!

八、浏览器访问Hadoop集群服务

1、docker ps查看主节点容器

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

启动的容器的时候指定了对外开放端口:50070和8088

2、浏览器访问:http://IP:50070/dfshealth.html#tab-overview即可看到以界面

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

3、浏览器访问:http://IP:8088/cluster

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

九、重启容器注意点

1、停止3个容器

docker stop hadoop0
docker stop hadoop1
docker stop hadoop2

2、启动3个容器

docker start hadoop0
docker start hadoop1
docker start hadoop2

3、固定IP

pipework br0 hadoop0 192.168.2.10/
pipework br0 hadoop1 192.168.2.11/
pipework br0 hadoop2 192.168.2.12/

4、主机名与IP映射

ps:每次修改比较麻烦,干脆一个脚本:runhosts.sh

#!/bin/bash
echo 192.168.2.10 hadoop0 >> /etc/hosts
echo 192.168.2.11 hadoop1 >> /etc/hosts
echo 192.168.2.12 hadoop2 >> /etc/hosts
chmod +x runhosts.sh
scp runhosts.sh  hadoop1:~
scp runhosts.sh hadoop2:~
./runshots.sh

5、查看是否映射成功

  有一些docker版本中不会在hosts文件中自动生成下面这些映射,所以我们才在这里手工给容器设置固定ip,并设置主机名和ip的映射关系

使用Docker搭建Hadoop集群(伪分布式与完全分布式)

6、启动hadoop集群

sbin/start-all.sh

参考自:https://blog.csdn.net/xu470438000/article/details/50512442(如有侵权,请联系删除)

上一篇:《Python CookBook2》 第四章 Python技巧 - 若列表中某元素存在则返回之 && 在无须共享引用的条件下创建列表的列表


下一篇:git的操作集合