Hadoop HDFS分布式文件系统Docker版

2022-02-22 03:51:41

一、Hadoop文件系统HDFS

  1. 构建单节点的伪分布式HDFS

  2. 构建4个节点的HDFS分布式系统

  • nameNode
  • secondnameNode
  • datanode1
  • datanode2

其中 datanode2动态节点，在HDFS系统运行时，==动态加入==。

二、Mac docker环境

  通常在mac os上搭建开发环境是非常方便的，两个docker软件：

  • Docker for mac
  • Docker toolBox

  如果你要在本机做开发，配置IDE环境，想要连接到Docker中，推荐使用Docker toolBOX。docker for mac 版本没有docker0网桥。

  在mac系统上又运行了一层虚拟机，只有这层虚拟机可以直连到docker网络。强烈建议开发不要再找docker for mac连接docker0的方法了，这个坑已经浪费了很多人的时间。

  如果mac系统版本在10.13 以上，还会遇到创建网卡失败的问题，要注意关闭系统安全特性设置。

sudo spctl --master-disable

感谢作者@
仰望神的光，《macOS 10.13 安装Virtualbox失败》，https://blog.csdn.net/u013247765/article/details/78176079
docker 常用命令的总结，会在文章末尾附录。

三、Docker 镜像

  构建Hadoop镜像文件。构建docker image有2中方式，（1）docker commit保存现有环境生成image（2）Dockfile，docker build生成image。通过实验，构建Dockerfile的速度很快，而且支持环境变量，同步文件等方式。开始可以用commit不断调整，最后确定Dockfile内容。而且Dockerfile文件结构清晰，方便查看。

FROM       ubuntu:16.04
MAINTAINER wsn

RUN apt-get update

RUN apt-get install -y openjdk-8-jdk
RUN apt-get install -y vim
RUN apt install -y net-tools
RUN apt install -y iputils-ping 

RUN apt-get install -y openssh-server
RUN mkdir /var/run/sshd

RUN echo 'root:root' |chpasswd

RUN sed -ri 's/^PermitRootLogin\s+.*/PermitRootLogin yes/' /etc/ssh/sshd_config
RUN sed -ri 's/UsePAM yes/#UsePAM yes/g' /etc/ssh/sshd_config
RUN sed -ri 's/#   StrictHostKeyChecking ask/StrictHostKeyChecking no/' /etc/ssh/ssh_config

RUN mkdir /root/.ssh
RUN ssh-keygen -t rsa -P "" -f /root/.ssh/id_rsa
RUN cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
 
ENV JAVA_HOME /usr/lib/jvm/java-8-openjdk-amd64
ENV JRE_HOME /usr/lib/jvm/java-8-openjdk-amd64/jre
ENV PATH /opt/hadoop-2.6.5/bin:/opt/hadoop-2.6.5/sbin:/usr/lib/jvm/java-8-openjdk-amd64/bin:$PATH
ENV CLASSPATH ./:/usr/lib/jvm/java-8-openjdk-amd64/lib:/usr/lib/jvm/java-8-openjdk-amd64/jre/lib

ADD hadoop-2.6.5.tar.gz /opt/
EXPOSE 22

CMD  ["/usr/sbin/sshd", "-D"]

Dockerfile 解析

  1. ubuntu 16.04 为基础镜像，开始开发之前一定要apt-get update。
  2. PermitRootLogin、UsePAM、StrictHostKeyChecking 有关SSH的配置。
  3. ssh-keygen 生成公钥，保存到authorized_keys中。
  4. 配置JDK,hadoop的环境变量。
  5. hadoop-2.6.5.tar.gz 保存到与Dockerfile同一个目录，会自动解压到/opt目录下。注意hadoop的环境变量基石/opt/hadoop-2.6.5/bin下。

编译镜像，其中wsn/ubuntu_ssh_java_hadoop是镜像的名字，其中.代表当前目录。

docker bulid -t wsn/ubuntu_ssh_java_hadoop .

四、HDFS 伪分布式

  HDFS系统中包括三种角色，namenode主控节点，datanode数据节点，secondenamenode主控节点的热备节点。伪分布式，就是在一台主机上启动3个进程，构建一套分布式系统。

  在单节点上配置伪分布式很简单，修改 hadoop-env.sh，core-site.xml，hdfs-site.xml 。
core-site.xml包含2个属性，其中namenode代表节点hostname、域名，换成ip也可以；hadoop.tmp.dir是hadoop工作目录（可以设置docker volumn，实现持久化）。

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://namenode:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/tmp</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
      <name>dfs.replication</name>
      <value>1</value>
  </property>
</configuration>

启动镜像

docker run --name namenode --rm wsn/ubuntu_ssh_java_hadoop

最后2步：

/opt/hadoop/bin/hadoop namenode -format
/opt/hadoop/sbin/start-hdfs.sh start

查看系统状态，jps会看到3个进程namenode，secondnamenode，datanode。

一些简单hdfs命令，这些命令可以帮助你对hdfs系统的测试。

hdfs dfs -ls /
hdfs dfs -mkdir /test
hdfs dfs -put 1.txt /test

五、Docker特性

（一） 分层

  docker系统采用了分层的设计思想，在docker中运行的修改是不会自动保存，你可以调用commit生成新的镜像。或者采用挂载数据卷的方式，将数据和系统分类，实现数据持久化。

  刚刚接触Docker对分层的意义了解不深。在构建Dockerfile的时候，每个RUN命令会构建一个层，image按层存储，此时就产生不同的镜像引用了相同的层，节省了存储空间，实现image hub高效存储。

  docker挂载文件、文件夹命令。

docker -v 宿主机路径：container路径 image

（二）网络与内嵌DNS

在docker环境中，可以创建一个子网络

docker network create --subnet=172.18.0.0/16 hadoopnet

在第二节中讨论过，我们希望能过访问这个网络，在主机上添加路由信息

sudo route -n add 172.18.0.0/24 192.168.99.100

此时，我们可以创建一台绑定网段、ip的主机了，

docker run -it --name namenode --hostname namenode --network  hadoopnet --ip 172.18.0.11 wsn/ubuntu_ssh_java_hadoop

当我们创建一台docker主机，设置了name、ip时，内嵌DNS提供了name和ip的解析，省却了修改hosts文件的麻烦。

（三）免密码登录

  此例中，创建Dockerfile文件的时候，就生成了公钥，并写入authorize文件中。结果就是，所有的container的公钥都是一样的，而且写入了authorize文件，所以都实现了免密码登录。其实笔者不希望这样，对于docker的公钥问题留下待解决的问题。

  在构建Dockerfile的时候，ssh_config文件StrictHostKeyChecking no，设置在首次ssh登录的时候，不用询问。

The authenticity of host 'namenode (172.18.0.11)' can't be established.
ECDSA key fingerprint is SHA256:4utoWe5uVp79ImYqkPPukjmrGIfvDC5demc1sx8sY9c.
Are you sure you want to continue connecting (yes/no)? yes

（四）启动脚本

docker 容器有一个特性，当没有前台应用的时候，docker自动停止（这个设计有什么优势我还不知道）。

我们在创建dockerfile的时候配置了CMD ，就是系统运行后前台命令。如果run docker的时候，配置了start-hdf.sh 命令，那么就会遇到脚本运行结束docker自动停止。

解决方法，在本地创建一个.sh文件，在docker run 的时候挂载到container中，run 命令设置运行这个docker容器中的sh文件。

/etc/init.d/ssh start
/opt/hadoop-2.6.5/sbin/start-dfs.sh

六、分布式Hadoop环境

在本地建立4个文件目录，namenode、secondnamenode、datanode、datanode2。

(一) namenode文件夹：

  • hadoop
  • namenode.sh #启动脚本
  • run.sh #ssh start start-dfs.sh
  • data #挂载到/opt/tmp

hadoop文件夹是容器内/opt/hadoop/etc/hadoop的挂载文件
core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://namenode:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/tmp</value>
    </property>
</configuration>

hdfs-site.xml，全部类型的节点都用这个配置，标注了namenode 和secondnamenode的域名/ip。

<configuration>
  <property>
      <name>dfs.replication</name>
      <value>2</value>
  </property>
  <property>
    <name>dfs.http.address</name>
    <value>namenode:50070</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>secondnamenode:50090</value>
  </property>
</configuration>

slaves

secondnamenode
datanode

masters

secondnamenode

namenode.sh

docker run -it --name namenode --hostname namenode --network  hadoopnet --ip 172.18.0.11 -d -v $PWD/data:/opt/tmp -v $PWD/hadoop:/opt/hadoop-2.6.5/etc/hadoop -v $PWD/run.sh:/opt/run.sh --rm wsn/ubuntu_ssh_java_hadoop /opt/run.sh

run.sh，如果没有格式化目录，首先格式化目录。```bash``使终端有一个前台进程。

#!/bin/bash
if [ ! -d "/opt/tmp/dfs" ];then
    hadoop namenode -format
else
    echo "already format"
fi
/etc/init.d/ssh start
/opt/hadoop-2.6.5/sbin/start-dfs.sh
bash

（二）secondnamenode，datanode 启动命令

docker run --name secondnamenode --hostname secondnamenode --network  hadoopnet --ip 172.18.0.12 -d -v $PWD/data:/opt/tmp -v $PWD/hadoop:/opt/hadoop-2.6.5/etc/hadoop  --rm wsn/ubuntu_ssh_java_hadoop 
docker run --name datanode1 --hostname datanode1 --network  hadoopnet --ip 172.18.0.13 -d -v $PWD/data:/opt/tmp -v $PWD/hadoop:/opt/hadoop-2.6.5/etc/hadoop   --rm wsn/ubuntu_ssh_java_hadoop

这个两个节点已经写到namenode的slaves文件，secondnamenode在配置文件hdfs-site.xml设置为secondary。当namenode启动start-hdf.sh时会通过ssh，启动secondnamenode上的secondname进程和datanode进程。datanode容器会启动datanode进程，此时可以通过web界面查看了。
（三）datanode2 启动

docker run --name datanode2 --hostname datanode2 --network  hadoopnet --ip 172.18.0.14 -d -v $PWD/data:/opt/tmp -v $PWD/hadoop:/opt/hadoop-2.6.5/etc/hadoop   --rm wsn/ubuntu_ssh_java_hadoop

datanode2没有添加到namenode的slaves文件中，但是在datanode2的hdfs文件中配置了namenode和secondnamenode，所以datanode可以自动添加到HDFS系统中。

/opt/etc/hadoop/sbin/hadoop-daemon.sh start datanode

web，http://172.18.0.11:50070/dfshealth.html#tab-datanode

七、总结

Google 三篇论文，分别介绍了分布式文件系统、MapReduce、宽表。对应开源系统Hadoop中的HDFS、MapReduce、HBase。通过对HDFS系统的配置，了解了主从结构的网络，应该用什么样的配置文件。对HBase系统也有一些了解，在HBase中对master节点采用了zookeeper进行控制。

  • 大数据对系统结构搭建非常重视，实际工作中运维难度大。
  • Spark 是目前主流的大数据架构。

附录 docker 常用命令

Hadoop HDFS分布式文件系统Docker版
image

案例一：启动nginx，绑定80到连接本地的8080端口

docker run -p 8080:80 -d nginx
-d:后台运行，

案例二： 启动ubuntu

docker run ubuntu echo hello world
自动下载ubuntu ，并启动

案例三：替换docker 中文件

docker cp index.html containerId://usr/share/nginx/html

案例四：保存docker

docker commit -m "message" containerId
保存为一个新的image

案例五：dockerfile 文件创建docker image

FROM ubuntu   
MAINTAINER wsn
RUN apt-get update
RUN apt-get install -y nginx
copy index.html /var/www/html
ENTRYPOINT ["/usr/sbin/nginx","-g","daemon off;"]
EXPOSE 80

当前目录下运行命令 docker build -t wsn/ubuntu-nginx .
wsn/ubuntu-nginx 作为容器的名字
案例六：docker分层
案例七：volumn 持久化

docker run -p 80:80 -d -v $PWD/html:/usr/share/nginx/html nginx

$PWD/html 挂载虚拟机的/usr/share/nginx/html目录下
案例八：进入docker虚拟机shell，-it交互方法

docker exec -it nginx  /bin/bash
上一篇：Leetcode 第一题 《两数之和》


下一篇：线性排序算法-归并排序（3）