超快速使用docker在本地搭建hadoop分布式集群
超快速使用docker在本地搭建hadoop分布式集群
学习hadoop集群环境搭建是hadoop入门的必经之路。搭建分布式集群通常有两个办法：
- 找多台机器来部署(通常找不到机器)
- 在本地开多个虚拟机(对宿主机器性能要求很高)
如果以上两种办法都对您不适用，那么现在有种更好更方便的办法，使用docker在本地做虚拟化，搭建hadoop伪分布式集群环境。虽然有点大材小用，但是用来练习还是挺好的。
操作思路：
- 使用docker构建一个Hadoop运行环境的镜像文件
- 使用这个镜像文件分别启动三个容器：1个master节点，2个slave节点
- 在master节点上配置slave节点信息
- 在master上启动hadoop
什么是docker？
docker是一个开源项目，诞生于2013年，最初是dotCloud公司内部额一个业余项目，它基于google推出的Go语言实现。项目后来加入了linux基金会，遵Apache2.0协议，项目代码在github上进行维护。
docker项目的目标是实现轻量级操作系统虚拟化解决方案。docker的基础是linux容器(LXC)等技术。
在LXC的基础上docker进行了进一步的封装，让用户不需要去关心容器的管理，使得操作变得简单。用户操作docker的容器就像操作一个快速轻量级的虚拟机一样简单。
(↑以上来自百度)
docker的安装和基本使用
我使用的是fedora22
su -
dnf update && dnf install docker
为了简化，我们假定使用用户是root
下面是检查安装
docker version
或者是
docker info
以守护进程方式启动Docker
docker -d
还可以设定docker髓系统启动，以便我们不需要每次重启都需要运行上面命令
chkconfig docker on
我们还可以用Busybox来打印hello world
docker run -t busybox /bin/echo "hello world"
在这个命令里，我们会告诉docker在Busybox镜像文件的一个实例/容器里执行 /bin/echo “hello world”。
而Busybox是一个小型化的POSIX环境，将很多小工具都结合到一个单独可执行程序里。
我们还可以拉取/下载 Fedora镜像文件：
docker pull fedora:22
下载完成以后，使用docker images，可以列出所有本地的镜像文件
启动一个容器在后台运行：
docker run -dt fedora:22 /bin/bash
注意：如果我们不指定tag的情况下，默认选择tag为latest的镜像文件启动容器；如果我们不指定执行程序的情况下，docker默认执行/bin/bash。在上面的例子也可以写成就是docker run -dt fedora
执行命令，发现容器几乎瞬间启动起来了。比虚拟机快了不知道多少倍。
另外，列出正在运行的容器及其名字标识：
docker ps
关于如何安装hadoop，可以参考在虚拟机安装hadoop的情况，这是大致相同的。
另外地，当你的容器做好了运行hadoop的环境，是时候保存容器当前的状态为一个镜像文件，以备需要的时候使用。
△注意：为了离开容器环境，你必须顺序按下ctrl+q和ctrl+p，如果你仅仅在shell执行exit，你在停止容器的时候也会失去了目前所做过的所有工作！
回到docker主机，使用docker commit及容器名和你想要的仓库名字/标签：
[root@8ef06706f88d ~]# exit
[KANO@kelvin ~]$ docker commit -m "hadoop install" 8ef06706f88d fedora:hadoop
现在，你保存了容器的状态到一个镜像里，可以使用 docker stop 停止容器了：
docker stop 8ef06706f88d
甚至我们可以直接使用别人已经建好的hadoop项目，详情请看项目地址：https://github.com/kiwenlau/hadoop-cluster-docker