分布式爬虫往往都需要多个环境，多个进程，如果手动去管理这些环境是很费事的，使用Docker集群就能很好地帮你解决这些问题，让你的爬虫管理变得简单。
主节点安装Docker
这里主节点建议大家使用Ubuntu，从节点随意。
-
Ubuntu
-
apt-get update -
apt-get install -y apt-transport-https ca-certificates curl software-properties-common -
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - -
add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu bionic stable" -
apt-get update -
apt-get install -y docker-ce
-
Centos
-
yum update -y -
yum install -y yum-utils device-mapper-persistent-data lvm2 -
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -
yum makecache fast -
yum -y install docker-ce
启动Docker
所用ip为本机公网ip
-
systemctl start docker --advertise-addr 33.22.11.123
新建Manager节点
-
docker swarm init
运行后会产生如下结果
从返回结果中保存以下命令 每个Salve节点都需要使用此命令加入集群
-
docker swarm join --token SWMTKN-1-u4959x22226d0588888888ep3rnnnnnnnnnccepdmmmmmdu-3d4444444444444444pm68ow 2.3.4.5:2377
如果忘了这条命令可以使用以下命令重置
-
docker swarm join-token manager
查看集群状态
你可以看到有一个主节点在运行
-
docker node ls
创建私有源
-
使用Docker自带的私有源
-
# 拉取私有源镜像 -
docker pull registry:latest -
# 启动私有源 -
docker run -d -p 8181:5000 --name registry -v /tmp/registry:/tmp/registry docker.io/registry:latest -
# 为此http私有源添加信任 -
echo '{ "insecure-registries":["33.22.11.123:8181"] }' >> /etc/docker/daemon.json -
# 重启Docker -
systemctl restart docker
搭建Redis进行测试
参考以下文章进行安装配置centos7安装redis - 知乎
编写脚本往Redis里放入测试数据
-
import redis -
-
client = redis.Redis(host='33.22.11.123', port=6379) -
-
for i in range(100): -
client.lpush('test', '测试数据 {}'.format(i))
编写Dockerfile
-
from python:3.6 -
label mantainer='test-spider' -
user root -
ENV PYTHONUNBUFFERED=0 -
ENV PYTHONIOENCODING=utf-8 -
run python3 -m pip install redis -
copy spider.py spider.py -
cmd python3 spider.py
编写测试爬虫
-
import time -
import redis -
-
client = redis.Redis(host='33.22.11.123', port=6379) -
-
while True: -
data = client.lpop('test') -
if data: -
print('spider ' + data) -
time.sleep(10)
构建Docker镜像
将Dockerfile跟测试爬虫都放在同一目录
-
docker build -t localhost:8003/spider:0.01 .
上传镜像到私有云
这里需要特别注意，由于我们要把这个镜像上传到私有源供Slave服务器上面的从节点下载，所以镜像的命名方式需要满足localhost:8003/自定义名字:版本号这样的格式。其中的自定义名字和版本号可以根据实际情况进行修改。在本文的例子中，我由于要模拟一个爬虫的程序，所以给它取名为spider，由于是第1次构建，所以版本号用的是0.01。
-
docker push localhost:8181/spider:0.01
新建Salve节点
-
yum update -y -
yum install -y yum-utils device-mapper-persistent-data lvm2 -
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -
yum makecache fast -
yum -y install docker-ce -
echo '{ "insecure-registries":["33.22.11.123:8181"] }' >> /etc/docker/daemon.json -
systemctl start docker -
docker swarm join --token SWMTKN-1-23fg5ptocob5u2oeyh0984444444229990o2fp8ga4sl-5qwkvghtnzbqjnvk5dxqdqym7 33.22.11.123:2377
使用3个容器创建spider的服务
--replicas 用来指定开启的容器数量
但是一般一开始的代码可能会有不少bug，所以建议先使用1个容器来运行，观察日志，发现没有问题以后再进行扩展。
-
docker service create --name spider --replicas 3 --network host 45.77.138.242:8003/spider:0.01
查看容器的运行状况
-
docker service ps spider
查看容器运行日志
-
# 查看指定ID的服务日志 -
docker service logs -f 容器ID
-
# 查看所有spider服务的日志 -
docker service ps spider | grep Running | awk '{print $1}' | xargs -i docker service logs --tail 20 {}
横向扩展
如果你的机器数量小于你开启的服务数量，将会在1台机器上开启多个镜像
-
docker service scale spider=10
更新爬虫
-
提交新的镜像到私有源
-
docker build -t 33.22.11.123:8003/spider:0.02 . -
docker push 33.22.11.123:8181/spider:0.02
-
更新Salve中的镜像 如果不关闭现有服务直接更新就会依次次更新
-
# 关闭服务再更新 -
docker service scale spider=0 -
docker service update --image 33.22.11.123:8181/spider:0.02 spider -
docker service scale spider=10
是不是觉得如果在100台服务器上安装Docker，还是很麻烦？下一篇 我们使用Fabric就可以自动化配置Docker集群，让你解放双手。
往期文章