docker部署scrapy项目

将scrapy爬虫或者分布式爬虫通过docker发布到docker hub 上
1.准备工作,本机有docker
2.在项目的根目录下创建 requirements.txt 和Dockerfile 文件(Dockerfile文件没有后缀名)
3.在requirements.txt 列出项目需要的第三方库+版本 ,也可以不加版本:
Scrapy>=1.8.0
scrapy-redis>=0.7.1
pymongo>=3.12.1

4.在Dockerfile文件中:
FROM python:3.8 #自己Python版本
ENV PATH /usr/local/bin:$PATH
ADD . /code
WORKDIR /code
RUN pip install -r requirements.txt
CMD scrapy crawl qsbk_spider # qsbk_spider 这个名字随意
5. sudo docker build -t qsbk_spider:latest . 构建镜像,加latest 按指定版本下载,否则,下最新版本,注意后面有个点,qsbk_spider这是爬虫名
6. sudo docker images
7. sudo docker run ef9f4fa69b0f
8. sudo docker rmi -f d237c372d252 强制删除
9. sudo docker rmi d237c372d252 普通删除
10. docker ps // 查看所有正在运行容器
docker stop containerId // containerId 是容器的ID
docker ps -a // 查看所有容器
docker ps -a -q // 查看所有容器ID
docker start $(docker ps -a -q) // start启动所有停止的容器
docker stop $(docker ps -a -q) // stop停止所有容器
docker rm $(docker ps -a -q) // remove删除所有容器
docker kill 容器id/容器名字
查看自己主机外网IP:sudo apt-get install curl curl ifconfig.me 即可查看

上一篇:python爬虫基础知识


下一篇:Scrapy入门到放弃06:Spider中间件