docker容器化python服务部署（supervisor-gunicorn-flask）
本文系作者原创，转载请注明出处: https://www.cnblogs.com/further-further-further/p/13223767.html
目录
-
实现目标
-
docker vs virtual machine(虚拟机)
-
实战（python 服务镜像制作，本地镜像仓库创建，移植）
-
遇到的问题以及解决办法
-
实现目标
> 在局域网内机器上部署 python 服务（在某台机器上部署完成后，生成镜像，上传到本地镜像仓库，其他机器下载镜像，一键部署服务）；
> 开机自启动（物理机启动->容器自启动->服务自启动）
-
docker vs virtual machine(虚拟机)
啥也不说，先上docker官方网站的两张图。
VM（虚拟机）
优点：在于隔离性，各个虚拟环境之间是完全隔离的。
缺点：每个虚拟环境类似于一个独立的机器，有独立的操作系统，所以占用内存比较大，一台物理机器最多也就能同时开启虚拟环境 10+，
另外，部署在虚拟环境下服务不太好移植。
docker
优点：有虚拟机隔离性的特点，解决了传统 VM 占用内存较大，服务不太好移植的问题。
关于 vm 和 docker 的详细区别，这里就不赘述了，网络上铺天盖地，大家随便百度一下。
-
实战（python 服务镜像制作，本地镜像仓库创建，移植）
我的操作系统linux centos7，通过命令 cat /etc/os-release 查看
> docker 安装
注：宿主机 centos 版本最好是 7 以上，在 6 上安装 docker 遇到坑比较多。
yum install -y docker
> 获取基础镜像
docker pull centos
会自动在官网（https://hub.docker.com/）获取 centos:latest 镜像。
查看所有镜像（-a : all）：
docker image ls -a
> 容器创建
docker container run -it -p 8888:8080 -v /opt/app:/opt/app --name=python-server 470671670cac bash
命令文档查看：docker container run --help
-it : 交互式终端（interactive terminal） ，也就是创建容器后进入容器。
-p 8888:8080 : 端口映射（port），将容器端口映射到宿主机端口（8888：宿主机端口，8080：容器端口），宿主机端口 8888 确认能被外网访问。
-v /opt/app:/opt/app：数据卷（volumn），将宿主机的数据（应用程序代码，配置文件等等）挂载到容器指定路径下，实现数据存储的持久化（如果没有数据挂载的话，容器销毁，容器中的数据会自动消失）。
--name=python-server: 新的容器的名称
470671670cac：镜像ID（imageID），当然也可以是 imageName + tag（docker.io/centos:latest）
bash：跟 -it 命令结合在一起操作，使容器创建后处于前端，一般是 /bin/bash，我这是bash。
表示容器已创建完成，并已进入容器，容器ID：5de4e81a2e20
可以通过 Ctrl+p，Ctrl+q 退出容器，但容器还是处于运行状态（Up）。
查看正在运行容器的状态：docker container ls 也可以是 docker ps
查看所有容器的状态（包含正在运行 up 和停止 exit）：docker container ls -a == docker ps -a
退出容器后再进入容器，有两种方式（前提是该容器必须处于运行状态）：
方式一：docker container exec -it 5de4e81a2e20(containerID) bash
方式二：ssh 172.17.0.4（容器ip）
查看容器ip（需要退出容器查看）
docker container inspect 5de4e81a2e20(containerID)
容器其他相关操作命令：
容器启动（交互式）：docker container start -i containerID
关闭容器：docker container stop containerID
容器重启动：docker container restart containerID
删除容器（-f : force 强制删除，能删除处于运行状态的容器）：docker container rm -f containerID
查看所有容器的容器ID：docker container ls -a -q
删除所有容器：docker contianer rm $(docker container ls -a -q)
在交互式容器中退出，退出启动容器： Ctrl + d
在交互式容器中退出，但是不退出启动容器：先按 Ctrl + p 后 Ctrl + q
使用 -d 启动容器并一直在后台运行 SSH作为第一进程启动：docker container run -d -p 50001:22 imageID /usr/sbin/sshd -D
> 安装 SSH:
SSH作用：
1. 出现问题方便进入容器调试；
2. 作为 python 服务的守护程序，防止容器闪退（一直夯在容器中）；
安装命令： yum install -y openssh-server
ssh 配置文件 sshd_config 路径： /etc/ssh/
ssh 启动文件路径：/usr/sbin/
安装 passwd（设置密码）： yum install -y passwd
设置密码：passwd root
new password: 12345678
启动 SSH: /usr/sbin/sshd
查看容器 ip（退出容器，在宿主机上，最好另起一个客户端）: docker container inspect 1427087a62a7（containerID）
从宿主机进入容器：ssh 172.17.0.5 ，输入密码：12345678
> 安装 python3：
一般只需安装 pip3即可，但是为了服务调试，这里安装了python3，python3中包含了pip。
安装命令：yum install -y python3
安装完成后，查看版本：python3 -V
这里的python服务是关于深度学习的，所以需要添加库opencv，flask，interval，matplotlib，Pillow，gunicorn，gevent，supervisor。
> 安装 python 相关库
通过pip3安装，最好加上国内镜像源，防止网络的原因无法下载。
国内常用镜像源：
阿里云 http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
豆瓣(douban) http://pypi.douban.com/simple/
清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/
>> opencv:
pip3 install opencv-python-headless==4.2.0.32 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
>> flask:
pip3 install Flask==1.1.2 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
>> interval:
pip3 install interval==1.0.0 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
>> matplotlib:
pip3 install matplotlib==3.2.1 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
>> gunicorn
pip3 install gunicorn==20.0.4 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
>> supervisor
pip3 install supervisor==4.0.0 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
>> gevent:
pip3 install gevent==20.6.0 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
当然也可以通过 requirements.txt 一键安装所有相关库：
将 python 相关库写入 requirements.txt中：
cat > requirements.txt <<EOF
certifi==2020.4.5.2
chardet==3.0.4
click==7.1.2
cycler==0.10.0
Flask==1.1.2
gevent==20.6.0
gpg==1.10.0
greenlet==0.4.16
gunicorn==20.0.4
idna==2.9
interval==1.0.0
itsdangerous==1.1.0
Jinja2==2.11.2
kiwisolver==1.2.0
MarkupSafe==1.1.1
matplotlib==3.2.1
meld3==2.0.1
numpy==1.18.5
opencv-python-headless==4.2.0.32
Pillow==7.1.2
pyparsing==2.4.7
python-dateutil==2.8.1
requests==2.23.0
rpm==4.14.2
six==1.15.0
supervisor==4.0.0
urllib3==1.25.9
Werkzeug==1.0.1
zope.event==4.4
zope.interface==5.1.0
EOF
查看：cat requirements.txt
一键安装：pip3 install -r requirements.txt
如果已安装完所有库，需要移植到其他机器中，打包所有 python 库：pip3 freeze > requirements.txt
> supervisor & gunicorn 配置
gunicorn 可以理解为 WSGI 协议的一个实例，WSGI(Web Server Gateway Interface)：就是一个网关，是 web 服务器与应用程序之间通信的协议接口。
supervisor 提供了统一的方式来控制（start，stop，restart）进程，类似于 systemctl（在 docker 容器中 systemctl 命令是无效的）。
>> 生成 supervisord.conf
echo_supervisord_conf > /etc/supervisord.conf
>> 修改 supervisord.conf 配置
vi /etc/supervisord.conf
在文件最底部，去掉 include , files 注释，并将 files 修改为
[include]
files = /etc/supervisor/*.conf
>> 添加 gunicorn.conf
创建路径：mkdir /etc/supervisor
创建配置文件 gunicorn.conf：vi /etc/supervisor/gunicorn.conf
内容为：
[program:gunicorn]
command = gunicorn -c /opt/app/darknet_captcha/gunicorn.conf.py wsgi:application
autostart = true
startsecs = 5
autorestart = true
startretries = 3
redirect_stderr = true
stdout_logfile=/opt/app/logs/gunicorn.log
>> 配置文件生效：supervisorctl update
>> 先测试 gunicorn 启动 flask 服务
gunicorn -c /opt/app/darknet_captcha/gunicorn.conf.py wsgi:application
psc -ef|grep gunicorn
说明启动正常
删除 gunicorn 进程，改由 supervisord 启动
kill -9 55
>> 用 supervisord 启动 gunicorn
supervisord -c /etc/supervisord.conf
如果出现如下问题，说明已有进程启动，占用了端口号。
解决办法：删除已启动进程即可
ps -ef|grep supervisord
kill -9 pid
启动后，查看 gunicorn 是否启动。
ps -ef|grep gunicorn
如果服务启动失败，在日志里查看原因。
日志查看：vi /opt/app/logs/gunicorn.log
后面就可以使用如下命令操作gunicorn
supervisorctl start gunicorn
supervisorctl stop gunicorn
supervisorctl restart gunicorn
到此，在单机上 docker 容器下 flask 服务部署已完成，接下来就是
基本镜像的制作，通过 dockerfile 创建最终镜像，本地镜像仓库创建，镜像 push 到本地仓库，局域网内其他机器 pull 镜像，一键部署服务。
> 基本镜像制作
退出容器，但容器需处于运行（up)状态：Ctrl + p，Ctrl + q
查看容器ID: docker container ls
制作镜像（镜像名称：weixw/python-server-mirror:v1）：docker commit c96c249cf2bd weixw/python-server-mirror:v1
用 docker image ls 查看新镜像是否已存在
> 通过 dockerfile 创建最终镜像
为什么还要通过 dockerfile 制作镜像呢，因为上面生成的基础镜像只能保存静态文件，资源，不能保存动态命令，比如 shell 相关命令，应用程序命令，
而这些命令可以通过 dockerfile 写入进来，从而达到一键创建容器就能自动启动服务的目的。
>> 创建 Dockerfile （规范名称必须是 Dockerfile 或 dockerfile）
在应用程序服务的根目录下创建 Dockerfile :
cd /opt/app/darknet_captcha
vi Dockerfile
>> Dockerfile 内容
FROM: 基础镜像
WORKDIR: 指定当前路径
COPY: 复制文件
ADD : 添加文件，有 COPY 功能，还有解压，从网站下载文件作用
EXPOSE: 暴露容器端口
CMD : shell 以及 应用程序命令
>> init.sh（）
CMD 一般只能运行一条命令，对于多个命令，采用脚本方式运行。
>> 创建最终镜像
cd /opt/app/darknet_captcha
docker image build -t weixw/python-server-mirror:v1.2 ./
查看：docker image ls
> 本地镜像仓库创建（其他端口不太行，需要开启外网访问端口5000）：
>> 下载 registry 镜像
docker pull registry
>> 启动registry容器：docker run -d -p 5000:5000 --restart=always --name registry -v /opt/registry/:/var/lib/registry registry
--restart=always : docker 启动，容器自启动
>> 修改docker 配置文件 daemon.json
vim /etc/docker/daemon.json
{
"registry-mirrors":["https://uoggbpok.mirror.aliyuncs.com"],
"insecure-registries":["120.132.8.180:5000"]
}
>> 本地仓库加安全认证
>>> 生成密码：username: root password: 123456
yum install httpd-tools -y
mkdir /opt/registry-auth/ -p
htpasswd -Bbn root 123456 > /opt/registry-auth/htpasswd
>>> 修改密码：
cd /opt/registry-auth/
vim htpasswd
>>> 重新启动带有秘钥功能的registry容器
docker rm -f containerID
docker run -d -p 5000:5000 -v /opt/registry-auth/:/auth/ -v /opt/registry:/var/lib/registry --restart=always --name register-auth -e "REGISTRY_AUTH=htpasswd" -e "REGISTRY_AUTH_HTPASSWD_REALM=Registry Realm" -e "REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd" registry
>>> 规范本地镜像名称：docker tag imageID 120.132.8.180:5000/weixw/captcha
docker tag weixw/python-server-mirror:v1 120.132.8.180:5000/weixw/python-server-mirror:v1.2
>>> 登录（一定要先登录校验，否则无法 push）：
docker login 120.132.8.180:5000
username: root
password: 123456
>>> 上传镜像到本地仓库（端口5000能被外网访问）：docker push 120.132.8.180:5000/weixw/python-server-mirror:v1.2
有一个 harbor 服务用来可视化管理镜像的，大家感兴趣的话可以玩玩，因为我的Linux宿主机本来就是虚拟机，配置比较低，这里就不安装了。
> 另外一台机器获取镜像（ 120.132.8.180:5000）步骤：
>> 修改docker 配置文件 daemon.json
vim /etc/docker/daemon.json
{
"registry-mirrors":["https://uoggbpok.mirror.aliyuncs.com"],
"insecure-registries":["120.132.8.180:5000"]
}
>> 重启 docker : systemctl restart docker
>> 登录（pull 一般不需要登录，可以直接下载）：
docker login 120.132.8.180:5000
username: root
password: 123456
>> 向镜像仓库（120.132.8.180:5000）获取镜像： docker pull 120.132.8.180:5000/weixw/python-server-mirror
>> 一键启动服务：docker container run -d -p 80:8080 --restart=always --name=captcha_server 120.132.8.180:5000/weixw/python-server-mirror
-d: 表示在后台启动
-p: 表示端口映射（80：宿主机端口，8080：容器端口）
--restart=always：表示开机自启动容器
启动容器后查看 flask 服务是否启动：ps -ef|grep gunicorn
用 curl 或 postman 向 120.132.8.180:80/服务名称 发送请求，查看结果。
如果服务没有起来，查看日志/opt/app/logs/gunicorn.log 定位问题，然后解决问题。
-
遇到的问题以及解决办法
> 无法强制删除镜像
原因：该镜像下有容器创建，有可能不是运行状态（exit），所以需要先删除容器，再删除镜像。
解决方案：
查找所有容器：dokcer container ls -a
删除该镜像下所有容器：docker container rm -f containerID
删除镜像：docker image rm -f imageID
> 镜像也可以保存文件，然后将文件导入
>> 将镜像保存在本地：docker save -o 本地名字 image/name
例如： docker save -o python-server.tar 120.132.8.180:5000/weixw/python-server-mirror
>> 将本地镜像文件加载进docker: docker load -i python-server.tar
不要让懒惰占据你的大脑，不要让妥协拖垮了你的人生。青春就是一张票，能不能赶上时代的快车，你的步伐就掌握在你的脚下。