Ubuntu+uWSGI部署Django项目【鸿篇巨制，事无巨细】

2022-02-20 14:43:56

背景

任务：

　　视频翻译项目需要在两个服务器上进行通信（国内&海外的阿里服务器）。

　　因为python是主语言，选用了Django 来快速部署API。

　　注：Django中文文档：https://docs.djangoproject.com/zh-hans/3.0/

啰嗦：

　　本地创建项目很轻松，但部署到服务器上困难重重。

　　将过程记录下来，一来记录心得和经验，二来帮助后来者，少走弯路。

准备

  • 本地跑通的项目。
  • 一台服务器（阿里云、腾讯云、AWS、Vultr等等）
  • 连接Linux的ssh工具（MobaXterm或xshell 国内服务器都可以，国外建议xshell 更稳定）
  • 百折不挠的精神（非常重要！）

PS：

MobaXterm安装使用详细说明：

https://segmentfault.com/a/1190000000483148

防止SSH断开连接：

https://blog.****.net/u014636245/article/details/83855860

 

环境

  • Local
    • OS:  Windows 10 Pro (64bit)
    • Terminal:  xshell
    • Hosting service: 阿里云
  • Server
    • Ubuntu 18.04
    • root用户下

步骤

  1. Python3 & Pip的安装
  2. 创建Django项目（或者导入）
  3. 安装与配置uWSGI
  4. 安装与配置Nginx

重要提示：以下代码均没有加上sudo，如果有哪里因为权限问题失败了，可以加上sudo再试一下。

 

-----Python3 与 Pip 的安装-----

更新一下系统(防止有的包找不到)

$ apt-get update
$ apt-get upgrade

 

安装依赖库 

$ apt-get install build-essential libtool
$ apt-get install libpcre3 libpcre3-dev zlib1g-dev openssl

　　

安装python3和pip3

$ apt-get install python3.7 
$ apt-get install python3-pip

 

----创建、启动虚拟环境-----

安装虚拟环境

python3 -m pip install virtualenv

　　

创建存放虚拟环境和项目的文件夹 

确保当前目录是root目录

cd ~　　

注意分清 ： (当前用户家目录)和 / (系统根目录)的区别。

$ mkdir -p /root/www/project/env
$ mkdir -p /root/www/project/【ytb_api】

注： -p 递归创建目录，即使上级目录不存在，会按目录层级自动创建目录

【ytb_api】修改为你的项目名

 

创建虚拟环境 

# virtualenv -p [python3路径] [项目路径]
$ cd /root/www/project/env
$ virtualenv -p /usr/bin/python3 ENV

注：如果不知道python3路径，可以用 which python3

如果不了解虚拟环境的使用，看这两篇文章就够了：

http://kuanghy.github.io/2015/12/04/virtualenv

https://docs.python.org/zh-cn/3/tutorial/venv.html

 

启动虚拟环境

$ source /root/www/project/env/ENV/bin/activate

命令行的最前面出现(ENV)即代表处于虚拟环境下。

Ubuntu+uWSGI部署Django项目【鸿篇巨制，事无巨细】

注：

source: 执行文件并从文件中加载变量及函数到执行环境。

 

-----安装Django 并导入项目-----

安装Django

python3 -m pip install django

注意此处pip前 要加python3 -m 的原因：

直接pip会安装到python2上，需要通过pip去指定安装到Python3.x下

详见文章：https://blog.****.net/Cloudox_/article/details/78616378

 

测试Django项目是否正常

将本地项目文件夹拖拽进www/project/ 目录下。

runserver 运行一下，看看程序是否正常

$ python3 manage.py runserver

有如下显示，说明没问题

Django version 2.2, using settings ‘firstpage.settings‘
Starting development server at http://127.0.0.1:8000/
Quit the server with CONTROL-C.

 

-----Uwsgi 安装和配置-----

安装uWSGI服务器

$ python3 -m pip install uwsgi

 

开启阿里云安全组和防火墙

# 防火墙部分，开启8000端口访问权限
sudo ufw status
sudo ufw allow 8000

阿里云用户需要在控制台打开入方向的8000端口权限。

 

测试 uwsgi监听端口是否成功　

在项目根目录下，创建一个test.py文件，内容如下 

def application(env, start_response):
    start_response(‘200 OK‘, [(‘Content-Type‘,‘text/html‘)])
    return [b"Hello World"]

运行uWSGI，确保当前工作目录在你创建并安装uwsgi的虚拟环境下：

$ uwsgi --http :8000 --wsgi-file test.py

 特别注意：阿里云用户需要提前打开入方向的8000端口权限。
如果默认80端口开，可以将下面的8000端口，改成80端口测试

 

在地址栏中输入 你的域名:端口号，网页上显示Hello World则表示uWSGI成功运行 

同时代表了以下通讯是正常进行的

web client < -- > uWSGI < -- > Python App

　　

将Django项目指定给uWSGI

$ uwsgi --http :8000 --wsgi-file /www/project/ytb_api/ytb_api/wsgi.py

 

如果此处卡住了，看后面的常见问题。

外网浏览器访问端口，如果显示出小火箭，说明uWSGI<-->Django通了。

Ubuntu+uWSGI部署Django项目【鸿篇巨制，事无巨细】

 

业务部分的包安装：（读者请跳过）

###------业务部分------
# 1、安装oss2
python3 -m pip install oss2

# 2、安装阿里云sdk
python3 -m pip install aliyun-python-sdk-core-v3

# 3、安装youtube-dl
python3 -m pip install youtube-dl

# 4、安装依赖
python3 -m pip install six

# 5、安装ffmpeg
sudo apt-get install ffmpeg

如果你断开连接，那么服务也终止了，所以需要用配置ini文件来启动uwsgi，这样uwsgi可以后台贮存。

 

创建uWSGI ini配置文件

本地创建一个uwsgi.ini文件

内容如下（请一定珍惜，因为参考了很多，摸索了很多，踩坑了很多，总结出来的一份配置）：

[uwsgi]
### Django-related settings

# socket = :8000  # 如果需要配置nginx，则需要此项
http = :8000

# the base directory (full path)
# 项目路径，项目的根目录
chdir = /root/www/project/local_api

# Django‘s wsgi file
# 配置项目路径，项目的所在目录
module = local_api.wsgi

# the virtualenv (full path)
# 虚拟环境。注意这里不是env，而是home
home = /root/www/project/env/ENV



### process-related settings

# maximum number of worker processes
# 最大进程个数
# 同时启动uwsgi进程的个数，这个进程与nginx中的workers是不一样的，
# uwsgi中的每个进程每次只能处理一个请求(进程越多可以同时处理的请求越多)，
# nginx采用的异步非阻塞的方式来处理请求的，每个进程可以接受处理多个请求。
processes = 10
# 每个进程的线程数
threads = 4

# 启动一个主进程来管理其他进程，processes的进程都是这个master进程的子进程，如果kill这个master进程，相当于杀死所有的uwsgi进程
master = true

# 允许用内嵌的语言启动线程。这将允许你在app程序中产生一个子线程
enable-threads=true

# clear environment on exit
#当服务器退出的时候自动删除unix socket文件status和pid文件
vacuum = true

# 设置日志目录
daemonize = /root/www/project/local_api/uwsgi.log

# 设置最大日志文件大小
log-maxsize = 5000000 

# 设置用于uwsgi包解析的内部缓存区大小为64k。默认是4k。
buffer-size = 32768

# 为每个工作进程设置请求数的上限。当一个工作进程处理的请求数达到这个值，那么该工作进程就会被回收重用（重启）。你可以使用这个选项来默默地对抗内存泄漏
max-requests = 5000 

# 通过使用POSIX/UNIX的setrlimit()函数来限制每个uWSGI进程的虚拟内存使用数。这个配置会限制uWSGI的进程占用虚拟内存不超过256M。如果虚拟内存已经达到256M，并继续申请虚拟内存则会使程序报内存错误，本次的http请求将返回500错误。
# limit-as = 256 

# 一个请求花费的时间超过了这个harakiri超时时间，那么这个请求都会被丢弃，并且当前处理这个请求的工作进程会被回收再利用（即重启）
http-timeout = 500
harakiri = 500

# uwsgi.pid文件用来重启和停止uwsgi服务
pidfile = %(chdir)/uwsgi/uwsgi.pid

在项目根路径下，新建个uwsgi文件夹(用于存放uwsgi服务的pid文件) 

将刚才本地创建的uwsgi.ini拖拽进项目根路径下

目录结构：

Ubuntu+uWSGI部署Django项目【鸿篇巨制，事无巨细】

 

文件启动和终止uwsgi

### ------ini运行uwsgi------
# 启动
uwsgi --ini uwsgi.ini

# 停止
uwsgi --stop uwsgi/uwsgi.pid

 

运行成功有此提示：

Ubuntu+uWSGI部署Django项目【鸿篇巨制，事无巨细】

 启动成功会有个uwsgi.log文件，是记录请求的文件。

好了，如果顺利走到这，那么恭喜你。

 

关于不用Nginx：

由于我只是国内国外各部署一个API用以接收请求，然后之间相互通信，不涉及静态页面，

而且uwsgi服务器性能目前业务就可以满足，所以不上Nginx，但是以后业务量上来了，

Nginx的负载均衡和大并发的异步非阻塞的处理请求，就可能需要了。

如果需要，以后再弄。

 

 

常见问题：

(1) 未在Django中未设置设置被允许的域名

DisallowedHost at /
Invalid HTTP_HOST header: ..... You may need to add "你的域名" to ALLOWED_HOSTS　　

需要在settings.py中设置被允许的域名字

ALLOWED_HOSTS = [‘XXX.XXX.XXX.XXX‘]

 

(2) 没有报错，远程就是无法访问

解决方法：
查看防火墙状态

sudo ufw status

开启对应的端口号，如8000端口

sudo ufw allow 8080

其次，查看阿里云安全组设置，是否开启相关的端口号。

 

小结

　　因为公司把这个视频翻译的项目全权交给我，所以一切都是自己摸（踩）索（坑）。

　　从调研、选技术路径、MVP（最小单元试错）、测试对比分析结果、后端功能代码、部署，

　　甚至包括运维，一下子学了很多，贼开心。

 

　　下面是此项目的心得：

　　1、参考文章的方法

　　跟着一个写的比较详细的 靠谱的博客作为主线，跟着一步步走，

　　遇到问题再去找别的教程或者去官网查，要多看，博采众长，毕竟博观才能约取。

　　2、进一步思考

　　每个步骤的含义，每个参数的含义，参数不设置成不成，会有哪些影响，

　　为什么要用uwsgi，需不需要弄Nginx等等等等，都是提升能力的好机会。

　　3、耐心很重要

　　一定要有耐心，新接触一个东西，出各种问题很正常，要耐下心来逐一解决，多请教别人。

　　

　　谢谢大家，祝各位部署顺利。

 

参考内容：

官方文档

uwsgi:

https://uwsgi-docs-zh.readthedocs.io/zh_CN/latest/tutorials/Django_and_nginx.html

https://docs.djangoproject.com/zh-hans/3.0/howto/deployment/wsgi/uwsgi/

https://uwsgi-docs.readthedocs.io/en/latest/Options.html

Django:

https://docs.djangoproject.com/zh-hans/3.0/

文章：

 https://blog.****.net/Lo_Bamboo/article/details/80141880

https://www.chuangzhidou.com/2019/04/02/django-deploy/

https://segmentfault.com/a/1190000014361352

https://www.hongweipeng.com/index.php/archives/1814/

https://blog.****.net/zhf0425/article/details/102662417?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2

https://zhuanlan.zhihu.com/p/51012932

https://www.cnblogs.com/fnng/p/5268633.html

https://gaussic.github.io/2016/08/03/django-uwsgi-deploy/

https://www.cnblogs.com/zhuminghui/p/9212998.html

https://www.jianshu.com/p/0e85cf58e677

https://zhuanlan.zhihu.com/p/29083368

https://blog.****.net/Miss_Audrey/article/details/81874038

https://www.runoob.com/django/django-nginx-uwsgi.html

 

Ubuntu+uWSGI部署Django项目【鸿篇巨制，事无巨细】

上一篇：Linux 进程管理


下一篇：Compile LuaJIT on linux