如何部署一个高性能mock服务
前言
在阅读本文之前，请先了解mock服务相关知识，及python的web框架相关知识。
本文描述的方案不一定是最正确的，仅以抛砖引玉。
web框架选型
web框架的选型，主要遵循一个条件：性能要好。
在找了很多技术博客和贴子之后，无意间看到了腾讯云社区的一篇文章，给予本人很大的启发。
文章链接：https://cloud.tencent.com/developer/article/1684200。
于是，就想要试一试这个框架是不是真的能达到单机100万qps。
此为个人测试的脚本，模仿第三方微信的api接口服务：
mock_japronto.py
# -*- coding: utf-8 -*-
"""
__author__: @hope_dong
__datetime__: 2021/9/29
"""
import multiprocessing
import random
import time
import uuid
from japronto import Application
def generate_random_code(n):
"""
随机生成6-10位含大小写字母、数字字符
:param n:int,支持6-10位字符
"""
random_str = ""
for i in range(n):
num = random.randint(0, 9)
letter = chr(random.randint(97, 122)) # 取小写字母
Letter = chr(random.randint(65, 90)) # 取大写字母
random_str += str(random.choice([num, letter, Letter]))
return random_str
def get_timestamp(unit=None):
""" 根据指定的单位获取时间戳
Args:
unit (str): 默认: 原始数据 s:秒级时间戳 ms:毫秒级时间戳 us:微秒级时间戳
Returns:
str: datetime string
"""
time_now_stamp = time.time()
# 原始时间数据
if not unit:
return time_now_stamp
# 秒级时间戳
if unit == "s":
return int(time_now_stamp)
# 毫秒级时间戳
if unit == "ms":
return int(round(time_now_stamp * 1000))
# 微秒级时间戳
if unit == "us":
return int(round(time_now_stamp * 1000000))
def sns_oauth2_access_token(request):
"""
mock https://api.weixin.qq.com/sns/oauth2/access_token
"""
access_token = generate_random_code(20)
refresh_token = generate_random_code(20)
openid = uuid.uuid1().hex
json_response = {
"access_token": access_token,
"expires_in": 7200,
"refresh_token": refresh_token,
"openid": openid,
"scope": "SCOPE",
"unionid": "%s" % (uuid.uuid1())
}
return request.Response(json=json_response)
def sns_oauth2_component_access_token(request):
"""
mock https://api.weixin.qq.com/sns/oauth2/component/access_token
"""
access_token = generate_random_code(20)
refresh_token = generate_random_code(20)
openid = uuid.uuid1().hex
json_response = {
"access_token": access_token,
"expires_in": 7200,
"refresh_token": refresh_token,
"openid": openid,
"scope": "SCOPE",
"unionid": "%s" % (uuid.uuid1())
}
return request.Response(json=json_response)
def sns_userinfo(request):
"""
mock https://api.weixin.qq.com/sns/userinfo
"""
openid = uuid.uuid1().hex
json_response = {
"openid": openid,
"nickname": "我是昵称3333",
"sex": 1,
"province": "海南省",
"city": "三亚市",
"country": "中国",
"headimgurl": "https://thirdwx.qlogo.cn/mmopen/g3MonUZtNHkdmzicIlibx6iaFqAc56vxLSUfpb6n5WKSYVY0ChQKkiaJSgQ1dZuTOgvLLrhJbERQQ4eMsv84eavHiaiceqxibJxCfHe/46",
"privilege": ["PRIVILEGE1", "PRIVILEGE2", "PRIVILEGE3"],
"unionid": "%s" % (uuid.uuid1())
}
return request.Response(json=json_response)
if __name__ == '__main__':
app = Application()
app.router.add_route('/sns/oauth2/access_token', sns_oauth2_access_token)
app.router.add_route('/sns/oauth2/component/access_token', sns_oauth2_component_access_token)
app.router.add_route('/sns/userinfo', sns_userinfo)
app.run(port=9999, worker_num=multiprocessing.cpu_count())
将此脚本放到服务器(8核CPU 16GB内存配置)上运行：python37 mock_japronto.py
运行状态如下：
[root@VM-0-186-centos ~]# python37 mock_japronto.py
Accepting connections on http://0.0.0.0:9999
Accepting connections on http://0.0.0.0:9999
Accepting connections on http://0.0.0.0:9999
Accepting connections on http://0.0.0.0:9999
Accepting connections on http://0.0.0.0:9999
Accepting connections on http://0.0.0.0:9999
Accepting connections on http://0.0.0.0:9999
Accepting connections on http://0.0.0.0:9999
在另一台机器上进行压测，使用的压测工具是wrk，安装步骤如下：
git clone https://gitee.com/mirrors/wrk.git
cd wrk
make
进行测试：
./wrk -t800 -c1600 -d60 https://api.weixin.qq.com/sns/oauth2/access_token
最终测试结果是1.6万左右的qps，本人测试的时候两台服务器之间通讯使用的公网ip，若使用内网，性能应该会更高。
此性能已经达到了项目需求，于是决定使用此框架: japronto。
解决https认证问题
在上一步做性能测试的时候，用的是https的请求，直接使用命令python37 mock_japronto.py启动起来是http的服务，怎么办呢？
此时，使用nginx完成ssl认证，再利用nginx的反向代理功能即可完成需求。
nginx配置ssl认证
1. 使用配置文件生成证书
配置文件mock.conf:
[req]
default_bits = 2048
default_keyfile = mock.key
encrypt_key = no
utf8 = yes
distinguished_name = req_distinguished_name
x509_extensions = v3_req
prompt = no
[req_distinguished_name]
C = US
ST = Cary
L = Cary
O = BigCompany
CN = api.weixin.qq.com
[v3_req]
keyUsage = critical, digitalSignature, keyAgreement, keyEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names
[alt_names]
DNS.1 = api.weixin.qq.com
DNS.2 = *.qq.com
根据配置文件进行证书签署:
openssl req -x509 -sha256 -nodes -days 3650 -newkey rsa:2048 -keyout app.key -out app.crt -config mock.conf
2. nginx配置ssl证书
/etc/nginx/nginx.conf
server {
listen 443 http2 ssl;
listen [::]:443 http2 ssl;
server_name 159.75.16.195;
root /usr/share/nginx/html;
ssl_certificate /root/app.crt;
ssl_certificate_key /root/app.key;
# ssl_certificate /etc/ssl/certs/nginx-selfsigned.crt;
# ssl_certificate_key /etc/ssl/private/nginx-selfsigned.key;
# ssl_certificate /etc/ssl/self-signed/app.crt;
# ssl_certificate_key /etc/ssl/self-signed/app.key;
ssl_session_cache shared:SSL:1m;
ssl_session_timeout 10m;
ssl_ciphers HIGH:!aNULL:!MD5;
ssl_prefer_server_ciphers on;
# Load configuration files for the default server block.
include /etc/nginx/default.d/*.conf;
location / {
proxy_pass http://127.0.0.1:9999;
}
这2个参数是配置的证书和key：
- ssl_certificate /root/app.crt;
- ssl_certificate_key /root/app.key;
这个参数配置的是反向代理到mock服务：
- proxy_pass http://127.0.0.1:9999;
重启nginx：
systemctl restart nginx
3. 在请求机器上，通过curl获取合法的pem（要改域名）
echo quit | openssl s_client -showcerts -servername api.weixin.qq.com -connect api.weixin.qq.com:443 > cacert.pem
4. 将pem追加写入到ca-bundle里面
cat cacert.pem >> /etc/pki/tls/certs/ca-bundle.crt
如果网络仍然无法访问，可执行如下步骤
centos6 & centos7 安装crt信任证书
update-ca-trust force-enable
rm -rf /etc/pki/ca-trust/source/anchors/app.crt
cp /root/app.crt /etc/pki/ca-trust/source/anchors/app.crt
update-ca-trust extract
本地测试mock服务：
curl https://api.weixin.qq.com
文末探讨
japronto这个框架到底能不能达到单机100万qps？
这里有几个条件：
1、单机配置 32核CPU 64GB内存
2、使用内网测试
3、使用http请求
基于这3个条件，本人测试了一下，使用 16核CPU 32GB内存腾讯云主机，使用内网进行请求，协议使用http，结果最大请求量可以达到35万qps。
有条件的同学可以自行测试一下。