本次使用阿里云服务器主要用于部署深度学习模型以及部署flask项目。主要用到了google提供的tensorflow-serving。

tensorflow-serving主要有两个优点。一，支持多版本的热部署（比如当前生产环境部署的是1版本的模型，训练完成后生成一个2版本的模型，tensorflow会自动加载这个模型，停掉之前的模型）。二，tensorflow serving内部通过异步调用的方式，实现高可用，并且自动组织输入以批次调用的方式节省GPU计算资源。整个模型的调用方式：客户端发送请求到web端，web通过grpc或rest发送请求到tf/serving。
环境部署：docker run -d --name inception-serving registry.cn-hangzhou.aliyuncs.com/denverdino/inception-serving

docker run -ti --name client --link inception-serving:serving registry.cn-hangzhou.aliyuncs.com/denverdino/tensorflow-serving
模型调用如图。