【tensorlow】tensorflow-serving初步使用记录

2023-10-19 11:09:52

概述

tensorflow-serving支持rpc和rest，本文基于rest编写。构建k8s的pod

单模型部署，dockerfile如下:

FROM tensorflow/serving
MAINTAINER zhouwenyang
ADD model /models/${model_name}/${version}
ENV MODEL_NAME=${model_name}

${model_name}和${version}根据自己需要更改。可以使用挂载文件的方式，但是如果部署k8s则需要打进容器，或者使用共享的volumes的方式

多模型部署参考：https://www.jianshu.com/p/d11a5c3dc757

查看模型输入输出情况: http://${host}:${port}/v1/models/${model_name}/metadata

根据查看模型的metadata，搞起一个http post接口

接口地址为: http://${host}:${port}/v1/models/${model_name}:predict

post参数为:

{
  "inputs":{
    "${param1}":${value1},
    "${param2}":${value2},
    "${param3}":${value3},
    "${param4}":${value4}
  }  
}