PaddleOCR系列(二)--PaddleServing & PaddleHub Serving服务部署

一、部署特点及注意事项

hubserving=PaddleHub Serving
pdserving=PaddleHub Serving

1.部署特点hubserving VS pdserving

pdserving更适合企业级部署,摘取官方的介绍:

  • 支持客户端和服务端之间高并发和高效通信
  • 支持 工业级的服务能力 例如模型管理,在线加载,在线A/B测试等
  • 支持 多种编程语言 开发客户端,例如C++, Python和Java

2.注意事项,我把我遇到的通用问题尽可能的列出来,具体对应部署方式上的问题放在对应的段落里面

  • 相同价格的硬件,识别速度上还是GPU速度更快,优先选择GPU
  • 部署方式上优先选择pdserving方式
  • 如果你没有显卡,只能用CPU的话,一定要确认你的CPU要支持AVX指令集,验证方法:lscpu | grep avx
    没有AVX指令的话,部署起来比较困难,而且识别速度应该会很慢。
    如果你真想部署的话,要安装对应的noavx版本的paddlepaddlewhl在这并且只能使用Python3.8,这个我暂时没时间验证是否能安装成功。等后面有时间了再研究一下...
  • 当你使用wget获取资源的时候,如果发现速度很慢,只有几十KB,你可以尝试一下Ctrl+C取消后再重新获取,这个问题是什么导致的我也不清楚
  • 如果你使用的是阿里云或者其他(非百度)的云平台获取资源的时候,速度奇慢,我想是被百度限制了,这时候你可能需要在本地下载好再传到你机器上,当然你也可以使用代理的方式
  • 当你真想部署成一个可靠的服务时,GPU显存我感觉最少要16 GB
  • 当你在阿里云上使用pdserving方式部署,有可能遇到显存被瞬间填满,机器卡死的情况。我本以为是PaddleServing造成的现存泄露,我也一直在纠结这个问题。但在百度的aistudio上,同样16G显存,aistudio是正常的

hubserving

pdserving

PaddleOCR系列(二)--PaddleServing & PaddleHub Serving服务部署

上一篇:二叉树各种类型汇总


下一篇:vuex从入门到入土