学习笔记(10):英特尔® OpenVINO™工具套件初级课程-总结

2023-11-03 08:36:16

1、简介

OpenVINO的全称是：Open Visual inference and Neural network Optimization，开放视觉推理和神经网络优化工具集，它是一整套面向AI应用的Intel软件解决方案。

OpenCV(Open Source Computer Vision Library)，是一款加速计算机视觉的Intel软件，它是视觉领域最常用的库，可以轻松在Intel硬件上加速
OpenCV是一个常用的计算机视觉库，它不仅能够读写图像，寻找边缘，旋转图像，而且还可以做一些更高级包括视频编解码，视频识别推理等高级功能。
OpenVINO套件已经包含OpenCV。

视频压缩可以靠软件，也可以靠专门的硬件处理
软件
- 驱动(Driver) —— 在GPU固有功能的上层
- VAAPI(Libva) —— 视频加速API
- Media-SDK —— 用来对视频进行编解码等后处理，通过Python或C++的 API 完成视频的解码编码操作，还可以通过OpenCV，FFMPEG，Gstreamer访问Media-SDK。

Intel为加速神经网络的计算推出了DLDT（Deep Learning Deployment Toolkit，深度学习部署套件），它是OpenVINO的一个组成部分

DLDT运行的基本步骤：

模型优化器是一种跨平台的命令行工具，可促进训练和部署环境之间的转换，执行静态模型分析，并将深度学习模型调整为中间表示 (IR) ，通过推理引擎实现最佳执行。

模型优化器会生成模型的中间表示 (IR) 文件，可以使用推理引擎对其进行读取、加载和推理。中间表示包括一个描述网络拓扑的 .xml 文件和一个包含权重数据的 .bin 文件。一般用XML文件作为读入模型的文件，应用程序会通过前缀寻找到相同文件目录下的.BIN文件自动读入。

1、Model：获取模型
- 需要一个基于深度学习的模型来执行分析任务，比如分割，检测，细分等
- 模型在另外的框架中进行训练，例如Tensorflow或者caffe
2、Prepare Inference：推理前准备(转换模型格式)
- 模型通常在云环境中进行训练，云环境拥有所有的计算资源
- 但是要为推理做好准备，有时是在较小的设备上进行推理
- 模型通常采用浮点格式，有时是在执行整数或者其它设备上运行，因此还需要转换数据格式
3、Benchmark：性能指标基准评测。
- 了解其每秒能执行多少次推理，可以使用多种优化技术与多种数据格式对所有模型进行性能指标评测。
4、Select System：选择合适的平台
5、Decode Density：解码密度
- 想知道设备可以支持多少个摄像头，需要一个系统支持尽可能多的摄像头或者视频流，从而降低每个摄像头的成本，因此需要了解解码能力与编码能力
- 5个跟10个摄像头的编码解码密度是不同的，取决于不同设备
6、Full Pipeline：完整测试
- 解码、编码与推理任务是一起运行的，一起运行所得到的结果可能差强人意
- 因此要模拟完整的工作环境负载，所有功能同时执行，使用Gstreamer进行模拟
7、AI Application：构建应用
- 构建软件或使用OpenVINO将视频分析流程和推理整合到现有的应用中