TensorRT加速应用

2023-11-03 08:31:52

TensorRT加速应用⭐

tensorrtx下载

TensorRT是一个C++版本的深度学习架构，和tensorflow、pytorch是平行关系。我们想用TensorRT部署yolov5到开发板，那就分为两步，1.安装TensorRT，2.用TensorRT的语法重写各训练框架训练的网络。但是用TensorRT自己写一遍网络真的太麻烦了，我们也不会。那我们就可以用tensorrtx，这位大神用TensorRT的语法复现了各种经典网络：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-D45QQ1Jc-1642325226242)(TensorRT加速应用.assets/image-20220115200209423.png)]

网络之多，一张截图放不下，基本主流的网络都已经能够转化

相当于把第2步帮我们做好了，这一个至关重要，它能将各框架训练的模型文件转变成tensorrtx支持的文件。

但是他对我们的环境提出了要求：

要求一：tensorrtx要求cuda10.0 / cudnn7.6.5 / TensorRT7.0.0
要求二：CUDA10.0要求显卡驱动高于410.48

显卡对驱动的要求：

使用ubuntu-drivers devices来查看支持的显卡驱动，
如果发现支持的驱动全都没超过410.48，那这条路就走不通了。
如果支持>= 410.48的驱动，但你现在使用不是它，
那么可以用sudo apt install nvidia-driver-xxx来安装

CUDA10.0的要求(其他版本的CUDA要求在这里):对ubuntu版本，系统内核，gcc，glibc的要求,

也就是我们要有：

显卡驱动，自行前往官网安装，或者敲命令安装就好了
>CUDA10.0，可以参考部署cuda和cudnn
>cuDNN7.6.5，可以参考部署cuda和cudnn
>TensorRT7.0.0.11，可以参考部署tensorrt
>opencv3.4.15，可以参考部署opencv

代码下载：

需要用到两个代码：

yolov5 官方源码 ,并配置好环境（最好是conda虚拟环境）
```
cd ~
git clone https://github.com/ultralytics/yolov5
cd yolov5
pip install -r requirements.txt
```
```
python detect.py
```
运行之后，可以自动帮你下载yolov5s.pt，需要联网，搞不定的话也可以直接去github下载，这个pt文件十分重要，后面加速应用会用到

tensorrtx 源码

cd ~
git clone https://github.com/wang-xinyu/tensorrtx

获得.wts文件

将下载得到的yolov5s.pt文件复制到tensorrtx/yolov5目录下，运行gen_wts即可得到.wts文件，这里共用yolov5的配置环境即可

python gen_wts.py yolov5s.pt

运行完成之后会得到yolov5s.wts

编译运行，获得.engine文件

在编译运行之前，回顾TensorRT的安装是用deb包安装，还是从tar压缩包安装的，如果是从tar压缩包安装，这一步必不能省略，否则无法编译完成

编辑tensorrtx/yolov5目录下的CMakeLists.txt：

# 替换这两行
include_directories(/usr/include/x86_64-linux-gnu/)
link_directories(/usr/lib/x86_64-linux-gnu/)
 
include_directories(/home/{user_name}/TensorRT-{version}/include/)
link_directories(/home/{user_name}/TensorRT-{version}/targets/x86_64-linux-gnu/lib/)
# 保存退出

{user_name}:用户名

{version}：TensorRT版本

cd ~/tensorrtx/yolov5
mkdir build
cd build
cp ../yolov5s.wts ./
cmake ..
make

# -s 命令用于生成.engine文件，三个参数分别是.wts文件，.engine文件和model标识[s/m/l/x/...]
./yolov5 -s yolov5s.wts yolov5s.engine s 
# -d 命令用于执行推理，两个参数分别是engine和要测试的目录
./yolov5 -d yolov5s.engine ../samples

运行没报错，就可以在build文件夹里看到带框的zidane.jpg了

个参数分别是engine和要测试的目录
./yolov5 -d yolov5s.engine …/samples


运行没报错，就可以在build文件夹里看到带框的zidane.jpg了

码农公寓