TensorRT安装与测试
环境：Windows11;CUDA11.1;cudnn8.0.5;
1.下载CUDA
确定并下载自己使用的CUDA版本
CUDA下载链接：https://developer.nvidia.com/cuda-toolkit
2.安装CUDA
1.将CUDA运行安装，建议默认路径
2.安装完成后设置环境变量
查看系统变量中是否添加了路径，如果没有需要自己添加
接下来在系统中添加几个系统变量
CUDA_LIB_PATH =%CUDA_PATH%\lib\x64
CUDA_BIN_PATH = %CUDA_PATH%\bin
CUDA_SDK_BIN_PATH =%CUDA_SDK_PATH%\bin\win64
CUDA_SDK_LIB_PATH = %CUDA_SDK_PATH%\common\lib\x64
CUDA_SDK_PATH = C:\ProgramData\NVIDIA Corporation\CUDA Samples\v11.1
在系统变量Path中添加
%CUDA_LIB_PATH%;%CUDA_BIN_PATH%;%CUDA_SDK_LIB_PATH%;%CUDA_SDK_BIN_PATH%;
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib\x64
C:\Program Files\NVIDIAGPU Computing Toolkit\CUDA\v11.1\include
C:\Program Files\NVIDIA GPU ComputingToolkit\CUDA\v11.1\extras\CUPTI\lib64
C:\ProgramData\NVIDIA Corporation\CUDASamples\v11.1\bin\win64
C:\ProgramData\NVIDIA Corporation\CUDASamples\v11.1\common\lib\x64
2.安装cudnn
根据自己的CUDA版本下载对应的cudnn
cudnn下载链接：https://developer.nvidia.cn/rdp/cudnn-download
解压后将bin,include,lib中的文件复制粘贴到cuda的文件夹下
将cuda\bin中的文件复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\bin
将cuda\include中的文件复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\include
将cuda\lib中的文件复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib
3.CUDA安装测试
cmd执行：nvcc -V
即安装成功
4.TensorRT安装
根据CUDA和cudnn版本下载对应的TensorRT
TensorRT下载链接：https://developer.nvidia.com/nvidia-tensorrt-download
1.解压后将里面lib的绝对路径添加到环境变量中
将 TensorRT-8.0.1.6\include中头文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\include
将TensorRT-8.0.1.6\lib中所有lib文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib\x64
将TensorRT-8.0.1.6\lib中所有dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\bin
2.安装uff和graphsurgeon
解压后的uff和graphsurgeon文件夹中，分别含有各自的.whl安装文件
使用pip进行安装
pip install graphsurgeon-0.4.5-py2.py3-none-any.whl
pip install uff-0.6.9-py2.py3-none-any.whl
3.安装pycuda
如果要使用python接口的tensorrt，则需要安装pycuda
pip install pycuda
4.配置VS2017
用VS2017打开sampleMNIST示例
将D:\TensorRT-8.0.1.6\lib加入 项目->属性->VC++目录–>可执行文件目录
将D:\TensorRT-8.0.1.6\lib加入 VC++目录–>库目录
将D:\TensorRT-8.0.1.6\include加入C/C++ --> 常规 --> 附加包含目录
将nvinfer.lib、nvinfer_plugin.lib、nvonnxparser.lib和nvparsers.lib加入链接器–>输入–>附加
依赖项
D:\TensorRT-8.0.1.6\lib*.lib
5.测试TensorRT示例代码
即TensorRT安装成功！