TensorRT用自带trtexec实现onnx转engine的用法说明

TensorRT自带的trtexec在bin目录下,是一个可执行文件。
运行./trtexec -h
TensorRT用自带trtexec实现onnx转engine的用法说明
TensorRT用自带trtexec实现onnx转engine的用法说明

其中给出了 model options、build options、 inference options和system options等。
上次我们使用TensorRT的pyhton API进行序列化模型和前向推理,这次介绍使用trtexec转模型。

1.从固定尺寸的onnx转cudaEngine

./trtexec --explicitBatch --onnx=./resnet50.onnx --saveEngine=resnet50.engine

2.从可变尺寸的onnx转cudaEngine,需要指定profile。

./trtexec --onnx=./resnet50_dynamic.onnx --explicitBatch \
            --minShapes="input":1x3x224x224\
            --optShapes="input":16x3x224x224\
            --maxShapes="input":32x3x224x224\
            --shapes="input":1x3x224x224\
            --saveEngine=./resnet50_dynamic.engine

其中profile指定了输入的最小尺寸、最优尺寸和最大尺寸。那么真实输入推理时,处在最小和最大尺寸中都行。
实际前向推理时,可以根据自己需要选择哪种方式。

上一篇:mybatis-plus使用问题汇总


下一篇:Docker Engine在Centos下的安装