TensorRT优化方案图例

TensorRT优化方案图例

 TensorRT优化方案图例

 

 图 12. TensorRT 循环由循环边界层设置。数据流只能通过下方式离开循环环输出层. 唯一允许的后边缘是第二个输入递归层

 TensorRT优化方案图例

 

 图 13. 一个 if 条件构造抽象模型 

 TensorRT优化方案图例

 

 图 14. 使用控制条件执行 IIf条件输入层 放置

 TensorRT优化方案图例

 

 图 15. 层执行和在 CPU 端启动的内核。

 TensorRT优化方案图例

 

 图 16. 内核实际运行在 GPU 上,换句话说,显示了 CPU 端的层执行和内核启动与在 GPU 端的执行之间的相关性。

 TensorRT优化方案图例

 

 图 17. 布局格式 CHW: 图像分为 高×宽矩阵,每个通道一个,矩阵按顺序存储;一个通道的所有值都是连续存储的。

 TensorRT优化方案图例

 

 图 18. 布局格式  HWC: 图像存储为单个 高×宽矩阵,值实际上是 C 元组,每个通道都有一个值;一个点(像素)的所有值都是连续存储的。

 TensorRT优化方案图例

 

 图 19. 一对通道值打包在一起 高×宽 矩阵。结果是一种格式,其中[C/2]高x宽 矩阵的值是两个连续通道的值对。 

 TensorRT优化方案图例

 

 图 20. 在这个 NHWC8 格式,一个高×宽 矩阵包括所有通道的值。

 TensorRT优化方案图例

 

 图 21. 正常情况下的性能指标 trtexec在 Nsight Systems (ShuffleNet, BS=16, best, TitanRTX@1200MHz) 下运行。

 

参考链接:

https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html

 

上一篇:日常小总结


下一篇:使用torch2trt直接将超分辨率模型Real-ESRGAN转为TensorRT