1 TensorRT的基本功能
TensorRT是NVIDIA开发的一个可以在NVIDIA旗下的GPU上进行高性能推理的C++库，是一个高性能推理优化引擎。
其核心库是使用c++去加速NVIDIA生产的GPU，具有python API。它可以加速的框架模型有：tensorflow、Caffe、Pytorch、MXNet等。
它可以吸收在这些流行框架上受过训练的神经网络，优化神经网络计算，生成一个轻量级的运行时引擎，然后它将在这些GPU平台上最大限度地提高吞吐量、延迟和性能。
1.1 工作原理
主要的优化模型工作集中在：
1）分析图结构中没有用到的输出layer，对网络层进行合并。
2）融合卷积操作、bias和ReLU操作。
3）把有相似参数的操作和有相同输入源的tensor聚合。
4）通过直接将layer的输出对应到最终的destination，这样融合了级联层。
1.2 官方指导
https://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/。
2 需要的库
2.1 tensorflow、tensorrt
已安装
2.2 pycuda
已安装
2.3 uff、graphsurgeon
已安装
3 准备工作
3.1 pb文件
以keras训练出的yolov3_tiny.h5为例，在Nano中/Documents/1tensorrt_pb_uff文件夹下，运行first_step_freeze_model.py进行转换：
python3 first_step_freeze_model.py --model=“yolov3_tiny.h5” —output=“yolov3_tiny.pb”
（这个好像只能对yolo_tiny转.pb文件，yolo不行）
3.2 pb文件转uff文件
使用自带的convert_to_uff工具转uff文件：
python3 /usr/lib/python3.6/dist-packages/uff/bin/convert_to_uff.py --input-file yolov3_tiny.pb
4 tensorrt基本流程
4.1 导入模型
4.1.1创造builder和network。
IBuilder* builder=createInferBuilder(gLogger);
nvinfer1::INetworkDefinition* network=builder->createNetwork();
4.1.2创造parse
使用parse导入模型填充网络。
parser->parse(args);
4.1.3导入caffe和tensorflow、ONNX模型，可以参考官网的指导。
https://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/index.html#create_network_c
4.1.4创造engine
有了网络结构后可以创造engine了。builder有两个重要的属性，分别是batchsize和worksize。
4.2 使用builder object建立引擎。
1、builder->setMaxBatchSize(maxBatchSize);
2、builder->setMaxWorkspaceSize(1 << 20);
3、ICudaEngine* engine = builder->buildCudaEngine(*network);
释放空间：
engine->destroy();
network->destroy();
builder->destroy();
4.3序列化模型
序列化和反序列化是可以*选择的，使用序列化模型的主要原因是使用读取模型定义网络再创造engine是很耗时的操作，序列化后可以避免每次 都需要重新建立engine。
当engine建立了之后，可以将其序列化保存下来为以后使用。
注意：序列化的模型在不同的模型和tensorRT的版本之间是不能够相互使用的。
序列化：
IHostMemory *serializedModel=engine->serialize();
serializedModel->destroy();
反序列化：
IRuntime* runtime = createInferRuntime(glogger);
ICudaEngine* engine = runtime->deserializeCudaEngin(modelData,modelSize, nullptr)
4.3进行预测
1、IExecutionContext *context = engine->createExecutionContext();
2、int inputIndex = engine.getBindingIndex(INPUT_BLOB_NAME);
int outputIndex = engine.getBindingIndex(OUTPUT_BLOB_NAME);
3、void* buffers[2];
buffers[inputIndex] = inputbuffer;
buffers[outputIndex] = outputBuffer;
4、context.enqueue(batchSize, buffers, stream, nullptr);
5 当前进展
5.1 tensorRT_mnist_example-master代码分析
代码github地址为：https://github.com/junyu0704/tensorRT_mnist_example。运行前需要编译（此步已完成，不需要再做）。
以下为代码简介。
5.1.1 mnist.py
训练mnist，权重文件保存为mnist.pb。
5.1.2 mnist_pred.py
对mnist.py中训练出的mnist.pb，进行tensorrt优化推理，然后再进行预测。
5.2 mnist_pred.py代码分析
优化推理主要有三步：第一步，find_data查找数据，事实上就是一个参数解析函数；第二步，build_engine创建引擎；第三步，inference推理。
5.2.1 find_data查找数据
事实上就是一个参数解析函数，定义parser解析器。
5.2.2 build_engine创建引擎
创建推理引擎，对网络进行推理解析
with trt.Builder(TRT_LOGGER) as builder, builder.create_network() as network, trt.UffParser() as parser:
5.2.3 inference推理
推理共5行代码。
# 将数据移动到GPU
[cuda.memcpy_htod_async(inp.device, inp.host, stream) for inp in inputs]
# 执行inference.
context.execute_async(batch_size=batch_size,bindings=bindings, stream_handle=stream.handle)
# 将结果从 GPU写回到host端
[cuda.memcpy_dtoh_async(out.host, out.device, stream) for out in outputs]
# 同步stream
stream.synchronize()
# 返回host端的输出结果
原帖：https://www.cnblogs.com/chengbeixfh/p/11950470.html