Recommenders with TensorRT

Recommenders with TensorRT

推荐系统用于向社交网络、媒体内容消费和电子商务平台的用户提*品或媒体推荐。基于MLP的神经协作滤波器(NCF)推荐器使用一组完全连接或矩阵乘法层来生成推荐。              TensorRT推荐人示例的一些示例包括:

3.1. Movie Recommendation Using Neural Collaborative Filter (NCF)

这个示例sampleMovieLens是一个端到端的示例,它导入一个经过训练的TensorFlow模型,并为每个用户预测最高收视率的电影。这个例子演示了一个简单的电影推荐系统,它使用了基于多层感知器(MLP)的神经协作滤波器(NCF)推荐器。

What does this sample do?

具体地说,这个示例演示了如何为TensorRT可以加速的MovieLens数据集生成权重。

Where is this sample located?

此示例保存在GitHub: sampleMovieLens存储库中的samples/opensource/sampleMovieLens目录下。如果使用Debian或RPM包,则示例位于

/usr/src/tensorrt/samples/sampleMovieLens。如果使用tar或zip包,则示例位于<extracted_path>/samples/sampleMovieLens。

How do I get started?

有关入门的更多信息,请参见使用C++示例开始。有关此示例的详细信息,请参阅GitHub: sampleMovieLens/README.md文件获取有关此示例如何工作的详细信息、示例代码以及有关如何运行和验证其输出的分步说明。

这个示例sampleMovieLensMPS是一个端到端的示例,它导入经过训练的TensorFlow模型,并使用MPS(多进程服务)为每个用户预测最高评级的电影。
What does this sample do?

MPS允许多个CUDA进程共享一个GPU上下文。使用MPS,可以同时调度来自不同进程的多个重叠内核执行和memcpy操作,以实现最大利用率。对于资源利用率低的小型网络,例如主要由一系列小型MLP组成的网络,这对于提高并行性尤其有效。             

此示例在功能上与使用神经协作过滤器(NCF)的电影推荐相同,但经过修改以支持多个进程中的并发执行。具体地说,这个示例演示了如何为TensorRT可以加速的MovieLens数据集生成权重。             

注:目前,sampleMovieLensMPS只支持Linux x86-64(包括Ubuntu和RedHat)桌面用户。

Where is this sample located?

此示例保存在GitHub: sampleMovieLensMPS存储库中的

samples/opensource/sampleMovieLensMPS目录下。如果使用Debian或RPM包,则示例位于/usr/src/tensorrt/samples/sampleMovieLensMPS。如果使用tar或zip包,则示例位于<extracted_path>/samples/sampleMovieLensMPS。

How do I get started?

有关入门的更多信息,请参见使用C++示例开始。有关此示例的详细信息,请参阅GitHub: sampleMovieLensMPS/README.md文件获取有关此示例如何工作的详细信息、示例代码以及有关如何运行和验证其输出的分步说明。

3.2. Movie Recommendation Using MPS (Multi-Process Service)

这个示例sampleMovieLensMPS是一个端到端的示例,它导入经过训练的TensorFlow模型,并使用MPS(多进程服务)为每个用户预测最高评级的电影。

What does this sample do?

MPS允许多个CUDA进程共享一个GPU上下文。使用MPS,可以同时调度来自不同进程的多个重叠内核执行和memcpy操作,以实现最大利用率。对于资源利用率低的小型网络,例如主要由一系列小型MLP组成的网络,这对于提高并行性尤其有效。              此示例在功能上与使用神经协作过滤器(NCF)的电影推荐相同,但经过修改以支持多个进程中的并发执行。具体地说,这个示例演示了如何为TensorRT可以加速的MovieLens数据集生成权重。             

注:目前,sampleMovieLensMPS只支持Linux x86-64(包括Ubuntu和RedHat)桌面用户。

Where is this sample located?

This sample is maintained under thesamples/opensource/sampleMovieLensMPS directory in the GitHub: sampleMovieLensMPS repository. If using the Debian or RPM package, the sample is located at /usr/src/tensorrt/samples/sampleMovieLensMPS. If using the tar or zip package, the sample is at<extracted_path>/samples/sampleMovieLensMPS.

How do I get started?

有关入门的更多信息,请参见使用C++示例开始。有关此示例的详细信息,请参阅GitHub:sampleMovieLensMPS/README.md文件获取有关此示例如何工作的详细信息、示例代码以及有关如何运行和验证其输出的分步说明。

3.3. “Hello World” For Multilayer Perceptron (MLP)

这个示例sampleMLP是一个简单的hello world示例,演示了如何创建一个触发多层感知器(MLP)优化器的网络。生成的MLP优化器可以加速TensorRT。

Where is this sample located?

此示例保存在GitHub:sampleMLP存储库中的samples/opensource/sampleMLP目录下。如果使用DebianRPM包,则示例位于/usr/src/tensorrt/samples/sampleMLP。如果使用tarzip包,则示例位于<extracted_path>/samplesMLP

How do I get started?

有关入门的更多信息,请参见使用C++示例开始。有关此示例的详细信息,请参阅GitHub: sampleMLP/README.md文件获取有关此示例如何工作的详细信息、示例代码以及有关如何运行和验证其输出的分步说明。

上一篇:《二》TensorRT之C++接口使用


下一篇:TensorRT Tar File Installation