分布式深度学习计算框架（MindSpore, PyTorch）依赖环境——NCCL， NCCL提供多显卡之间直接进行数据交互的功能（可以跨主机进行）。

 

 

注意：

本文环境为  Ubuntu18.04

 

 

 

NCCL的官方主页：

https://developer.nvidia.com/nccl

 

 

 

NCCL的下载地址：

https://developer.nvidia.com/nccl/nccl-download

 （注意：下载需要进行会员注册，这里推荐使用微信或QQ登录）