超级计算实现自然语言训练

直达最佳实践:【超级计算实现自然语言训练
最佳实践频道:【点击查看更多上云最佳实践
这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求!

场景描述

本实践适用于自然语言训练场景,使用神龙GPU云服务器(SCCGN6)+CPFS 进行NLP的训练,采用Bert模型。这里不使用容器,直接使用裸机进行NLP的Bert训练,使用飞天AI加速训练工具可以有效提升多机多卡的训练效率。

解决问题

  • 使用神龙 GPU 云服务器搭建 NLP 训练环境
  • 使用 SCC 的 RDMA 网络
  • 使用 CPFS 存储训练数据
  • 使用飞天 AI 加速训练工具加速训练

产品列表

  • 神龙云服务器 GPU (SCCGN6)
  • 超级计算集群 SCC
  • 共享存储 CPFS

超级计算实现自然语言训练

直达最佳实践 》》

超级计算实现自然语言训练

上一篇:Linux设备模型(热插拔、mdev 与 firmware)【转】


下一篇:caffe: test code 执行出问题: Check failed: FLAGS_weights.size() > 0 (0 vs. 0) Need model weights to score.