曾刷新ImageNet纪录的尤洋，带着他的最新研究，来UserGroup北京区分享啦！

他，是新加坡国立大学计算机系的校长青年教授 (Presidential Young Professor)，加州大学伯克利分校博士。

他，曾创造ImageNet以及BERT训练速度的世界纪录！被ScienceDaily，The Next Web，i-programmer等几十家媒体广泛报道。创始人设计的相关技术被广泛应用于谷歌，微软，英特尔，英伟达等科技巨头，微软的DeepSpeed，用的就是LAMB方法。

他，是LAMB优化器的提出者，曾成功将预训练一遍BERT的时间，从原本的三天三夜一举缩短到一个多小时。

作为一个通用的神经网络优化器，LAMB优化器无论是大批量还是小批量的网络都可以使用，也无需在学习率之外调试超参数。

据英伟达官方GitHub显示，LAMB比Adam优化器可以快出整整72倍！

他，是学霸！是教授大牛！曾以第一名的成绩保送清华计算机系硕士，获清华大学优秀毕业生，北京市优秀毕业生，国家奖学金，以及当时清华大学计算机系的西贝尔奖学金。 

他还在2017年获得美国计算机协会(ACM)官网上唯一颁给在读博士生的ACM-IEEE CS George Michael Memorial HPC Fellowship。 他也获得了颁发给伯克利优秀毕业生的Lotfi A. Zadeh Prize。 他还被伯克利提名为ACM Doctoral Dissertation Award候选人(81名博士毕业生中选2人)。毕业后，他加入新加坡国立大学计算机系，担任校长青年教授 （Presidential Young Professor），继续深耕高性能计算领域。

他，曾以第一作者身份获得了国际并行与分布式处理大会(IPDPS)的Best Paper Award(0.8%获奖率)和国际并行处理大会(ICPP)的Best Paper Award(0.3%获奖率)。

他，在2021年被选入福布斯30岁以下精英榜 (亚洲)。

他，在2021年获得IEEE-CS超算杰出新人奖。

尤洋的研究兴趣包括高性能计算，并行算法，以及机器学习。他当前的研究重点是大规模深度学习训练算法的分布式优化。近三年以第一作者身份在NIPS，ICLR，Supercomputing，IPDPS，ICS等国际重要会议或期刊上发表论文十余篇。更多信息请查看他的研究小组主页(https://ai.comp.nus.edu.sg/) 。

没错！就是这样一位大牛！带着他的最新研究进展，就在12月26日，在北京创伴空间现场分享！

在本次分享中，尤洋教授将带来快速大规模神经网络训练的相关研究，统一的并行训练系统——Colossal-AI，和他在2022年AAAI的最新论文！

演讲内容

在本次分享中，尤洋教授将分享他在深度学习加速中的两大工作，

分享1：快速大规模神经网络训练

Transformer架构提高了深度学习模型在计算机视觉和自然语言处理等领域的性能。与此同时，更好的性能需要更大的模型尺寸。这对于当前的加速器硬件(如GPU)的内存是一个极大的挑战。在单GPU或单个机器上训练像Vision Transformer、BERT和GPT这样的大型模型是不够理想的，因此能够在分布式环境中简便快速训练模型变得尤为迫切。 然而，分布式训练，尤其是高维模型并行和自动并行，通常需要掌握计算机系统和架构领域的专业知识。当一些人工智能研究人员想要为其模型实现复杂的分布式训练方案时，这对于他们来说仍然是一个难题。

在这个演讲中，我将介绍了一个统一的并行训练系统——Colossal-AI。它旨在无缝集成不同的并行化技术范例，包括数据并行、流水线并行、多张量并行和序列并行。Colossal-AI的目标是支持AI社区以单机编写模型的方式编写分布式模型。这使得他们可以集中精力去实现AI模型的功能，并将分布式训练从AI落地应用中分离出来。在一些工业界场景中，Colossal-AI展示出了显著的优越性。

分享2：AAAI最新论文分享：

AI神经网络往深度还是往宽度发展？

大规模的Transformer模型需要更多的样本进行训练，而更小的模型的建模能力却相对有限。本文提出一个更加参数高效的训练框架：首先使用参数共享压缩深度，再用专家混合（MoE）扩展宽度，此外提出使用非共享的LayerNorm为共享参数提供多样化的语义表示。我们同时在计算机视觉和自然语言处理任务上评估了我们的框架，该工作已被AAAI 2022收录 (接收率15%)。

这样一位大牛的分享，机不可失！快来报名，抢占席位！时间12月26日，地点：海淀区西直门南大街乙56号创伴空间。参与的小伙伴还有很多礼品和惊喜等着你！

速戳报名

添加北京社区负责人

加入北京User Group大家庭