AI 2021 年度报告

建议大伙有空还是自己亲自读一下,虽然有点长,188页ppt。 https://docs.google.com/presentation/d/1bwJDRC777rAf00Drthi9yT2c9b0MabWO5ZlksfvFzx8/edit#slide=id.gef9b05119a_0_288   很多诸如deepmind在生物医学方面的突破什么的,大家自己也能总结出来,但总体上信息量还是比较大的。这里分享一些还记得的有趣点。   NLP今年的热点不再是大型pretrained+fine tune, 而是pretrained,prompt, predict。这个基于prompt的预测,很有意思,背后有很多的哲学思想。GPT-3出来时,为什么有人在说是不是通用模型时代快到来了,提到的就是大型语言模型这方面的能力,读书无数,自然无所不知。   自动写代码貌似不是说说玩着来的,OpenAI的Codex在继续努力,某些时候表现还是很可以,总体上需要继续努力。

 

transformer衍生到cv领域了。CNN的最大问题就是context没有很好的利用,transformer正好擅长这方面,所以渗透到各个领域也不是什么稀奇事。当然,CNN在CV里的重要地位使得它是绝对不可抛弃的,所以下一代自然就是transformer+cnn。

 

中国的ai在学术领域的重要度继续走高,必须proud。

 

AI道德问题更加重视,年初的谷歌事件也榜上有名。当然还有各种后续。对我国的各种AI应用的使用的各种指指点点还在继续。

 

苹果的neural hash是不是违反侵犯隐私。随着数据隐私越来越敏感,这种乱七八糟的fingerprint,hash暂时是一种比较保险的利用用户数据的方法。

 

女性比例继续持低,在中国居然只有4%,而印度高达30%。

 

deepmind想脱离谷歌,希望以非盈利组织的身份进行AGI的研究。

 

欧洲在gdpr之后,继续突出关于AI的管理条例,而且必须有专门组织对其是否compiant作出评估。 。。。 打住剧透。 
上一篇:Transformer论文翻译


下一篇:专访 Swin Transformer 作者胡瀚:面向计算机视觉中的「开放问题」 原创