一周AI论文 | FB发布商业化图像识别系统，多任务学习还能这样用

2021-10-30 05:50:15

呜啦啦啦啦啦啦啦大家好，本周的AI Scholar Weekly栏目又和大家见面啦！

AI ScholarWeekly是AI领域的学术专栏，致力于为你带来最新潮、最全面、最深度的AI学术概览，一网打尽每周AI学术的前沿资讯。

每周更新，做AI科研，每周从这一篇开始就够啦！

本周关键词：计算机视觉、强化学习、NLI基准数据集

本周最佳学术研究

统一的计算机视觉模型中继和商业嵌入

在本文中，Facebook研究人员介绍了一种已商业化的图像识别系统GrokNet，它利用多任务学习方法来训练单个计算机视觉中继。

与此前最先进的Facebook产品识别系统相比，该系统在精确的产品匹配准确度方面提高了2.1倍。研究人员使用80个多分类损失函数和3个嵌入损失函数，在跨多个垂直行业的7个数据集上对该系统进行了训练。

此外，研究人员还分享了他们合并不同来源的广泛标签语义和图像统计信息的经验，包括从人工注释、用户生成标签以及嘈杂的搜索引擎交互数据中学习等。GrokNet已展示出在生产应用中的收益，并在全Facebook范围内运营。

用于序列建模的快速可扩展工具包

本文介绍了一种快速且可扩展的工具包FAIRSEQ，它可用于序列建模，也可延伸到多种应用。它是开源的，允许研究人员和开发人员训练定制模型来进行翻译、摘要、语言建模和其他文本生成任务等。

FAIRSEQ基于PyTorch，支持跨多个GPU和多台机器的分布式训练，同时还支持在现代GPU上进行快速混合精度训练和推断。研究人员表明，他们将继续开发该工具包来为相关领域的研究进展助力。

转换器（Transformers）即循环神经网络（RNNs）：具有线性注意力的快速自回归转换器

本文提出了一种线性转换器，即一种可以显著减少原始转换器内存和计算成本的模型。

研究人员利用矩阵乘积的关联属性，计算出时间和存储上的自注意力，这些自注意力与该模型可以与因果掩码（causal masking）一同使用，并且仍能保持其线性渐近复杂度。

此外，研究人员还将该转换器模型表达为循环神经网络（RNNs），这一特性能将自回归任务的推断速度提高了数千倍。这一特征的发现同时为RNNs和转换器相关的信息存储和检索的研究开辟了众多新的方向。

如何评估强化学习算法的优劣？

当我们将强化学习（RL）算法应用于实际场景时，拥有可靠的算法来实现高性能表现而又无需专家协助或大量的人工干预就显得至关重要。

为了进一步开发可靠且易于使用的算法，研究人员提出了一种有原则的评估程序来量化使用算法的难易程度。

评估框架提供了一种量化评估RL算法的方法。这种方法通过消除研究环境中常见的意外偏差促进了算法比较时的公平性。通过开发一种在此方法上建立高置信范围的方法，它们提供了比较所需的可靠框架。

他们希望这一实施方案能够使研究人员轻松利用该方法来量化他们的算法性能。

自然语言理解的又一新基准

Facebook AI Research引入了一个新的大规模NLI基准数据集，该数据集是通过迭代的、对抗性的“人与模型循环”程序收集的。他们表明，在这个新数据集上的训练模型可以在各种流行的NLI基准上带来最先进的性能，同时使用新的测试集提出了更加困难的挑战。

他们的分析揭示了当前最新模型的缺点，并表明非专家标注者可以成功地发现其缺点。这样的数据收集方法可以应用在永无止境的学习场景中，成为NLU的动态目标，而不是会很快饱和的静态基准。

其他爆款论文

Google AI：利用上下文R-CNN构建细微处的内容关系以实现对象检测:
https://ai.googleblog.com/2020/06/leveraging-temporal-context-for-object.html

新研究表明，在单个目标图像上训练条件对抗生成器足以执行复杂的图像操作：https://arxiv.org/abs/2007.01289v1

JUMPS：用于增加2D姿态估算中的节点数量并恢复被遮挡或丢失节点的最新方法：https://arxiv.org/abs/2007.01151v1

研究人员重新评估了最近关于 BERT的研究方法：利用BERT改善少数样本的微调，并重新评估其有效性：
https://github.com/asappresearch/revisit-bert-finetuning

一项关于基于模型的强化学习的调查：
https://arxiv.org/abs/2006.16712v1

AI资源

我从200种机器学习工具中学到了什么:
https://huyenchip.com/2020/06/22/mlops.html

AI大事件

码农公寓