开源软件（OSS）开发人员专业知识一览

涉及开源软件的项目个数和开发人员人数现在越来越多了。GitHub报告称，仅在2019年，新加入的开发人员就超过1000万，而新创建的项目超过4400万个。

OSS生态系统以其数以千万计的项目和开发人员而焕发生机，同时也颇具威慑力。它存储着最关键的基础结构的源代码，并拥有最杰出的开发人员作为后盾。然而，低质量、甚至恶意软件，以及新手开发人员也比比皆是。因此，虽然外部捐款对于OSS项目至关重要，但是捐款是否被接受（甚至被考虑）都取决于开发人员和捐款人之间互相信任与否。

本文定义了API、开发人员和项目的技能栈。与通过汇总活动数相比，这项定义能更准确地反映开发人员的知识；与关注开发人员过去修改的代码文件相比，这项定义更为广泛。

原文：
https://arxiv.org/abs/2005.10176v1

开源BiT：探索用于计算机视觉的大规模预训练

计算机视觉研究人员普遍认为，当前的深度神经网络总是渴求更多的带标签数据。比如训练当前最新的CNN时需要诸如OpenImages或Places等的大数据集，它们包含了超过1M的带标签图像。但很多时候，普通从业人员难以收集如此多的带标签数据。

类比BERT和T5在语言领域取得的进步，Google AI研究人员认为，大规模预训练也可以提高计算机视觉模型的性能。

在本文中，研究人员表明，在对大量通用数据进行预训练的情况下，简单的传输策略就能在大型数据集和数据量少（最少每类只有一张图像）的任务上都得到好的结果。他们现在发布了BiT-M模型，在ImageNet-21k上进行了预训练的R152x4，以及为在Jax、TensorFlow2和PyTorch间的传输提供支持的协同实验室。他们希望该模型能替代常用的ImageNet预训练模型为从业者和研究人员所用。

Github传送门：
https://github.com/google-research/big_transfer
原文：
https://arxiv.org/abs/1912.11370

用于Web规模推荐系统的多视图多任务图表示学习框架

将图表示学习与多视图数据相结合来进行推荐是业界一大趋势。现有方法大多可以被归类为多视图表示融合。它们首先构建一张图，然后将图中每个节点的多视图集成到单个紧凑表示中。这些方法近来在工程和算法方面都引起了人们的担忧。

为了应对这一挑战，本文研究人员提出了M2GRL。这是一种用于Web级推荐系统的新型多视图多任务图表示学习框架。它为每个单视图数据构造了一个图形，从每个图形中学习单独的表示形式，最后对多个表示形式进行对齐以建立交叉视图关系。M2GRL支持不限数量的数据视图，并且可以分布式部署处理数十亿规模的数据样本。

M2GRL在淘宝网上的评估、离线实验和在线A / B测试都显示，M2GRL优于其他竞争基准。

原文：
https://arxiv.org/abs/2005.10110v1

电子游戏中的异常检测

为了设计自动化的游戏质量检验工具，一组研究人员提出了将游戏中的错误识别为异常检测（AD）问题。他们开发了State-State Siamese Networks（S3N），这是在这种情况下针对AD的有效深度学习指标，并探索了如何将其用作自动化测试工具的一部分。

研究人员通过对一系列Atari游戏的评估进一步表明，S3N能够构建有意义的“嵌入”，并且能够成功识别许多常见类型的游戏漏洞。

数据集链接：
https://www.kaggle.com/benedictwilkinsai/atari-anomaly-dataset-aad
代码与训练好的模型：
https://github.com/BenedictWilkinsAI/S3N
原文：
https://arxiv.org/abs/2005.10211v1

英语推文的预训练语言模型

澳大利亚eHealth研究中心与VinAI Research合作的研究人员最近提出了BERTweet这一模型，这是第一个针对英文推文的公共、大规模预训练语言模型。BERTweet使用RoBERTa预训练过程进行训练，并且模型配置与BERT-base相同。

研究人员通过证明BERTweet优于其基准RoBERTabase和XLMRbase并帮助产生比以前SOTA模型更好的性能来证明BERTweet的优势。该模型在POS标记、NER和文本分类的三个下游Tweet NLP任务中均得到了体现。BERTweet发行版还旨在促进Tweet分析任务的未来研究和应用。