Facebook 开源 FAISS；MIT 开发 SDV 系统，将合成数据用于机器学习等 | AI 开发者头条

2022-04-23 19:20:19

▲ 内容预览：

更高效的聚类、相似性搜索算法库，Facebook 开源 FAISS

MIT 黑科技，合成数据也能用于机器学习

机器学习算法成功预测人造地震

每日推荐阅读

ViZDoom 使用教程：训练 AI 来玩《毁灭战士》

█ Facebook 开源 FAISS

雷锋网(公众号：雷锋网)消息，FAIR（Facebook 人工智能实验室）上周发表了一篇论文，提出一项针对聚类和相似性搜索的新算法设计。新架构比此前最先进的算法更快更高效，并使用 GPU 来获得更高的内存带宽和计算吞吐量。

基于此项研究，FAIR 近日在 Github 开源了一个名为 FAISS 的库，相关文档已陆续完成上传，并于昨日更新了安装文件。能进行聚类和相似性搜索的算法已有不少，FAISS 对它们进行了优化，以便更高效地在 GPU 上运行。FAISS 整合的部分算法有：

Fast K-Nearest Neighbour
QuickSelect
Warpselect
K-Means clustering

FAIR 表示，FAISS 有五大特性：

使用 C++ 编写，有完整的 Python/numpy 封装。
支持单个、多 GPU。
优异的可扩展性，通常情况下能支持最多 100 个维度。
基于 BLAS 和 CUDA。
比当前最先进的库速度提高 8.5 倍。

详情：http://www.leiphone.com/news/201703/lzEITGcs5Miuh8k5.html

GitHub：http://www.leiphone.com/news/201703/lzEITGcs5Miuh8k5.html

论文：https://arxiv.org/abs/1702.08734

█ MIT 黑科技，合成数据也能用于机器学习

IEEE 数据科学大会上出现了一篇重磅论文。该论文的作者是 MIT LIDS（Laboratory for Information and Decision Systems）实验室的首席科学家 Kalyan Veeramachaneni。他提出了一项新技术：通过机器学习算法基于真实数据生成合成数据，将后者应用于模型训练，却能产生和前者相当的效果。

你或许要问，这个技术有什么价值？

很多领域，比如医疗和金融，普通用户的隐私、敏感信息要么难以合法获取、要么代价极大（雷锋网注：AI 公司从医院购买患者扫描图像普遍需要一笔巨资，几乎没有企业负担得起）。而合成数据避免了隐私泄露问题，但又具备真实数据的价值；因此可用来开发、测试算法模型。

Kalyan Veeramachaneni 发明的这个机器学习系统名为 Synthetic Data Vault (SDV)，能基于真实数据创建机器学习算法模型，来自动生成人造、合成数据。这套系统基于名为 "recursive conditional parameter aggregation" 的算法。

详情：http://news.mit.edu/2017/artificial-data-give-same-results-as-real-data-0303

论文：http://dai.lids.mit.edu/SDV.pdf