AI大事件 | 斯坦福初创公司发力AI硬件,DeepMind删除神经元了解深度学习

AI大事件 | 斯坦福初创公司发力AI硬件,DeepMind删除神经元了解深度学习

呜啦啦啦啦啦小伙伴们大家好呀!过去的一周中AI圈都发生了什么?大佬们讨论了哪些问题?研究者们发布了哪些值得一读的论文?又有哪些开源的代码和数据库可以使用了?快快跟随文摘菌盘点过去一周AI大事件!

新闻

Uber自动驾驶汽车在亚利桑那州发生致命事故

来源:WWW.THEGUARDIAN.COM 

链接:

https://www.theguardian.com/technology/2018/mar/19/uber-self-driving-car-kills-woman-arizona-tempe?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

坦佩警方表示,Uber自动驾驶汽车在车祸发生时处于自动驾驶模式,被撞到的行人后来在医院死亡。此次事件是第一起致命的自动驾驶汽车交通事故。

点击查看大数据文摘相关报道:


SambaNova System为AI硬件募集5600万美元

来源:TECHCRUNCH.COM

链接:

https://techcrunch.com/2018/03/15/the-red-hot-ai-chip-space-gets-even-hotter-with-56m-for-a-startup-called-sambanova/?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

这家初创公司由两位斯坦福大学教授Kunle Olukotun和ChrisRé共同创立,并由前Oracle开发高级副总裁Rodrigo Liang领导。Olukotun和Liang不会涉及架构的细节,但他们正在试图重新构建操作硬件,用来优化在图像和语音识别等领域越来越流行的以AI为中心的框架。


TensorFlow 1.7.0 RC1发布

来源:GITHUB.COM

链接:

https://github.com/tensorflow/tensorflow/releases/tag/v1.7.0-rc1?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

Eager Execution现在从contrib包移出到了Tensorflow的核心。其他更改包括更容易计算的自定义渐变,Tensorflow图形调试器和SQLite数据集。


Skyline AI新融资$3M

来源:TECHCRUNCH.COM

链接:

https://techcrunch.com/2018/03/22/skyline-ai-raises-3m-from-sequoia-capital-to-help-real-estate-investors-make-better-decisions/?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

Skyline AI是一家以色列的初创公司,使用机器学习帮助房地产投资者识别有潜力的房产。它日前宣布已经从红杉资本筹集了300万美元的种子资金。


文章&教程

随机搜索VS Model-Free RL

来源:WWW.ARGMIN.NET 

链接:

http://www.argmin.net/2018/03/20/mujocoloco/?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

简单随机搜索可以在MuJoCo等基准问题上超越强化学习算法吗? 答案是肯定的。

相应论文:

https://arxiv.org/abs/1803.07055


蒙特卡洛树搜索初学者指南

来源:INT8.IO

链接:

https://int8.io/monte-carlo-tree-search-beginners-guide/?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

蒙特卡洛树搜索(MCTS)的深入介绍,许多棋盘游戏代理都使用这个算法,包括国际象棋引擎和AlphaGo。其主要目的是在当前游戏状态下选择下一个最优的行为。


机器学习重现性危机

来源:PETEWARDEN.COM

链接:

https://petewarden.com/2018/03/19/the-machine-learning-reproducibility-crisis/?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

在机器学习领域,重现往往很难。当涉及到跟踪变化和重建模型时,整个领域仍处于黑暗时代。这篇文章列出了一些挑战以及我们如何接近它们。


通过神经元删除了解深度学习

来源:DEEPMIND.COM

链接:

https://deepmind.com/blog/understanding-deep-learning-through-neuron-deletion/?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

DeepMind的一组研究人员通过删除单个神经元以及神经元组来观测这种操作对网络的性能影响。他们发现可解释的神经元并不比难解释活动的混淆神经元更重要,并且相比仅能对它们之前看到的图像进行分类的网络,能够正确分类看不见的图像的网络对神经元删除更具适应性。


代码,项目&数据


强化学习大冒险:Pytorch Deep Q Learning教程

来源:GITHUB.COM

链接:

https://github.com/higgsfield/RL-Adventure?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

这个教程在PyTorch和Jupyter中实现了一系列深度Q学习算法,其代码清晰易读。这个代码库是了解各种算法之间差异的良好开始。


如何训练神经核心模型

来源:MEDIUM.COM

链接:

https://medium.com/huggingface/how-to-train-a-neural-coreference-model-neuralcoref-2-7bb30c1abdfe?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

这篇文章将指导您了解Coherence解决方案系统的工作原理以及如何使用CoNLL 2012数据集进行训练。完整的代码在Github上可用。


PyTorch中的随机加权平均

来源:GITHUB.COM

链接:

https://github.com/timgaripov/swa?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

该文档库包含PyTorch实现的随机加权平均(SWA)训练方法,适用于DNN的训练方法,包括平均权重导向Wider Optima和Better Generalization。


LabNotebook:监控机器学习实验

来源:GITHUB.COM

链接:

https://github.com/henripal/labnotebook?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

LabNotebook是一个纯Python工具,允许使用者监控,记录,保存和查询所有的机器学习实验。这个库看起来很有潜力,但目前仍处于alpha版本状态。


爆款论文


简单的随机搜索与强化学习的竞争

来源:ARXIV.ORG

链接:

https://arxiv.org/abs/1803.07055?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

作者介绍了一种随机搜索方法,用于训练连续控制问题的静态线性策略,使基准MuJoCo运动任务的最新样本效率相匹配。搜索算法的效率至少比这些基准测试中最快的免竞争模型方法高15倍。


多尺度神经语言建模分析

来源:ARXIV.ORG

链接:

https://arxiv.org/abs/1803.08240?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

语言建模中的许多先进方法都引入了新颖,复杂和专业的体系结构。作者采用基于LSTM和QRNN的现有最先进的词级语言模型,并将它们扩展到更大的词汇表和字符级粒度。经过适当调整后,LSTM和QRNN分别在字符级别(Penn Treebank,enwik8)和单词级别(WikiText-103)数据集上获得了最新结果。使用单个现代GPU仅需12小时(WikiText-103)至2天(enwik8)即可获得结果。


突击深入强化学习

来源:ARXIV.ORG

链接:

https://arxiv.org/abs/1803.03835?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

作者使用以前训练过的'教师'代理训练新的'学生'代理。作者表示,在计算密集型多任务基准测试(DMLab-30)中,kickstarted训练可提高新代理的数据效率,从而实现更快的迭代。同样的启动管道可以让一个学生代理利用专门从事个人任务的多位“专家”教师。在这种情况下,kickstarted代理可以把从头开始培训的“学生”代理与几乎减少10倍的步骤相匹配,并将其最终性能提升42%。


原文发布时间为:2018-03-27

本文作者:文摘菌

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”微信公众号


上一篇:深度学习Trick——用权重约束减轻深层网络过拟合|附(Keras)实现代码


下一篇:《网络空间欺骗:构筑欺骗防御的科学基石》一1.5 网络空间欺骗链