本文来自AI新媒体量子位(QbitAI)
近日,谷歌DeepMind团队的Meire Fortunato、Mohammad Gheshlaghi Azar、Bilal Piot等12人在ArXiv上发表了一篇新论文,主要探索了嘈杂网络(Noisy Networks, NoisyNet)以及在游戏中应用的表现。
量子位将论文中部分内容整理编译,与大家分享。
论文摘要
本文提出了NoisyNet,一种权重中增加了参数噪声的深度强化学习智能体,也证明了这种智能体策略的诱导随机性可被用来辅助有效探索。在NoisyNet中,噪声参数随着剩余网络权重一起学习梯度下降。
研究人员发现,用NoisyNet替代A3C、DQN、Dueling等算法智能体中的传统启发式探索,在多数Atari游戏中得分更高,一些情况下它也会胜过人类的表现,并且几乎没有额外的计算成本。
游戏大咖
研究人员用Atari的57个游戏对NoisyNet进行测试,并对比A3C、DQN和Dueling三种智能体的NoisyNet变体和基线对比结果。
△ 三种智能体的NoisyNet变体和基线的表现性能比较
在上面的图中,横轴罗列了57个游戏,纵轴显示了表现性能的增长幅度,而图中能显示出来的最大增长幅度为250%。
值得注意的是,在NoisyNet-A3C变体的表现性能提升最为显著,在四个游戏中的性能提升均大于250%。
将上面的57个游戏的性能表现汇总,可以得出三种智能体的NoisyNet变体的整体数据。
△ 整体数据图
可以看出,三种变体的性能平均值及中值都大大优于原始基线。
最后,附论文下载地址:
https://arxiv.org/abs/1706.10295
【完】
本文作者:安妮
原文发布时间:2017-07-05