郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！

 

arXiv:1707.06887v1 [cs.LG] 21 Jul 2017

In International Conference on Machine Learning (2017).

 

Abstract

　　在本文中，我们争论了价值分布的根本重要性：强化学习智能体获得的随机回报的分布。这与强化学习的通用方法形成对比，后者是对这种回报或价值的期望进行建模的方法。尽管已有大量研究价值分布的文献，但迄今为止，它一直被用于特定目的，例如实现风险意识行为。我们从策略评估和控制设置方面的理论结果开始，揭示了后者中的重大分布不稳定性。然后，我们使用分布的观点来设计一种新算法，该算法将Bellman方程应用于近似价值分布的学习。我们使用Arcade Learning Environment中的游戏套件评估算法。我们同时获得了最新结果和坊间证据，这些证据证明了价值分布在近似强化学习中的重要性。最后，我们结合理论和经验证据来强调在近似设置中价值分布影响学习的方式。