Game Theory Reveals the Future of Deep Learning
Carlos E. Perez
Deep Learning Patterns, Methodology and Strategy @ IntuitionMachine.com
译自：https://medium.com/intuitionmachine/game-theory-maps-the-future-of-deep-learning-21e193b0e33a#.2vjbrl5di
若你一直follow他的文章，你会渐渐相信，对于那些资深的深度学习实践者来说，在新架构出现的设计中出现博弈论的概念是显而易见的。这种直觉来自于以下两方面的原因。其一，深度学习系统最终会需要那些能够处理有瑕疵的知识的场景。事实上，我们已经看到Deep Mind的AlphaGo仅使用了部分的知识，就从技巧性和策略性两方面，在Go中战胜了世界级的人类高手。其二，系统不会像现在这样保持独立，而是更倾向于涉及多个一致或具有竞争关系的深度学习系统的团体。我们已经看到的对抗网络就是这种构造。对抗网络包括两个具有竞争关系的神经网络，一个是生成网络，一个判别网络，前者试图伪造图像，后者试图鉴别图像真伪。这些系统的有趣特征是闭式损失是不需要的。事实上，一些系统甚至具备发现自身损失函数的惊人能力！对抗网络的缺点是它们训练困难。对抗学习包含了寻找两人非合作游戏中的纳什均衡（Nash Equilibrium）。Yann Lecun曾经在一次关于无监督学习的讲座中称，对抗网络是近20年来机器学习中最酷的想法。
（一）David Balduzzi的Semantics, Representations and Grammars of Deep Learning
我们仍旧处于使用博弈论的初级阶段，但是从更深层次来看，一些论文是具有博弈论基础的。David Balduzzi有一个采用博弈论方法的深度学习框架。在他的paper“Semantics, Representations and Grammars of Deep Learning”，他写道：
“一个潜在的批评是这种形式化太宽泛了。......然而，通过将简单函数的组合视为深度学习体系结构的共有的必要特征，开拓有趣的非凸游戏的子类是可能的。组合特性通过分布式通讯协议与语法来形式化。”
博弈论以非常优雅的方式涵盖其他方面混乱的主题。他用一个非常漂亮的图来凸显这种方法的实力，整本书都是用这种方法的角度来写。
（二）David Silver以及Johannes Heinrich的Deep Reinforcement Learning from Self-play in imperfect-information games.
他写道：“We have introduced NFSP, the first end-to-end deep reinforcement learning approach to learning approximate Nash Equilibria of imperfect-information games from self-play. Unlike previous game theoretic methods, NFSP is scalable without prior domain knowledge. Furthermore, NFSP is the first deep reinforcement learning method known to converge to approximate Nash Equilibria in self-play.”
（三）Jason Hartford的Deep Learning for Predicting Human Strategic Behavior
Jason Hartford等人使用深度学习来预测人类的行为。论文中提到：“The behavioral game theory literature has developed a wide range of models for predicting human behavior in strategic settings by incorporating cognitive biases and limitations derived from observations of play and insights from cognitive psychology...”
（四）作者的思考与总结
我们看到了三个不同的玩家采用三种不同的方式来看待博弈论在深度学习中所起作用。（1）作为一种描述和分析新的深度学习架构的方法；（2）作为一种构建学习策略的方法；（3）作为一种预测人类参与者行为的方法。最后一种应用会令你毛骨悚然。
数学家们提供给我们抽象的表示，来帮助我们理解复杂系统。然而，任何一种形式的抽象都有其局限性所在，这里就忽略细节了。我们可以拟定一些关于几何、动力、逻辑的直觉来展示这些系统如何运行。但是，我们开始隐约发现这些系统所包含的分类器是从其他分类其构建的。它们本身就是自相似的系统，应当将它们视为一个互相交互的集合。进一步讲，这些机器设计的目的在于预测未来。而预测需要不完备的、有瑕疵的数据。因此，我们需要数学框架来研究具有多种信息的多体交互行为。
传统的机器学习观点从优化的角度看问题，所有需要的就是能够找到最优解的算法。然而，采用机器学习，我们想要构建的学习机器不能对数据过拟合，但却能很好的处理没有见过的数据。换句话说，我们想要这些机器能够预测未知。这个要求称为泛化，与传统的优化问题是非常不同的。它与传统的动力学问题也很不一样，因为动力学问题要求所有的信息是已知的。这也是为什么深度学习中的好多工程都需要在优化问题的基础上添加额外的约束。这些约束在一些文章中被称为先验，在优化问题中被称为正则化。
正则化来自何处？我们如何选择一个好的正则化方法？我们如何处理有瑕疵的信息？这些都是博弈论观点的重要性所在。泛化有时也可以称为结构风险最小化。换句话说，我们构建一种能够处理泛化的机制，所采用的的方法策略就是类似于多体如何减轻风险。事实上，我们又回到了原点。博弈论被描述为：研究智能理智决策者之间如何竞争与合作的数学模型。理解机器学习最终归结于研究智能体之间交互的数学。