机器学习算法大致可以分为三种：
1. 监督学习(如回归，分类)
2. 非监督学习(如聚类，降维)
3. 增强学习
什么是增强学习呢？
增强学习（reinforcementlearning, RL）又叫做强化学习，是近年来机器学习和智能控制领域的主要方法之一。增强学习在很多领域已经获得成功应用，比如自动直升机，国际象棋比赛，机器人控制，市场决策，工业控制，高效网页索引等。
定义: Reinforcement learning is learning what to do ----how to map situations to actions ---- so as to maximize a numerical reward signal.[1] 也就是说增强学习关注的是智能体(agent)如何在环境中采取一系列行为从而获得最大的累积回报。它是从环境状态到动作的映射的学习。
那么增强学习具体解决哪些问题呢，我们来举一些例子：
例1. 假设要训练室内机器人（有一些传感器），使它能自己找到电源并且充电，在这个过程中人类不提供指导，而是让机器人自身不断的尝试。只有在它在电源附近并执行接上电源这个动作的时候，我们才给予它正回报。通过这样的训练，我们希望机器人能够在任意初始状态下，通过选择一系列恰当的动作，很快的接上电源。
例2. 假设我们要构建一个下国际象棋的机器，这种情况不能使用监督学习，首先，我们本身不是优秀的棋手，而请象棋老师来遍历每个状态下的最佳棋步则代价过于昂贵。其次，每个棋步好坏判断不是孤立的，要依赖于对手的选择和局势的变化。是一系列的棋步组成的策略决定了是否能赢得比赛。下棋过程的唯一的反馈是在最后赢得或是输掉棋局时才产生的。
可以看到，增强学习和监督学习的区别主要有以下两点：
1. 增强学习是试错学习(Trail-and-error)，由于没有直接的指导信息，智能体要以不断与环境进行交互，通过试错的方式来获得最佳策略。
2. 延迟回报，增强学习的指导信息很少，而且往往是在事后（最后一个状态）才给出的，这就导致了一个问题，就是获得正回报或者负回报以后，如何将回报分配给前面的状态。
增强学习是机器学习中一个非常活跃且有趣的领域，个人认为相比于模仿学习（imitation learning）,增强学习更接近生物学习的本质，因此有望获得更高的智能，这一点在棋类游戏中已经得到体现。Tesauro(1995)描述的TD-Gammon程序，使用增强学习成为了世界级的西洋双陆棋选手。这个程序经过150万个自生成的对弈训练后，已经近似达到了人类最佳选手的水平，并在和人类*高手的较量中取得40 盘仅输1盘的好成绩。
下篇我们正式开始学习增强学习，首先介绍一下马尔可夫决策过程。
参考资料：
[1] R.Sutton et al. Reinforcement learning: An introduction , 1998
[2] T.Mitchell. 《机器学习》，2003
[3] Andrew Ng.CS229: Machine learning Lecture notes