《从机器学习到深度学习》笔记(3)强化学习

强化学习是对英文Reinforced Learning的中文翻译,它的另一个中文名称是“增强学习”。相对于有监督学习和无监督学习,强化学习是一个相对独特的分支;前两者偏向于对数据的静态分析,后者倾向于在动态环境中寻找合理的行为决策。

强化学习的行为主体是一个在某种环境中独立运行的Agent(可以理解为“机器人”), 其可以通过训练获得在该环境中的最佳行为模式。强化学习被看成是最接近人工智能的一个机器学习领域。

思考:为什么说强化学习是最接近人工智能的一个机器学习领域?

1. 五个要素

强化学习的场景由两个对象构成,它们是:

  • 智能代理(Agent):是可以采取一系列行动以达到某种目标的控制器,可以形象的将其理解为机器人大脑。比如自动驾驶的控制器、打败李世石的AlphaGo。
  • 环境(Environment):是Agent所能感知和控制的世界模型。对自动驾驶来说,Environment就是Agent所能感知到的路况和车本身的形式- 能力,对AlphaGo来说,Environment包括棋盘上的每种状态和行棋规则。

这两个对象其实定义了机器人和其所能感知到的世界。而就像人类能在自己的世界中行走、享受阳光,机器人也可以通过三种方式与其所在的环境交互:

  • 状态(State):是任意一个静态时刻Agent能感知到的Environment情况,相当于某一时刻人类五官能感知到的一切。
  • 行为(Action):是Agent能在Environment中执行的行为,对应于人类四肢所能做的所有事。
  • 反馈(Reward):是Agent执行某个/某些Action后获得的结果。Reward可以是正向的或者是负向的,相当于人类感受到的酸甜苦辣。
    以上五种强化学习要素的关系如图1-12所示,它们在一起构建起了强化学习的应用场景。

《从机器学习到深度学习》笔记(3)强化学习

图1-12  强化学习场景

另外,在强化学习中Reward有时是延时获得的。即Agent在做出某个Action后不会马上获得Reward,而需要在一系列Action之后才能获得。每个任务最终获的Reward被称为value。比如在围棋环境中,只有结果是胜是败才对之前的所有Action给出最终的value。

延迟获得value的本质分析的是一系列相关行为共同发生的作用,也是强化学习与有监督学习最主要的一个不同点。试想如果每一个Action都可以获得一个相应的Reward,那么Reward就退化成了有监督学习中的label(标签)。

2. 两种场景与算法

具备上述五个要素的强化学习可以用来解决两类问题:

  1. 状态预测问题:用马尔可夫过程估计在任一时刻各种状态发生的可能性,其中蒙特卡洛模拟(Monte Carlo Method)是一类重要方法。
  2. 控制问题:如何控制Agent以获得最大Reward。其算法可以分成两类:
  • 基于策略的学习(Policy-based):基于概率分布学习行为的可能性,根据可能性选择执行的动作,可学习连续值或离散值类型行为。典型算法是Policy Gradients。
  • 基于价值学习(Value-based):直接基于Reward学习行为结果,只能学习离散类型行为,包括算法Q-learning、Sarsa。
    另外,还有个别算法兼具Policy-Based和Value-Based特点,比如Actor-Critic。

不得不承认的是,虽然强化学习是更智能的机器学习分支,但目前产品级应用还比较少,多集中在游戏娱乐和简单工业控制。本书将在第6章介绍隐马尔可夫模型,第7章介绍以马尔可夫收敛定理为基础的蒙特卡洛推理,在第10章详细学习各类强化学习控制问题。

从机器学习,到深度学习

从深度学习,到强化学习

从强化学习,到深度强化学习

从优化模型,到模型的迁移学习

一本书搞定!
《从机器学习到深度学习》笔记(3)强化学习

上一篇:《从机器学习到深度学习》笔记(4)划分数据集


下一篇:VS2005插件,自动对齐赋值等号与注释