CS229 - MachineLearning - 12 强化学习笔记

Ng的机器学习课,课程资源:cs229-课件    网易公开课-视频

问题数学模型:

马尔科夫过程五元组{S、a、Psa、γ、R},分别对应 {状态、行为、状态s下做出a行为的概率、常数、回报}。

一个简化的例子如下,假设移动机器人可以有如下位置,中间画×处不能走,目标是左上角,不希望走左上第二个格子:

CS229 - MachineLearning - 12 强化学习笔记

那么机器人可以有11个状态S;在每个状态上都可以往四个方向走,因此a={N,S,W,E};

为了给机器人正确的奖励惩罚政策,给定左上角位置的回报为+1,左上第二个格子回报为-1,其他格子-0.01(为了让机器人尽快走到目标点)。

γ是常数,这里给0.99。

CS229 - MachineLearning - 12 强化学习笔记

红色箭头表示一个策略。

优化目标:

选择一个策略π(policy)以获得最佳报酬:E[R(s0)+γR(s1)+γ2R(s2)+......],常数γ的存在可以保证尽量快地获得收益。

为此定义value function:给定初始状态s0,选择一个策略π使得收益最大。

优化函数:

CS229 - MachineLearning - 12 强化学习笔记

根据贝尔曼方程,

CS229 - MachineLearning - 12 强化学习笔记

R(s)表示执行此策略获得的直接收益,后面那一堆是执行了此策略以后在后面的行为获得的收益。

最优策略满足:

CS229 - MachineLearning - 12 强化学习笔记CS229 - MachineLearning - 12 强化学习笔记

那么在s状态下的最优策略是满足以下等式的行为:

CS229 - MachineLearning - 12 强化学习笔记

这样,就可以迭代计算了。

求解方法:

CS229 - MachineLearning - 12 强化学习笔记

但实际操作中Psa是未知的,所以需要先统计次数,针对课上举的机器人移动的例子,Ng解释说可以先让机器人随便走,统计到达每个状态的次数。

CS229 - MachineLearning - 12 强化学习笔记

所以强化学习的完整实现过程是这样:

CS229 - MachineLearning - 12 强化学习笔记

之前的课件到这里就结束了,但现实世界中的问题极其复杂,是无法简化成上述格子的,看今年更新的课件又加了好几页,讲离散化和维度灾难and so on.

扩展:

以自动驾驶汽车为例,车子的状态是连续变化的,离散化以后维度也是大大的,解决方案是给定一个状态转换模型:

CS229 - MachineLearning - 12 强化学习笔记

未完待续,不知道什么时候续。

2017.12.02

最近在看图像处理相关的东西,想了一下机器学习、机器视觉之间的关系,机器学习更接近于提供一个原理性的东西,机器视觉选用各种工具来解决这个问题,进而想到,搞机器学习其实还是人在学习,你去学习这个世界的表达方法、演化规则,然后让机器帮你实现。

上一篇:Swipe-移动端触摸滑动插件swipe.js


下一篇:RMAN_学习笔记2_RMAN Setup配置和监控