> 目 录 <
- learning & intelligence 的基本思想
- RL的定义、特点、四要素
- 与其他learning methods、evolutionary methods的比较
- 例子(井字棋 tic-tac-toe)及早期发展史
> 笔 记 <
learning & intelligence 的基本思想:learning from interaction
RL的定义:
RL is learning what to do--how to map situations and actions--so as to maximize a numerical reward signal.
RL problems: a learning agent interacting over time with its environment to achieve a goal.
(sensation,action & goal三要素: agent需要能够感知环境的states,采取actions来影响state,有1个or多个与环境中的state相关的目标。)
2个特点:
1. trial-and-error search:不告诉learner该如何做,而是让他通过不断地尝试来发现该采取什么行为来获得更多的奖励。
2. delayed reward: 行为不仅仅影响immediate reward,还影响next situation,甚至是随后所有的subsequent rewards。
RL四要素:
1. policy: 定义了learning agent在特定时刻的行为表现。
2. reward signal: 定义了RL problem的目标,反映了what is good in an immediate sense
3. value function:定义了what is good in the long run。也就是说,某一state的value指的是,agent从现在开始一直到未来可以得到的累计回报的期望。
4. model of the environment (optional, only for model-based methods):它模仿了环境的行为,也就是说给出state和action,model可以预测next state和reward。
与其他learning methods比较:
1. RL不同于supervised learning,因为监督学习是learning for a training set of labelled examples provided by a knowledgeable external supervisor.
2. RL不同于unsupervised learning,因为非监督学习主要是finding structure hidden in collections of unlabeled data。虽然RL一定程度上可以看成是非监督学习 (∵不依赖examples of correct behavior),但实际上两者并不相同,因为RL的目的是maximize a reward signal而非trying to find hidden structure. 此外,RL和时间有很大的关系,而且反馈都是具有时间效应的。
3. RL其他特点:
(1) trade-off between exploration and exploitation是其独有的challenge;
(2) 关注的不是isolated subproblems,而是whole problem of a goal-directed agent interacting with an uncertain environment;
(3) 多学科交叉:数学、心理学、神经科学......
与evolutionary methods (e.g. 遗传算法)的比较:
在(1) 问题空间不大 or 有足够时间去搜索的情况下, (2)或者learning agent不能获知环境完整state的情况下,evolutionary methods比较有效。
但是,RL利用了每个个体与环境交互所得到的信息去学习,因此多数情况下RL更好。
具体例子—井字棋(tic-tac-toe):
分析了用不同的方法 (e.g. minimax、动态规划、进化方法、RL )来解决
RL早期发展史:
略