强化学习方法汇总【学习笔记1】
学习方法汇总
（1）不理解环境（Model-Free RL）
从环境中得到反馈以学习，只能等待现实世界的反馈之后才能做出相应的动作。
- Q learning
- Sarsa（×）
- Policy Gradients
- ……
（2）理解环境（Model-Based RL）
与Model-Free相比多了“为事物建模”这道工序，并且能够想象现实世界可能出现的结果。
（3）基于概率（Policy-Based RL）
根据环境直接搜索出接下来动作的概率，然后根据概率采取行动。
（4）基于价值（Value-Based RL）
根据环境直接搜索出接下来动作的价值，然后采取最高价值来采取动作。
（5）回合更新（Monte-Carlo update）
等到结束过后再从过程中的转折点进行分析学习。
- 基础版Policy Gradients
- Monte-Carlo Learning
- ……
（6）单步更新（Temporal-Difference update）
完成一步就立即学习，边进行边学习，效率高。
- Q learning
- Sarsa（×）
- 升级版Policy Gradients
- ……
（7）在线学习（On-Policy）
必须是自己加入其中去学习。
- Sarsa（×）
- Sarsa（λ）
- ……
（8）离线学习（Off-Policy）
可以通过自身学习，也可以通过观察别人或者过往的一些经历学习。
- Q learning
- Deep Q Network
- ……