强化学习(Reinforcement Learning)

作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/

        通过阅读《神经网络与深度学习》及其他资料，了解强化学习(Reinforcement Learning)的基本知识，并介绍相关强化学习算法。

1. 强化学习背景与基本概念

1.1 强化学习概念图

1.2 基于学习信号的结构复杂度和时序复杂度对机器学习方法进行归类

1.3 强化学习常用符号

1.4 强化学习定义与概念

1.5 马尔可夫决策过程(Markov Decision Process, MDP)

1.6 强化学习的目标函数

1.7 值函数

1.8 强化学习方法总体概括

2. 基于值函数的方法

2.1 值函数估计——优化思路

2.2 动态规划算法(基于模型的强化学习)

2.3 蒙特卡罗方法(模型无关的强化学习)

2.4 时序差分学习方法(蒙特卡罗+动态规划)

2.4.1 SARSA：一种同策略的时序差分学习算法

2.4.2 Q学习：一种异策略的时序差分学习算法

2.4.3 深度Q网络(Deep Q-Networks，DQN)

3. 基于策略函数的学习方法

3.1 策略梯度(Policy Gradient)

3.2 REINFORCE算法

3.3 带基准线的REINFORCE算法(REINFORCE with Baseline)

4. 演员-评论员算法(Actor-Critic Algorithm)

5. 参考文献

[1] 邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020.

[2] 王树森, 张志华, 深度强化学习，https://github.com/wangshusen/DRL/blob/master/Notes_CN/DRL.pdf, 2021.

[3] 王东，机器学习导论，清华大学出版社，http://166.111.134.19:7777/mlbook/release/21-01-02/book.pdf, 2021.

[4] 强化学习——值迭代和策略迭代 - 虔诚的树 - 博客园 https://www.cnblogs.com/xxxxxxxxx/p/11536460.html