model free prediction
- 在没法获取MDP的模型情况下，我们通过以下两种方法来估计某个给定策略的价值，即策略估计
  - MC
  - TD
model free control
- 当我们不知道 MDP 模型情况下，如何优化价值函数，得到最佳的策略
- 我们可以把 policy iteration 进行一个广义的推广，使它能够兼容 MC 和 TD 的方法，即 Generalized Policy Iteration(GPI) with MC and TD。
  - 当我们不知道奖励函数和状态转移时，如何进行策略的优化。
    - 我们对 policy evaluation 部分进行修改：用 MC 的方法代替 DP 的方法去估计 Q 函数。当得到 Q 函数后，就可以通过 greedy 的方法去改进它。
    - Sarsa: On-policy TD Control
    - Q-learning: Off-policy TD Control

考点：on policy 与off policy 的区别

优化策略并没有用到行为策略的数据，所以说它是 off-policy 的。

样本生成用的π 和估计的 π 是同一个，因此是 on-policy。

考点：SARSA 与Q-learning的区别

考点： value-based 和 policy-based 的区别

考点：DP、MC、TD 的比较

第四章策略梯度

policy gradient 是一个会花很多时间来采样数据的算法，大多数时间都在采样数据，agent去跟环境做互动以后，接下来就要更新参数。你只能更新参数一次。接下来你就要重新再去收集数据，然后才能再次更新参数。

考点：梯度策略的公式

考点：概念的理解

第五章 DQN/Deep Q-network——解决连续动作、状态量大的问题

为了在连续的状态和动作空间中计算值函数 Qπ(s, a)，我们可以用一个函数 Qϕ(s, a) 来表示近似计算，称为价值函数近似 (Value Function Approximation)。

在 Q-learning 中，我们使用表格来存储每个状态 s 下采取动作 a 获得的奖励，即状态-动作值函数Q(s, a)。然而，这种方法在状态量巨大甚至是连续的任务中，会遇到维度灾难问题，往往是不可行的。因此，DQN 采用了价值函数近似的表示方法。

概念

DQN 是指基于深度学习的 Q-learning 算法，主要结合了值函数近似 (Value Function Approximation)与神经网络技术，并采用了目标网络和经历回放的方法进行网络的训练。

DQN算法思想

初始化两个网络；与环境交互获得经验数据(st, at ,rt, st+1)；将经验数据存储于buff中；从buff中采样一批数据；用目标网络计算目标（希望目标与Q值越接近越好）；更新一定次数之后，将Q估计设置为Q，这就是DQN。

Target Network

Experience Replay（经验回放）

问题1:为什么在 DQN 中采用价值函数近似（Value Function Approximation）的表示方法？

答：首先 DQN 为基于深度学习的 Q-learning 算法，而在 Q-learning 中，我们使用表格来存储每一个state 下 action 的 reward，即我们前面所讲的状态-动作值函数 Q(s, a) 。但是在我们的实际任务中，状态量通常数量巨大并且在连续的任务中，会遇到维度灾难的问题，所以使用真正的 Value Function通常是不切实际的，所以使用了价值函数近似（Value Function Approximation）的表示方法。

随机性策略和确定性策略的区别

第六章 Double DQN——解决Q值高估问题

为什么要有 Double DQN 呢？

因为在实现上，你会发现 Q 值往往是被高估的。

问题1：为什么 Q 值总是被高估了呢？

因为你总是会选那个被高估的 Q 值，选那个 reward 被高估的动作当作这个 max 的结果去加上 rt 当作你的目标，所以你的目标总是太大。

问题2：怎么解决目标值总是太大的问题呢？

在 Double DQN 里面，你有两个 Q-network：目标的 Q-network 和你会更新的 Q-network。所以在 DoubleDQN 里面，你会拿你会更新参数的那个 Q-network 去选动作，然后你拿目标网络（固定住不动的网络）去算值。

问题3：DQN 都有哪些变种？引入状态奖励的是哪种？

答：DQN 三个经典的变种：Double DQN、Dueling DQN、Prioritized Replay Buffer。

- Double-DQN：将动作选择和价值估计分开，避免价值过高估计。

- Dueling-DQN：将 Q 值分解为状态价值和优势函数，得到更多有用信息。

- Prioritized Replay Buffer：将经验池中的经验按照优先级进行采样。

问题4：简述 double DQN 原理

答：DQN 由于总是选择当前值函数最大的动作值函数来更新当前的动作值函数，因此存在着过估计问题（估计的值函数大于真实的值函数）。为了解耦这两个过程，double DQN 使用了两个值网络，一个网络用来执行动作选择，然后用另一个值函数对一个的动作值更新当前网络。

问题5：Dueling DQN的优势

第七章 Actor-Critic

演员-评论家算法 (Actor-Critic Algorithm) 是一种结合策略梯度和时序差分学习的强化学习方法。

但是对于 actor-critic 方法，我们不是直接使用每一步得到的数据和反馈进行 policy π 的更新，而是使用这些数据进行 estimate value function，这里我们通常使用的算法包括前几个 chapters 重点介绍的 TD 和 MC 等算法以及他们的优化算法。接下来我们再基于value function 来更新我们的 policy

问题1:Actor-Critic 两者的区别、actor-critic 框架中的 critic 的作用

参考资料：

https://github.com/datawhalechina/easy-rl

码农公寓

Reinforcement Learning

请简述什么是强化学习

请说明强化学习的使用场景

请简述 强化学习的特征

请举例生活中强化学习的例子

基于价值函数的迭代和基于策略函数的迭代的强化学习方法有什么区别？

请简述什么是有模型学习？什么是无模型学习？

MDP

请简述 马尔可夫性质

请简述 马尔可夫奖励过程

Bellman Equation（贝尔曼等式）

bootstrapping、Backup

请简述蒙特卡罗算法的思想

Bellman equation、Bellman expectation equation

Bellman expectation equation

例题 policy evaluation/ prediction

Bellman optimality equation

第三章 Tabular Methods