PPO算法的核心思想是通过限制新旧策略之间的变化，防止策略更新过度。具体来说，PPO通过以下目标函数来更新策略：

$$L^{\text{CLIP}}(\theta )={\mathbb{E}}_t\left[\min \left(r_t(\theta ){\hat{A}}_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t\right)\right]$$

其中：

• $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}$ 表示新旧策略的概率比。
• ${\hat{A}}_t$ 是优势函数的估计。
• $ϵ$ 是控制策略更新幅度的超参数。

2.1 优势函数估计

优势函数 ${\hat{A}}_t$ 可以通过广义优势估计（Generalized Advantage Estimation，GAE）来计算：

$${\hat{A}}_t={\delta }_t+(\gamma \lambda ){\delta }_{t+1}+(\gamma \lambda {)}^2{\delta }_{t+2}+\dots$$

其中，TD残差 ${\delta }_t$ 定义为：

$${\delta }_t=r_t+\gamma V(s_{t+1})-V(s_t)$$

$\gamma$ 是折扣因子，$\lambda$ 是用于平衡偏差和方差的超参数。

2.2 策略更新

PPO的策略更新通过最大化 $L^{\text{CLIP}}(\theta )$ 来实现。由于引入了 $\text{clip}$ 操作，损失函数对 $r_t(\theta )$ 的变化在 $[1-ϵ,1+ϵ]$ 范围之外不再敏感，从而限制了每次更新的步幅。

2.3 价值网络更新

除了策略网络，PPO还使用价值网络来估计状态值函数 $V(s)$，其损失函数为：

$$L^{\text{VF}}(\theta )={\mathbb{E}}_t\left[{\left(V_{\theta }(s_t)-V_t^{\text{target}}\right)}^2\right]$$

其中，$V_t^{\text{target}}$ 是对真实价值的估计，例如使用TD目标：

$$V_t^{\text{target}}=r_t+\gamma V(s_{t+1})$$

2.4 总损失函数

综合考虑策略损失和价值函数损失，以及可能的熵正则项，PPO的总损失函数为：

$$L(\theta )=L^{\text{CLIP}}(\theta )-c_1{L}^{\text{VF}}(\theta )+c_{2}S[{\pi }_{\theta }](s_t)$$

其中：

• $c_1$ 和 $c_2$ 是权衡各项损失的系数。
• $S[{\pi }_{\theta }](s_t)$ 是策略的熵，鼓励探索。