强化学习：PPO 与 GAE

1. PPO (Proximal Policy Optimization)

PPO 通过限制策略更新幅度，在保证计算效率的同时实现了类似 TRPO 的稳定性。

1.1. 概率比率 (Probability Ratio)

定义 $r_t(\theta )$ 为新旧策略在相同状态下采取相同动作的概率比：
$r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}=\exp (\log {\pi }_{\theta }(a_t|s_t)-\log {\pi }_{{\theta }_{old}}(a_t|s_t))$

• $r_t>1$：该动作在当前策略中概率增加。
• $r_t=1$：新旧策略分布一致。

1.2. 截断代理目标 (Clipped Surrogate Objective)

为了防止策略更新过猛，PPO 构造了一个“悲观”的目标函数 $L^{CLIP}$（最大化目标）：
$L^{CLIP}(\theta )={\hat{\mathbb{E}}}_t\left[\min (r_t(\theta ){\hat{A}}_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t)\right]$

逻辑说明：

• ${\hat{A}}_t>0$（正向动作）： 限制 $r_t$ 上限，防止过分增加好动作的权重。
• ${\hat{A}}_t<0$（负向动作）： 限制 $r_t$ 下限，防止过分压低坏动作的权重。
• $\min$ 算子： 确保更新步长始终处于“置信域”内，提供单调提升的保障。

---

2. GAE (Generalized Advantage Estimation)

GAE 通过指数加权平均来平衡优势估计的方差与偏差。

2.1. 推导与证明

定义 $k$ 步优势估计为前 $k$ 个 TD 残差 $\delta$ 的累加：
${\hat{A}}_t^{(k)}={\sum }_{j=0}^{k-1}{\gamma }^j{\delta }_{t+j},\text{其中 }{\delta }_t=R_t+\gamma V(s_{t+1})(1-don{e}_t)-V(s_t)$

GAE 是对所有步长估计的指数加权平均：
${\hat{A}}_t^{GAE}=(1-\lambda ){\sum }_{k=1}^{\infty }{\lambda }^{k-1}{\hat{A}}_t^{(k)}={\sum }_{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}$

2.2. 递归形式（工程实现）

利用倒序递推实现 $O(T)$ 复杂度计算：
${\hat{A}}_t={\delta }_t+(\gamma \lambda )(1-don{e}_t){\hat{A}}_{t+1}$

---

3. 完整算法流程 (统一损失函数最小化视角)

在深度学习框架中，通常通过最小化负的目标函数来实现最大化奖励。

3.1. 综合损失函数 (Total Loss)

定义需要最小化的总损失 $Los{s}^{total}$：
$Los{s}^{total}(\theta ,\varphi )={\hat{\mathbb{E}}}_t\left[-L_t^{CLIP}(\theta )+c_1{L}_t^{VF}(\varphi )-c_{2}S[{\pi }_{\theta }](s_t)\right]$

• $-L_t^{CLIP}$：负的代理目标，最小化它等同于最大化期望奖励。
• $+c_1{L}_t^{VF}$：价值误差 $L_t^{VF}=(V_{\varphi }(s_t)-V_t^{targ}{)}^2$，需要最小化。
• $-c_{2}S$：负的熵奖励 $S=-\sum \pi \log \pi$，最小化负熵等同于最大化熵（增加探索）。

3.2. 详细算法伪代码

1. 初始化：参数 $\theta ,\varphi$，超参数 $ϵ,\gamma ,\lambda ,c_1,c_2,K,M$。
2. FOR 迭代次数 $=1,2,\dots$ DO:
   • Sampling：使用并行 Actor 采集 $T$ 步数据 $\{s_t,a_t,R_t,don{e}_t,\log {\pi }_{old}\}$。
   • Advantage Estimation：
     • ${\delta }_t=R_t+\gamma V_{\varphi }(s_{t+1})(1-don{e}_t)-V_{\varphi }(s_t)$
     • 倒序递推：${\hat{A}}_t={\delta }_t+(\gamma \lambda )(1-don{e}_t){\hat{A}}_{t+1}$
     • 计算 Critic 目标：$V_t^{targ}={\hat{A}}_t+V_{\varphi }(s_t)$
   • Optimization：将数据分为若干 Minibatch。
     • FOR Epoch $k=1,\dots ,K$ DO:
       • 对于每个 Minibatch 计算梯度：
         • $r_t(\theta )=\exp (\log {\pi }_{\theta }(a_t|s_t)-\log {\pi }_{{\theta }_{old}})$
         • $L_t^{CLIP}=\min (r_t{\hat{A}}_t,\text{clip}(r_t,1-ϵ,1+ϵ){\hat{A}}_t)$
         • $L_t^{VF}=(V_{\varphi }(s_t)-V_t^{targ}{)}^2$
         • $S_t=-\sum {\pi }_{\theta }\log {\pi }_{\theta }$
       • 更新参数（执行梯度下降）：
         • $\theta \leftarrow \theta -\alpha {\nabla }_{\theta }Los{s}^{total}$
         • $\varphi \leftarrow \varphi -\alpha {\nabla }_{\varphi }Los{s}^{total}$
     • END FOR
   • Sync：${\theta }_{old}\leftarrow \theta$。
3. END FOR