深入理解强化学习PPO算法

1 PPO算法概述

1.1 简介

近端策略优化（Proximal Policy Optimization，PPO）是OpenAI在2017年提出的一种强化学习算法，它通过引入约束机制来确保策略更新的稳定性，解决了传统策略梯度方法训练不稳定的问题。PPO属于策略梯度方法的家族，结合了策略梯度和值函数的优点，在许多实际应用中表现出色，具有较强的鲁棒性和效率。

1.2 ppo算法的由来

在强化学习中，策略梯度（Policy Gradient）方法直接优化策略参数，使得智能体最大化期望回报。
但普通的策略梯度方法（如 REINFORCE、QAC等）存在方差大、不稳定、更新步长不受控的问题。其中更新步长不受控可能会导致策略发生剧烈变化使得“训练崩溃”，例如策略优化过程中得到的相对较好的策略突然退化为一个非常差的策略
为了解决上述问题，研究者依次提出了：

• TRPO (Trust Region Policy Optimization)：通过 KL 散度约束控制策略更新幅度（硬约束，计算相当复杂）。
• PPO1 (Proximal Policy Optimization – KL Penalty 版本)：用 KL 惩罚项近似替代 TRPO 的约束（软约束，计算量相对与TRPO减小了一些）。
• PPO2 (Proximal Policy Optimization – Clipped 版本)：用概率比率裁剪（clip）机制，进一步简化计算并提升稳定性（用裁剪代替约束，计算量进一步减小）。

三者都属于 Policy Gradient 家族，目标一致：

通过约束策略变化，使得稳定训练、避免过大更新。

---

简而言之，PPO的核心思想是在保证策略改进的同时，限制策略更新的幅度，防止策略发生剧烈的变化。这种约束机制使PPO能够避免传统策略梯度方法中的高方差问题，并且避免了TRPO（Trust Region Policy Optimization）复杂的约束条件。

PPO算法已经成为强化学习领域最流行的算法之一，在从游戏AI到机器人控制、甚至大语言模型的对齐优化等众多领域都有广泛应用。

1.2.1 训练崩溃的原因

在使用传统策略梯度方法（如REINFORCE或基础Actor-Critic）时，典型的问题现象包括：

• 训练不稳定：训练过程中的奖励曲线出现剧烈波动，或策略性能突然断崖式下降（俗称“训练崩溃”），导致模型无法收敛。
• 收敛困难：策略可能在局部最优值附近振荡，难以稳定提升性能；有时需要大量调整超参数（如学习率）才能收敛。
• 样本效率低：为达到相同性能，传统方法需要与环境交互的样本量远高于PPO等改进算法，因为在策略更新后，旧数据通常无法复用

原因：

• 策略梯度的高方差：策略梯度的估计依赖于蒙特卡洛采样，其计算公式为：
  $${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{s_t\sim d^{{\pi }_{\theta }},a_t\sim {\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(a|s)\cdot A(s,a)\right]$$
  其中优势函数 A(s,a)的估计本身具有高方差。当策略变化时，方差会进一步放大，导致梯度更新方向不稳定。
• 步长敏感性与策略突变：策略梯度更新步长（学习率）的选取非常关键。步长过大会使新策略与旧策略差异巨大，可能直接破坏已有学习成果；步长过小则收敛缓慢。传统方法缺乏对步长的自适应约束机制。
• 重要性权重失控：在利用旧数据通过重要性采样进行多次更新时，新旧策略的概率比$r(\theta )$可能过大或过小，导致梯度估计偏差加剧，进而引发更新失控。
• 不同度量空间导致策略突变：参数（如神经网络的权重θ）本身及其更新步长在欧式空间中度量，而策略（即概率分布π(a|s)）之间的真实差异需要在黎曼空间中度量。这两种空间在度量“距离”和“变化”方式上的根本不同，导致了“合理”的参数步长可能引发灾难性的策略变化。

1.3 不同度量空间为何会导致策略突变

1.3.1 空间特性对比表:

度量对象 / 特性	欧式空间 (参数空间)	黎曼空间 (策略分布空间)
度量的直接对象	策略函数的参数向量 θ	策略函数输出的概率分布 π(a|s)
空间的直观性质	平坦、均匀	弯曲、不均匀
"距离"的度量方式	欧式距离：$|\Delta \theta |$	KL散度，由Fisher信息矩阵定义黎曼度量
"最速上升"方向	标准梯度${\nabla }_{\theta }J(\theta )$	自然梯度 $F^{-1}(\theta ){\nabla }_{\theta }J(\theta )$

1.3.2 为何"合理"的步长会造成"巨变"？

1. 概率分布参数化的非线性

策略 ${\pi }_{\theta }(a|s)$ 是参数 $\theta$$的一个非线性函数。参数空间的线性变化会被非线性变换映射到概率分布空间，导致概率的变化是非均匀的。

数学表达：

• 参数变化：$\Delta \theta ={\theta }_2-{\theta }_1$（固定值）
• 策略变化：$\Delta \pi ={\pi }_{{\theta }_2}(a|s)-{\pi }_{{\theta }_1}(a|s)$（非线性，不均匀）

示例：

假设某个动作的逻辑值（logit）在旧策略下对应的参数是${\theta }_1$，经过一次更新后变为${\theta }_2$ 。虽然参数的变化量 $\Delta \theta ={\theta }_2-{\theta }_1$ 是一个固定的数值，但通过Softmax函数计算出的该动作概率可能从1%急剧增加到50%。而在另一个参数区域，同样的 Δθ可能仅使概率从60%微调到65%。在欧式空间中，这两种更新的“步长”是相同的，但在策略空间（黎曼空间）中产生的影响却天差地别。
即：同样的参数变化量 $\Delta \theta$，在不同参数区域可能产生完全不同的策略变化：

• 区域A：概率从1% → 50%（巨变）
• 区域B：概率从60% → 65%（微调）

2. 流形的曲率与黎曼度量

概率分布的集合构成黎曼流形，其局部几何性质由Fisher信息矩阵描述：

$$F(\theta )=\mathbb{E}[\nabla \log {\pi }_{\theta }(a|s)\nabla \log {\pi }_{\theta }(a|s{)}^T]$$

Fisher信息矩阵度量了策略分布对参数变化的敏感度：

• 在流形曲率大的地方（敏感区域），小参数步长 → 大策略变化
• 在流形曲率小的地方（平坦区域），大参数步长 → 小策略变化

1.3.3 PPO/TRPO的解决方案

理解了上述原因，就能明白PPO和TRPO的核心思想：将优化过程从危险的、不匹配的欧式参数空间，引导至更本质的、安全的黎曼策略空间。

• TRPO的严格方法：它直接在数学上形式化了一个信任区域（Trust Region），约束新旧策略之间的KL散度必须小于一个阈值 $\delta$。这本质上就是在黎曼流形上划定一个范围，确保新策略不会偏离旧策略太远。其更新方向利用了自然梯度，这正是在黎曼度量下的最速上升方向。
• PPO的巧妙近似：PPO（特别是PPO-Clip）没有像TRPO那样进行复杂的自然梯度计算。它通过目标函数中的“裁剪（Clip）”操作，经验性地限制重要性权重$r_t(\theta )=\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}(a|s)}$ 的幅度。这实际上是在效果上近似实现了在策略分布空间中对更新幅度的约束，从而避免了策略的剧烈突变，是一种更工程化、计算量更小的一阶近似方法

TRPO的严格方法

建立黎曼空间中的信任区域：

$${\text{maximize}}_{\theta }{L}_{{\theta }_{old}}(\theta )=\mathbb{E}[r_t(\theta )A_t]$$
$$\text{subject to }{\bar{D}}_{KL}({\theta }_{old}\Vert \Vert \theta )\le \delta$$

其中KL散度约束直接在黎曼空间中限制策略变化幅度。

PPO的巧妙近似

通过裁剪目标函数间接实现类似效果：

$$L(\theta )=\mathbb{E}[\min (r_t(\theta )A_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ)A_t)]$$

其中 $r_t(\theta )=\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}(a|s)}$，用$clip()$函数裁剪操作经验性地约束了策略分布空间中的变化幅度。

核心洞察

PPO算法的成功关键在于认识到：在强化学习中，我们应该在策略分布空间（黎曼空间）而非参数空间（欧式空间）中控制和度量优化过程。这种几何视角的转换是确保训练稳定性的理论基础。

1.4TRPO算法

TRPO算法（Trust Region Policy Optimization）

1.4.1 核心思想

TRPO 通过引入信任域约束（Trust Region Constraint），保证每次策略更新不会偏离旧策略太多。
换句话说，TRPO 是一个带约束的优化问题：希望在期望回报上升的同时，保持新旧策略之间的距离（通过 KL 散度）不超过一个阈值。

1.4.2 目标函数（Objective Function）

TRPO 的优化目标为：

$$\underset{\theta }{\max }{\mathbb{E}}_t\left[r_t(\theta )A_t\right]$$

约束条件为：

$${\mathbb{E}}_t\left[D_{KL}\left({\pi }_{{\theta }_{old}}(\cdot |s_t)\Vert {\pi }_{\theta }(\cdot |s_t)\right)\right]\le \delta$$

其中：

• $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}$ 是新旧策略的概率比率。
• ${\pi }_{\theta }(a_t|s_t)$：新策略下动作的概率；
• ${\pi }_{{\theta }_{old}}(a_t|s_t)$：旧策略下动作的概率；
• $A_t$：优势函数；
• $D_{KL}$：KL 散度；
• $\delta$：控制更新幅度的阈值（如 0.01）。

TRPO 通过 共轭梯度法（Conjugate Gradient） 近似求解该约束优化问题，
在理论上保证了 单调性能改进（monotonic improvement）。

关于优势函数$A_t$的介绍请看我另一篇博客：广义优势估计（GAE）：PPO算法的核心技术与数学深度解析

2.ppo算法的分类：ppo1、ppo2

2.1 PPO1和PPO2算法的优缺点

PPO算法主要有两种变体：PPO1（带KL散度惩罚）和PPO2（带裁剪目标函数）。

特性	PPO1 (KL散度惩罚)	PPO2 (裁剪目标函数)
核心目标函数	$$L^{KL}(\theta )={\mathbb{E}}_t\left[r_t(\theta )A_t-\beta \cdot KL[{\pi }_{{\theta }_{old}}|{\pi }_{\theta }]\right]$$	$$L^{CLIP}(\theta )={\mathbb{E}}_t\left[\min \left(r_t(\theta )A_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ)A_t\right)\right]$$
计算复杂度	较高，需要计算KL散度	较低，只需简单裁剪
稳定性	非常稳定，有理论保证	相对稳定，经验验证
超参数调优	需要调整目标KL值和自适应参数	只需调整裁剪参数ε
收敛速度	相对较慢	通常更快
实现难度	较复杂	较简单
适用场景	对稳定性要求极高的任务	大多数强化学习任务

PPO1的优点在于其有理论保证的稳定性，通过KL散度约束确保策略更新不会偏离太远。缺点是实现相对复杂，需要计算KL散度并调整自适应参数。

PPO2的优点是实现简单、计算高效，在大多数任务中表现良好且收敛速度较快。缺点是缺乏严格的理论保证，更多地依赖于经验验证。

在实际应用中，PPO2通常是首选方法，因为它实现简单、效果稳定且超参数少。

3 深入理解PPO1算法

3.1 核心思想

PPO1 通过在目标函数中加入 KL 散度惩罚项来约束新旧策略的差异（约束策略更新的幅度）。KL 散度越大，说明新旧策略差距越大，从而会产生更强的惩罚，使更新幅度受限。
PPO1 是对 TRPO 的一种简化近似。与 TRPO 不同，PPO1 不再严格约束 KL 散度（即不做硬约束），而是在目标函数中加入一个 KL 散度惩罚项（soft constraint），使优化问题变为“软约束”形式。

3.2 PPO1算法的目标函数

PPO1算法的目标函数结合了策略改进目标和KL散度惩罚项：

$$J^{PPO1}(\theta )={\mathbb{E}}_t\left[r_t(\theta )A_t-\beta \cdot KL[{\pi }_{{\theta }_{old}}(\cdot |s_t)\Vert {\pi }_{\theta }(\cdot |s_t)]\right]$$

展开式可以表示为：

$$J^{PPO1}(\theta )={\mathbb{E}}_t\left[\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}{A}_t-\beta \sum _a{\pi }_{{\theta }_{old}}(a|s_t)\log \frac{{\pi }_{{\theta }_{old}}(a|s_t)}{{\pi }_{\theta }(a|s_t)}\right]$$

其中：

• ${\pi }_{\theta }$：参数化为$\theta$的新策略
• ${\pi }_{{\theta }_{old}}$：旧的策略（更新前的策略）
• $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}$ 是新旧策略的概率比率。
• $A_t$：时间步t的优势函数估计值
• $\beta$：KL散度的惩罚系数（可自适应调整，若 KL 散度超过一定范围，可增加惩罚强度。）
• $KL[{\pi }_{{\theta }_{old}}\Vert {\pi }_{\theta }]$：新旧策略之间的KL散度

这种方法避免了 TRPO 中复杂的共轭梯度优化， 可使用 普通的梯度下降 来更新参数，计算上更高效。
关于优势函数$A_t$的介绍请看我另一篇博客：广义优势估计（GAE）：PPO算法的核心技术与数学深度解析

3.2 PPO1算法的求解方法

PPO1算法的求解涉及以下步骤：

1. 初始化：初始化策略参数${\theta }_0$，设定初始KL惩罚系数${\beta }_0$
2. 数据收集：使用当前策略${\theta }_k$与环境交互，收集状态-动作-奖励数据
3. 优势估计：使用收集的数据计算优势函数估计值$A_t$
4. 优化目标函数：通过梯度上升优化带KL约束的目标函数：

$${\theta }_{k+1}=\arg \underset{\theta }{\max }{\mathbb{E}}_t\left[\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}{A}_t-{\beta }_k\cdot \text{KL}[{\pi }_{{\theta }_{\text{old}}}\Vert {\pi }_{\theta }]\right]$$

5. 自适应调整$\beta$：根据实际KL散度值调整惩罚系数，代码示例：

if kl < target_kl / 1.5:
	beta = beta / 2 # KL散度过小，减小惩罚
elif kl > target_kl * 0.5:
	beta = beta * 2 # KL散度过大，增加惩罚

7. 重复：重复步骤2-5直到收敛

基础知识：

• KL散度（Kullback-Leibler Divergence）：衡量两个概率分布之间的差异，是非负且不对称的
• 重要性采样：允许使用旧策略收集的数据来估计新策略的性能
• 优势函数：$A(s,a)=Q(s,a)-V(s)$，表示某个动作相对于平均水平的优势程度

3.3 PPO1算法总结

3.3.1优缺点

PPO1算法主要的算法思想：通过在目标函数中加入 KL 散度惩罚项来约束新旧策略的差异（约束策略更新的幅度）。KL 散度越大，说明新旧策略差距越大，从而会产生更强的惩罚，使更新幅度受限。
主要优点：提供了理论上的稳定性保证，适合对安全性要求高的应用。
主要缺点：计算相对复杂，需要计算KL散度并自适应调整惩罚系数，这增加了实现难度和计算开销。

3.3.2TRPO与PPO1的联系与区别

对比项	TRPO	PPO1
核心思想	限制策略更新在信任域内（硬约束）	在目标函数中加入 KL 惩罚项（软约束）
约束形式	$\mathbb{E}[D_{KL}]\le \delta$（显式约束）	$-\beta D_{KL}$（惩罚项）
优化方式	共轭梯度 + 二阶近似	一阶梯度下降即可
稳定性	理论上保证单调改进	稳定但需调整 β 参数
计算复杂度	较高，需要二阶信息	较低，更高效
收敛速度	稳定但较慢	更快、更灵活
提出关系	PPO 是对 TRPO 的简化与改进	是 TRPO 的一阶近似形式

换句话说：

PPO1 ≈ TRPO 的一阶近似（使用惩罚替代约束）

3.3.3总结性对比与理解

概念	数学约束角度理解	优化直觉
TRPO	在优化过程中显式控制 KL 散度上界	严格控制更新步长，不超出“安全区”
PPO1	把 KL 散度移入目标函数，用惩罚项限制更新	不直接约束，而是惩罚“偏离”
本质联系	PPO1 是 TRPO 的近似形式（用 penalty 代替 constraint）	二者目的相同：防止策略更新过大，保持训练稳定

4 深入理解PPO2算法

4.1 PPO2算法的目标函数

在 PPO2（Proximal Policy Optimization, Clip版本） 中，训练目标不仅仅是优化策略（Actor），
还要同时学习一个价值函数（Critic）并维持策略的探索能力（Entropy Regularization）。

因此，总的优化目标（总损失函数）由三部分组成：

$$L^{TOTAL}(\theta )=L^{ACTOR}(\theta )-c_1\cdot L^{CRITIC}(\varphi )+c_2\cdot L^{ENTROPY}(\theta )$$

其中：

• $L^{ACTOR}$：策略网络的目标（Policy / Actor Loss） ，控制策略更新幅度，使训练稳定并逐步新方向更准确。
• $L^{ENTROPY}$：熵正则项（Entropy Bonus） ，提高策略多样性，防止过快陷入局部最优。
• $c_1,c_2$：平衡三个目标的系数，通常 $c_1\approx 0.5$，$c_2\approx 0.01$

说明：符号上的正负号取决于实现框架（有的以最小化损失定义），但本质不变—> PPO2 同时追求高回报、准确价值估计与良好的探索。
PPO 同时要：
最大化策略的期望回报（policy objective）→ $L^{ACTOR}(\theta )$；
最小化价值函数预测误差（value function loss） → $L^{CRITIC}(\varphi )$；
最大化策略熵（entropy bonus） → $L^{ENTROPY}(\theta )$。

如果直接从「最大化问题」写成「最小化问题」，就需要对方向（正负号）做变换。

总损失函数的3个组成部分的简要对比

模块	数学表达式	主要作用	在训练中的功能
Actor (策略损失)	$$argma{x}_{\theta }{L}^{ACTOR}=\mathbb{E}[\min (r_t(\theta )A_t,\text{clip}(r_t(\theta ))A_t)]$$	提高策略性能，控制更新幅度	负责决策改进与更新稳定性
Critic (价值损失)	$$argmi{n}_{\varphi }{L}^{CRITIC}=\mathbb{E}[(V_{\varphi }-V{)}^2]$$	精确估计状态价值	降低方差，指导策略改进方向
Entropy (熵正则)	$$L^{ENTROPY}=\mathbb{E}[\mathcal{H}({\pi }_{\theta })]$$	鼓励策略探索	防止过早收敛，增加随机性

✅ 一句话总结：

PPO2 的总目标函数是“性能提升 + 稳定学习 + 保持探索”的平衡体，
通过三部分（Actor、Critic、Entropy）的加权组合实现鲁棒而高效的策略优化。

4.1.1 Actor Loss：策略裁剪损失函数

PPO2使用裁剪机制来约束策略更新，其中Actor损失函数是PPO2的核心组成部分：

$$L^{UNCLIP}(\theta )={\mathbb{E}}_t\left[r_t(\theta )A_t\right]$$

$$L^{CLIP}(\theta )={\mathbb{E}}_t\left[\min \left(r_t(\theta )A_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ)A_t\right)\right]$$

其中：

• $L^{UNCLIP}(\theta )$：不带裁剪的目标函数
• $L^{CLIP}(\theta )$：带裁剪的目标函数
• $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}$：新旧策略的概率比率，反映新策略相对于旧策略的变化程度
• $A_t$：优势函数，衡量当前动作相对于平均动作的优势
• $ϵ$：裁剪参数，控制更新幅度的小常数，通常设置为0.1-0.2
• $\min ()$：取两个值中的最小值，确保更新是悲观的，防止过度优化
• $\text{clip}()$：将比率限制在$[1-ϵ,1+ϵ]$范围内

关于优势函数$A_t$的介绍请看我另一篇博客：广义优势估计（GAE）：PPO算法的核心技术与数学深度解析

注意：
PPO2算法实际使用的是带裁剪的目标函数，之所以这里要给出不带裁剪的目标函数是为了体现出俩者目标函数在表达式上的区别，进而引出该目标函数的由来，如果读者感兴趣的话可以查看我另一篇关于梳理ppo2的目标函数发展历程的博客：强化学习策略梯度算法梳理：从REINFORCE到PPO2（REINFORCE、QAC、A2C、Off-Policy AC、PP01、PPO2）

4.1.1.1 损失函数的由来

请查看：强化学习策略梯度算法梳理：从REINFORCE到PPO2（REINFORCE、QAC、A2C、Off-Policy AC、PP01、PPO2）

4.1.1.2 裁剪机制

裁剪机制通过限制概率比率$r_t(\theta )$在$[1-ϵ,1+ϵ]$范围内，防止策略更新幅度过大。具体而言：

$$\text{clip}(r_t(\theta ),1-ϵ,1+ϵ)=\{\begin{array}{ll}1-ϵ& \text{if }{r}_t(\theta )<1-ϵ\\ 1+ϵ& \text{if }{r}_t(\theta )>1+ϵ\\ r_t(\theta )& \text{otherwise}\end{array}$$

4.1.1.3 取min操作

取min操作的目的是确保策略更新是"悲观的" - 只有当变化对性能有确信的改进时才进行更新。

示例：
假设$A_t>0$（该动作优于平均水平）：

• 如果$r_t(\theta )=2.0$（新策略选择该动作的概率是旧策略的2倍）
• $ϵ=0.2$，那么$\text{clip}(2.0,0.8,1.2)=1.2$
• $\min (2.0\times A_t,1.2\times A_t)=1.2\times A_t$
• 这样即使概率比率很高，我们也只使用1.2倍的$A_t$，防止过度更新

同理，如果$A_t<0$（该动作劣于平均水平）：

• 如果$r_t(\theta )=0.5$（新策略选择该动作的概率是旧策略的一半）
• $\text{clip}(0.5,0.8,1.2)=0.8$
• $\min (0.5\times A_t,0.8\times A极)=0.8\times A_t$（因为$A_t<0$，所以0.8 × A_t比0.5 × A_t更小）
• 这样我们使用0.8倍的$A_t$，防止过度降低该动作的概率

4.1.2 Critic Loss：值函数裁剪损失函数

注意：此处先给出损失函数的表达式，损失函数怎么来的请看 4.1.2.1小节

Critic 的目标函数有2个版本：

未裁剪版–Critic损失函数（un-clip）用于学习价值函数：
$$L_{\varphi }^{CRITIC-unclip}={\mathbb{E}}_t\left[(V_{\varphi }(s_t)-V_t^{target}{)}^2)\right]$$
裁剪版–Critic损失函数（clip）用于学习价值函数：
$$L_{\varphi }^{CRITIC-clip}={\mathbb{E}}_t\left[\max \left((V_{\varphi }(s_t)-V_t^{target}{)}^2,(V_{{\varphi }_{clip}}(s_t)-V_t^{target}{)}^2\right)\right]$$
$$V_{{\varphi }_{clip}}(s_t)=\text{clip}(V_{\varphi }(s_t),V_{{\varphi }_{old}}(s_t)-ϵ,V_{{\varphi }_{old}}(s_t)+ϵ)$$
$$V_t^{\text{target}}=A_t+V_{{\varphi }_{\text{old}}}(s_t)$$

其中：

• $V_{\varphi }(s_t)$：Critic网络对状态$s_t$的价值预测
• $V_{{\varphi }_{\text{old}}}(s_t)$：Critic网络对状态$s_t$的旧价值预测
• $V_{{\varphi }_{\text{clip}}}(s_t)$：裁剪后的价值预测
• $V_t^{target}$：目标价值（通常基于实际回报和Bootstrapping计算）
• $ϵ$：裁剪参数,（一般与Actor的$ϵ$相同）

4.1.2.1 损失函数的由来

注意：本小节以未裁剪的Critic loss为例

在强化学习中，Critic 网络的任务是预测状态的真实价值函数：
$$V^{\pi }(s_t)={\mathbb{E}}_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k}|s_t\right]$$

Critic 的目标是学习一个值函数$V_{\varphi }(s_t)$，使其接近当前策略$\pi$下的真实的价值函数$V^{\pi }(s_t)$。通常使用均方误差 (MSE) 作为损失函数：
$$L_{\varphi }^{CRITIC-unclip-\pi }={\mathbb{E}}_t\left[(V_{\varphi }(s_t)-V^{\pi }(s_t){)}^2)\right]$$

然而，这个“真实值”没法直接获得，因为未来是未知的，我们只能基于采样到的轨迹经验来近似计算这个期望值$V^{\pi }(s_t)$，于是定义了训练时使用的目标价值（Target Value）：
$$V_t^{\text{target}}=A_t+V_{{\varphi }_{\text{old}}}(s_t)$$

它是 Critic 的“学习目标”，用以近似模型希望预测的真实状态价值。关于$V_t^{\text{target}}$的计算请看4.1.2.3小节

所以在Critic 的目标就变成了：学习一个值函数$V_{\varphi }(s_t)$，使其接近实际的回报$V_t^{target}$。即：$$L_{\varphi }^{CRITIC-unclip}={\mathbb{E}}_t\left[(V_{\varphi }(s_t)-V_t^{target}{)}^2)\right]$$

4.1.2.2 目标价值$V_t^{target}$的由来和计算

我们前面提到目标价值$V_t^{\text{target}}$是Critic 的“学习目标”，用以近似模型希望预测的真实状态价值$V^{\pi }(s_t)$。那么$V_t^{\text{target}}$的表达式应该是什么样的呢？一个很自然的想法引入时序差分的思想，用即时奖励加上下一状态的折扣价值来近似真实的状态价值，

即单步TD目标：
$$V_t^{\text{target}}=r_t+\gamma V_{{\varphi }_{\text{old}}}(s_{t+1})$$
其中：

• $r_t$：当前步奖励；
• $\gamma$：折扣因子（通常为 0.99）；
• $V_{{\varphi }_{\text{old}}}(s_{t+1})$：旧 Critic 网络对下一状态的价值预测。

然而，上式只使用了与环境的单步交互获取的经验，这会导致$V_t^{\text{target}}$对$V^{\pi }(s_t)$的近似呈现高偏差低方差的特点

另一个想法是，引入蒙特卡洛的思想，用一整个回合的总折扣回报来近似真实的状态价值

即MC目标：
$$V_t^{\text{target}}=G_t^{(n)}=\sum _{k=0}^{n-1}{\gamma }^k{r}_{t+k}$$

然而，上式会导致$V_t^{\text{target}}$对$V^{\pi }(s_t)$的近似呈现低偏差高方差的特点

所以，结合广义优势估计（GAE)的思想， 对n步目标的做加权，平均兼顾偏差和方差，则有

GAE目标：
$$\boxed{V_t^{\text{target}}=A_t^{GAE(\gamma ,\lambda )}+V_{{\varphi }_{\text{old}}}(s_t)}$$

$$A_t^{GAE(\gamma ,\lambda )}=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}$$

其中：
当$\lambda$→0时，$V_t^{\text{target}}$→单步TD目标，此时偏差大方差小
当$\lambda$→1时，$V_t^{\text{target}}$→MC目标，此时偏差小方差大
当0 < $\lambda$ < 1时，是 n 步目标的几何加权平均，以平衡偏差与方差（PPO 通常取 $\lambda$ = 0.95）。

GAE目标如何推导得到?

定义 TD 残差（Temporal Difference Error）：
$${\delta }_t=r_t+\gamma V_{{\varphi }_{\text{old}}}(s_{t+1})-V_{{\varphi }_{\text{old}}}(s_t)$$

定义 广义优势估计（GAE）：
$$A_t=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}$$

展开可得：
$$A_t=G_t^{(\lambda )}-V_{{\varphi }_{\text{old}}}(s_t)$$

其中：
$$G_t^{(\lambda )}=(1-\lambda )\sum _{n=1}^{\infty }{\lambda }^{n-1}{G}_t^{(n)})$$

$$G_t^{(n)}=\sum _{l=0}^{n-1}{\gamma }^l{r}_{t+l}+{\gamma }^n{V}_{{\varphi }_{\text{old}}}(s_{t+n})$$

$G_t^{(\lambda )}$就是所谓的 $\lambda$-回报（$\lambda$-return），它是所有 n 步 TD 目标的加权平均。

由此可得：
$$A_t=G_t^{(\lambda )}-V_{{\varphi }_{\text{old}}}(s_t)$$

等号两边同时加上 $V_{{\varphi }_{\text{old}}}(s_t)$：
$$A_t+V_{{\varphi }_{\text{old}}}(s_t)=G_t^{(\lambda )}$$

于是得到目标价值：
$$\boxed{V_t^{\text{target}}=A_t+V_{{\varphi }_{\text{old}}}(s_t)=G_t^{(\lambda )}}$$

即目标价值其实就是 λ-return。

为什么$V_t^{\text{target}}$可以有效地近似$V^{\pi }(s_t)$?

• 统计视角直观地理解：
  当 $V_{{\varphi }_{\text{old}}}$越接近真值，${\delta }_t$ 的期望越趋近 0， 则 $V_t^{\text{target}}$ 的期望越接近真实状态价值 $V^{\pi }(s_t)$

4.1.2.3 Critic loss的裁剪机制

裁剪机制与Actor loss的裁剪机制类似，是为了限制值函数更新的幅度，防止价值估计变化过大。

$$V_{{\varphi }_{clip}}(s_t)=\text{clip}(V_{\varphi }(s_t),V_{{\varphi }_{old}}(s_t)-ϵ,V_{{\varphi }_{old}}(s_t)+ϵ)=\{\begin{array}{ll}{V}_{{\varphi }_{old}}(s_t)-ϵ& \text{if }{V}_{\varphi }(s_t)<V_{{\varphi }_{old}}(s_t)-ϵ\\ V_{{\varphi }_{old}}(s_t)+ϵ& \text{if }{V}_{\varphi }(s_t)>V_{{\varphi }_{old}}(s_t)+ϵ\\ V_{\varphi }(s_t)& \text{otherwise}\end{array}$$

4.1.2.4 取max操作

首先一句话总结取max操作的作用：确保我们使用更保守的更新值，防止价值函数的不稳定变化。

下面我们来拆解为什么会有这个作用：

Critic Loss的单步损失为：
$${\ell }_t(\varphi )=\max ((V_{\varphi }(s_t)-V_t^{\text{target}}{)}^2,(V_{{\varphi }_{\text{clip}}}(s_t)-V_t^{\text{target}}{)}^2)$$

我们做的事情是：
比较原始误差项：$(V_{\varphi }(s_t)-V_t^{target}{)}^2$ 和 裁剪误差项：$(V_{{\varphi }_{clip}}(s_t)-V_t^{target}{)}^2$
取两者中较大的值（即max操作）

其中：

• $V_{\varphi }(s_t)$：Critic网络对状态$s_t$的价值预测
• $V_{{\varphi }_{\text{old}}}(s_t)$：Critic网络对状态$s_t$的旧价值预测
• $V_t^{target}$：目标价值（通常基于实际回报和Bootstrapping计算）
• $ϵ$：裁剪参数,（一般与Actor的$ϵ$相同）
• $V_{{\varphi }_{\text{clip}}}(s_t)$：裁剪后预测
  • 其表达式为： $V_{{\varphi }_{\text{clip}}}(s_t)=\text{clip}\left(V_{\varphi }(s_t),V_{{\varphi }_{\text{old}}}(s_t)-ϵ,V_{{\varphi }_{\text{old}}}(s_t)+ϵ\right)$
    所以，裁剪误差项也可以记为：$(V_{{\varphi }_{clip}}(s_t)-V_t^{target}{)}^2=(\text{clip}(V_{\varphi }(s_t),V_{{\varphi }_{old}}(s_t)-ϵ,V_{{\varphi }_{old}}(s_t)+ϵ)-V_t^{target}{)}^2$

为什么用 max？它发挥了什么作用？

一句话：max 保证“别靠裁剪来降低损失”。

上一小节我们提到：
$V_t^{\text{target}}=A_t+V_{{\varphi }_{\text{old}}}(s_t)$

在算法迭代过程中：
当 $V_{\varphi }(s_t)$ 跳得太猛时（即$V_{\varphi }(s_t)离V_{{\varphi }_{old}}(s_t)$远时），会越界（超过允许范围）触发裁剪。
裁剪会把它“夹回去”（$V_{{\varphi }_{clip}}(s_t)离V_{{\varphi }_{old}}(s_t)$更近）。
那么，显然有$V_{\varphi }(s_t)$跳的比$V_{{\varphi }_{clip}}(s_t)$远
此时，$V_{\varphi }(s_t)$相比于$V_{{\varphi }_{clip}}(s_t)$可能有2种结果，①越界但“离目标更近” ②越界且“目标更远”
如果出现情况②，会使得$V_{\varphi }(s_t)$ 跳得越远越容易触发裁剪，裁剪比未裁剪里离目标更近，于是鼓励大跳步，越跳越远
如果出现情况①，也会鼓励大跳步，步子越变越大，刚开始可能快速接近目标，然后刹不住车，变成情况②
所以，如果我们直接用裁剪后的价值网络$V_{{\varphi }_{\text{clip}}}(s_t)$训练，可能出现“越跳越远，离目标价值越近，critic误差越小”的假象

综上，max 的作用就是：对于$V_{\varphi }(s_t)$和$V_{{\varphi }_{clip}}(s_t)$，谁离$V_t^{\text{target}}$远，谁的Critic loss就大，谁的Critic loss大就用谁的，从而“惩罚”过度跳跃，避免模型“利用裁剪降低损失”。

更具体地说：

1. 在允许范围内（未触发裁剪）
   $V_{\varphi }(s_t)\in [V_{{\varphi }_{\text{old}}}-ϵ,V_{{\varphi }_{\text{old}}}+ϵ]$
   此时 $V_{{\varphi }_{\text{clip}}}(s_t)=V_{\varphi }(s_t)$，两项相等，max 不起额外作用，和普通的 MSE 一致。

2. 越界但“朝向目标”那一侧（容易被利用的情形）
   $V_{\varphi }(s_t)$ 超过裁剪边界，且裁剪后的 $V_{{\varphi }_{\text{clip}}}(s_t)$ 更接近目标值。
   如果只用裁剪误差训练，优化器会“发现”大胆越界可以让（被裁剪后的）损失更小，于是鼓励过度更新。
   max 强制用原误差（更大的那一个）来训练，惩罚越界行为，杜绝“钻裁剪空子”。

3. 越界且“远离目标”那一侧
   不论是否裁剪，误差都大；max 会选更大的那项，进一步对过度偏移施压，形成硬约束。

比喻：裁剪像“护栏”，max 像“罚分器”。撞到护栏（越界）不光不加分，还要多扣分，模型自然就不想老撞护栏了。

---

4.1.3 熵正则项

熵正则项鼓励探索，防止策略过早收敛到局部最优：

$$L^{ENTROPY}=\beta \cdot {\mathbb{E}}_t\left[\sum _a{\pi }_{\theta }(a|s_t)\log {\pi }_{\theta }(a|s_t)\right]$$

其中：

• $\beta$：熵正则项的权重系数
• ${\sum }_a{\pi }_{\theta }(a|s_t)\log {\pi }_{\theta }(a|s_t)$：策略的熵，衡量策略的随机性

4.1.3.2 熵正则项的作用机制

1.1 离散动作（Categorical/Softmax）策略
若策略为分类分布 ${\pi }_{\theta }(a|s)=p_a$，则
$$\mathcal{H}({\pi }_{\theta }(\cdot |s))=-\sum _a{p}_a\log p_a$$

若存在任意的a，当$p_a\to 1$, 则$\log p_a\to 0$, 此时有$\mathcal{H}\to 0$，
因为${\sum }_a{p}_a=1$，所以当所有的$p_a$的值互相之间相差很小时，$\mathcal{H}\to max$

直观理解：当各动作的概率越均匀（接近均匀分布），熵越大；概率越集中，熵越小。

log的函数图像如下：

1.2 连续动作（高斯策略）
常见设定：${\pi }_{\theta }(a|s)=\mathcal{N}({\mu }_{\theta }(s),{\Sigma }_{\theta }(s))$，若协方差对角（对每个维度 ${\sigma }_i^2$ 独立）：
$$\mathcal{H}({\pi }_{\theta }(\cdot |s))=\frac{1}{2}\sum _{i=1}^k\left(1+\log (2\pi {\sigma }_i^2(s))\right)=\frac{k}{2}(1+\log 2\pi )+\sum _{i=1}^k\log {\sigma }_i(s).$$

关键点：熵与 $\sigma$（标准差）单调相关；更大的方差意味着更大的熵、更强的探索。

熵正则项通过增加策略的随机性来促进探索：

• 当策略趋于确定性时（熵值低），熵正则项会惩罚策略，鼓励探索其他动作
• 当策略随机时（熵值高），熵正则项的惩罚较小
• 通过调整$\beta$可以控制探索与利用的平衡

4.1.3.2 熵在优化中如何发挥作用（梯度/更新机制）

1 离散动作的直觉梯度效应
熵为 $\mathcal{H}=-{\sum }_a{p}_a\log p_a$，对 $p_a$ 的梯度为
$$\frac{\partial \mathcal{H}}{\partial p_a}=-(\log p_a+1).$$

• 当 $p_a$ 很小（罕见动作）时，$\log p_a$ 很负，$-(\log p_a+1)$ 变大 ⇒ 提升小概率动作的概率。
• 当 $p_a$ 很大（常选动作）时，$-(\log p_a+1)$ 变小 ⇒ 抑制过度确定性。
  配合 softmax 链式法则，对 logits 的梯度会把过分尖锐的分布拉回更平滑、更多样。

2 连续动作的方差推动
对高斯策略，$\mathcal{H}$ 对 $\log {\sigma }_i$ 的导数为常数 1（见上式的最后一项），
因此熵奖励会直接推动标准差增大。这使策略在无明显优势（advantage 微弱或噪声大）时保持更大的探索半径；当优势信号稳定一致时，策略仍可凭借 Actor 损失收敛变“窄”。

3 与策略梯度的叠加
以 PPO2（Clip）为例，Actor 损失（需最大化）为
$$L^{ACTOR}(\theta )=\mathbb{E}\left[\min (r_t(\theta ){\hat{A}}_t,\mathrm{clip}(r_t,1-ϵ,1+ϵ){\hat{A}}_t)\right],$$
加入熵奖励后（同样是最大化目标）
$$L^{TOTAL}=L^{ACTOR}-c_1{L}^{CRITIC}+c_2\mathbb{E}[\mathcal{H}({\pi }_{\theta })].$$
因此总梯度中出现一项 $+c_2{\nabla }_{\theta }\mathbb{E}[\mathcal{H}]$，
这项会在“Actor 想要把分布变尖（利用）”与“熵想要把分布变宽（探索）”之间形成张力，使训练在探索/利用之间自动权衡。

4.1.3.3 实践细节与常见技巧

1. 系数调度（Entropy Coefficient Scheduling）

   • 训练早期：$c_2$ 可稍大，鼓励广泛探索；
   • 训练后期：逐步减小 $c_2$（线性或指数衰减），让策略更专注利用。

2. 目标熵（Target Entropy）/ 自适应调整

   • 设定一个期望的熵水平 ${\mathcal{H}}_{\text{target}}$，根据当前熵与目标熵的偏差自适应更新 $c_2$（SAC 等算法中常见思想）。
   • 在 PPO2 中同样可借鉴：若熵低于目标，增大 $c_2$；反之减小。

3. 尺度选择

   • $c_2$ 过大 ⇒ 策略一直很散，难以收敛；
   • $c_2$ 过小 ⇒ 容易过早确定性，陷入局部最优或多样性不足。
   • 经验范围：$c_2\in [10^{-3},10^{-2}]$ 常见（需按任务/回报尺度调整）。

4. 与 Advantage 估计的协同

   • 当 ${\hat{A}}_t$ 噪声较大或符号不稳定时，熵帮助避免策略被偶发高估牵着走；
   • 当 ${\hat{A}}_t$ 稳定且方向一致时，Actor 梯度占主导，策略仍会逐步从“宽”变“窄”。

4.2 PPO2算法的算法流程

PPO2算法的详细流程如下：

1. 初始化：初始化策略参数${\theta }_0$和价值函数参数${\varphi }_0$
2. 数据收集：使用当前策略${\pi }_{{\theta }_{old}}$与环境交互，收集多个episode的数据
3. 优势估计：使用GAE（Generalized Advantage Estimation）计算优势估计值：

$${\hat{A}}_t=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}$$
$${\delta }_t=r_t+\gamma V(s_{t+1})-V(s_t)$$

4. 更新策略：对K个epoch执行：
   • 将数据分成M个minibatch
   • 对每个minibatch，计算并最大化裁剪目标函数
5. 重复：重复步骤2-4直到收敛

4.2.1 使用GAE的优势函数计算

广义优势估计（GAE）结合了多步TD误差的优势：

$${\hat{A}}_t^{GAE}=\sum _{l=0}^{T-t-1}(\gamma \lambda {)}^l{\delta }_{t+l}$$

其中：

• $\gamma$：折扣因子
• $\lambda 极$：GAE参数（介于0和1之间）
• ${\delta }_t=r_t+\gamma V(s_{t+1})-V(s_t)$：TD误差

4.3 PPO2算法核心概念解释

4.3.1 关键概念解释

• Epoch：完整遍历整个数据集的次数。在PPO中，我们使用同一批数据更新多次策略
• Rollout：从环境中收集经验的过程，通常包括多个episode或一定时间步的数据
• Clip：裁剪操作，限制概率比率或价值更新的幅度，确保稳定性
• Minibatch：将大数据集分成小批量，用于随机梯度下降
• Shuffle：随机打乱数据顺序，防止训练过程中的偏差
• Episode：从初始状态到终止状态的完整序列
• GAE：广义优势估计，通过结合多步TD误差来减少方差同时保持偏差较小
• 阻止跨episode累积：确保在计算回报和优势时，不混合不同episode的数据

4.3.2 示例说明

考虑CartPole环境（平衡杆游戏）：

• 状态：小车位置、速度、杆角度、角速度
• 动作：向左或向右推小车
• 奖励：每步保持平衡获得+1奖励

Rollout过程：

1. 使用当前策略与环境交互256个时间步，收集(s, a, r, s’)数据
2. 计算每个状态的价值估计$V(s)$
3. 使用GAE计算优势估计${\hat{A}}_t$

Minibatch和Shuffle：

• 将256个时间步的数据随机打乱
• 分成4个minibatch，每个包含64个时间步的数据

Epoch更新：

• 对每个minibatch计算损失并更新策略
• 重复4个epoch，共16次更新

Actor Loss的Clip操作：

• 对于每个动作，计算概率比率$r_t(\theta )=\frac{{\pi }_{new}(a_t|s_t)}{{\pi }_{old}(a_t|s_t)}$
• 如果$A_t>0$，限制$r_t(\theta )$不超过1.2
• 如果$A_t<0$，限制$r_t(\theta )$不低于0.8

GAE计算：

• 设置$\gamma =0.99$, $\lambda =0.95$
• 计算TD误差：${\delta }_t=r_t+0.99\times V(s_{t+1})-V(s_t)$
• 计算GAE：${\hat{A}}_t={\delta }_t+0.99\times 0.95\times {\delta }_{t+1}+(0.99\times 0.95{)}^2\times {\delta }_{t+2}+\cdots$

阻止跨episode累积：

• 当遇到终止状态时，将后续的价值和优势计算清零
• 确保不将不同episode的数据混合计算

4.4 例子（ppo2算法解决平衡杆小车问题）

例子：ppo2算法解决平衡杆小车问题

说明：

1. 该案例将PPO2算法（ppo-clip）应用于解决Cartpole问题，给出ppo算法的想法思想和常用的ppo优化技巧，给出了python编码实现ppo2算法的细节
2. 平衡杆小车问题简介
   Cartpole是一种经典的控制问题，旨在通过对一个倒立摆系统的控制，使之保持平衡状态。该系统由一个固定在水平轴上的小车和一个垂直安装的杆组成。杆连接到小车上的铰链处，通过对小车施加水平力来控制杆的运动。
   

4.5 PPO2算法总结

PPO2算法通过裁剪机制约束策略更新幅度，在保持训练稳定性的同时实现了高效优化。其主要优点包括：

1. 实现简单，无需复杂约束优化
2. 计算高效，适合大规模应用
3. 超参数少，易于调参
4. 在大多数任务中表现良好

PPO2已成为强化学习领域的基准算法之一，在从游戏AI到机器人控制的各种应用中表现出色。

5 总结

PPO算法通过引入约束机制解决了传统策略梯度方法的不稳定问题，在强化学习领域做出了重要贡献。PPO1使用KL散度惩罚来约束策略更新，提供了理论上的稳定性保证；而PPO2采用更简单的裁剪机制，在实践中表现更好且更易于实现。

PPO算法的关键创新在于：

1. 使用重要性采样实现样本高效利用
2. 通过约束机制（KL散度或裁剪）控制更新幅度
3. 结合价值函数学习减少方差
4. 支持并行数据收集提高效率

随着强化学习的发展，PPO算法仍在不断改进和扩展，如应用于多智能体系统、结合模仿学习等，未来将继续在各种决策智能任务中发挥重要作用。

附录：PPO2算法Python实现示例

代码请看
ppo-clip算法解决平衡杆小车问题

效果示例：

后记

在deepseek、GPT5辅助下完成。