📖标题：CE-GPPO: Controlling Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning
🌐来源：arXiv, 2509.20712

🌟摘要

强化学习 (RL) 已成为优化大型语言模型 (LLM) 以处理复杂推理任务的强大范式。此过程的核心挑战在于管理策略熵，它反映了训练期间探索和开发之间的平衡。现有的方法，如近端策略优化(PPO)及其变体，由于裁剪机制，从低概率标记中丢弃有价值的梯度信号。我们系统地分析了熵动力学，并揭示了这些剪切标记在调节熵演化方面发挥了关键而被忽视的作用。我们建议通过梯度保持策略优化 (CE-GPPO) 来控制熵，这是一种新颖的算法，它以温和且有界的方式从本地 PPO 中的裁剪标记重新引入梯度。通过控制裁剪间隔外标记的梯度大小，CE-GPPO 能够实现勘探开发权衡。我们提供了理论论证和经验证据，表明 CE-GPPO 有效地减轻了熵不稳定性。在数学推理基准上的广泛实验表明，CE-GPPO 在不同的模型尺度上始终优于强基线。项目在https://github.com/Kwai-Klear/CE-GPPO

🛎️文章简介

🔸研究问题：如何有效控制强化学习中的策略熵动态，以避免熵崩溃和提高模型性能？
🔸主要贡献：论文提出了CE-GPPO算法，通过保持超出剪切区间的梯度，以精细控制政策熵并确保更新稳定性，从而改善了强化学习的探索与利用平衡。

📝重点思路

🔸通过分析策略熵的动态行为，识别不同梯度更新模式，并提出一种新的梯度保持剪切策略。
🔸引入CE-GPPO算法，将超出剪切区间的梯度合并，以明确调节熵的动态。
🔸使用止梯度操作解耦前向和反向传播，以确保策略在训练过程中的稳定性。
🔸实验设置包括在不同β参数配置下的训练，以观察熵的变化对模型性能的影响。

🔎分析总结

🔸CE-GPPO有效防止熵崩溃，并在整个训练过程中保持策略熵的稳定，从而提升模型性能。
🔸实验结果表明，CE-GPPO在多个基准任务上超越现有的强化学习算法，尤其在应对较具挑战性的任务时表现尤为突出。
🔸较大的权重β1和β2分别对应于利用和探索，这种参数设置直接影响熵的演化，从而调节训练过程中的探索与利用平衡。
🔸与其他方法相比，CE-GPPO在提高梯度利用效率的同时，确保了训练的稳定性进而避免了模型崩溃。

💡个人观点

论文核心是在强化学习中通过梯度策略实现了更有效的熵管理，不仅提高了模型的探索能力，还有效防止了熵崩溃。

🧩附录