无需依赖外部反馈或额外模型，纯纯的自我纠正。

自我纠正（Self-correction）是大语言模型 (LLM) 非常重要的能力，但人们发现这种能力在现代 LLM 中基本上很少存在。现有的训练自我纠正的方法要么需要多个模型，要么依赖于更强大的模型或其他形式的监督。

我们如何才能让 LLM 具备自我纠正能力？之前的研究要么依赖于提示工程，要么依赖于专门用于自我纠正的微调模型。但前者通常无法有效地进行有意义的内在自我纠正，而后者基于微调的方法需要在推理时运行多个模型，例如需要 oracle「教师」来监督指导自我纠正过程。

在最近提交的一篇论文中，来自 Google DeepMind 的研究者开发了一种无需上述任何要求即可有效进行自我纠正的方法，即通过强化学习进行自我纠正（SCoRe，Self-Correction via Reinforcement Learning)，只需训练一个模型，该模型既可以对推理问题做出响应，也可以纠正错误，尽管没有收到任何 oracle 反馈。更重要的是，SCoRe 完全通过在自生成数据上进行训练来教模型具备这种能力，而无需任何 oracle。

• 论文标题：Training Language Models to Self-Correct via Reinforcement Learning

• 论文地址：https://arxiv.org/pdf/2409.12917

本文主要贡献在于提出了一种多轮强化学习方法 ——SCoRe，用于教 LLM 如何纠正自己的错误。相对于基础 Gemini 模型，SCoRe 在 MATH 推理问题的自我纠正方面获得了 15.6% 的增益，在 HumanEval 编码问题上获得了 9.1% 的增益。

SCoRe 原理介绍

为了教 LLM 进行自我纠正，SCoRe 将标准单轮强化学习（公式 2）扩展到 Zhou 等人提出的分层框架下的多轮设置。

不过这样做面临诸多挑战。首先，优化公式 1 解决了分布偏移问题，但尚不清楚它是否也能满足要求 [D2]。

这里的 [D2] 如下图所示，图中展示了 SFT 方法失败的两个原因。而有效的解决方案必须满足两个要求：[D1] 模型应该直接在自生成轨迹上进行训练，以缓解 SFT 的分布不匹配（图 4），[D2] 所采用的自生成轨迹应防止在学习过程中因进行微小编辑而崩溃。

作者开发了一种在线 RL 方法，通过仔细的初始化和奖励塑造来解决这些挑战。

其次用于微调的基础模型初始化在编辑距离上呈现出高度倾斜的分布（图 3a），这使得它们容易受到模式崩溃的影响，这是深度强化学习中一个常见的问题。即使基础模型可以在自我校正过程中产生编辑距离比倾斜度较小的分布，但仍然需要强化学习训练过程从训练数据中学习一种可以推广到测试提示的自我校正策略。

SCoRe 旨在解决上述关键挑战，其分为两个阶段，这两个阶段都是通过适当初始化模型和控制后续 RL 使模型偏向学习自我纠正。

具体而言，这两个阶段包括：

阶段 I：训练模型初始化以防止崩溃

SCoRe 第一阶段的目标是通过提高基础模型对第二次尝试响应的覆盖率来获得良好的模型初始化，以便后续自我纠正训练不会出现 STaR/SFT 中观察到的崩溃现象。

为了达到此目的，该研究不采用 SFT 来初始化 RL 训练，而是开发了第一阶段来产生不易崩溃的单独初始化。

作者微调基础模型，以便在第二次尝试时产生高奖励修正，同时通过使用 KL 散度将第一次尝试的响应分布限制为尽可能接近基础模型的响应分布，从而强制模型不改变其第一次尝试的响应。虽然这看起来不是最优的 —— 但第一次尝试的响应错误较少，可以纠正为更好的第二次尝试响应。优化的目标可以表示为：

其中 𝛽_2 是一个超参数，旨在仅在第一次尝试时强制执行严格的 KL 惩罚，以避免第一轮响应发生偏移（用蓝色项表示）。请注意，作者仍然使用公式 2 中的默认 KL 散度惩罚，但该惩罚的权重要小得多，并且为了简洁起见，公式 3 中省略了它。事实上，与简单的多轮 RL 不同，阶段 I 在分离两个响应方面更有效（图 5b）。

阶段 II：带有奖励的多轮强化学习

借助第一阶段的模型初始化，该模型在耦合两个响应时表现出更小的偏差，SCoRe 的第二阶段现在可以训练两次尝试的响应，并根据公式 1 优化奖励。当然，作者还希望确保在此过程中不会降低第一次尝试的响应。因此，对于两轮自我纠正问题，作者针对以下目标训练策略 𝜋_𝜃(⋅∣⋅)：

图 6 为阶段 I、阶段 II 流程说明。可以看出 SCoRe 以交错方式应用阶段 I 和 II 进行多次迭代。

实验评估

该研究进行了一系列实验，来验证 SCoRe 在教 LLM 具备自我纠正能力方面的有效性，并通过消融实验探索了 SCoRe 的每个组件的影响。

该研究主要关注数学和编码任务，使用以下基准来评估方法的有效性：

• MATH；

• MBPP 和 HumanEval。

几种方法在 MATH 基准上的实验评估结果如下表 3 所示：

在代码生成方面，实验结果如下表 4 所示：

消融研究

为了探究以下几个问题，该研究进行了消融实验：

• 多轮训练的重要性

• 多阶段训练的重要性

• 奖励函数设计（reward shaping）的影响

• on-policy 强化学习的重要性

消融实验结果如下表 5 所示：

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】