Self-Distillation & Self-Improvement

研究背景与动机

[[在线策略蒸馏]]（On-Policy Distillation，OPD）是一种通过让学生智能体在自己的轨迹上匹配更强教师策略来训练学生策略的方法，近年来在 [[语言智能体]]训练中展现出巨大潜力。然而，当这一范式扩展到 [[长视野任务]]时，效率问题便逐渐暴露出来。

具体而言，传统 OPD 存在两类显著的效率瓶颈。第一类问题出在滚动执行阶段：为了生成完整的训练轨迹，智能体需要进行全视野滚动——即从任务开始一直执行到回合结束。在长时序任务中，这意味着大量计算资源被消耗在回合的后半段。然而，论文发现此时教师策略提供的 [[KL 散度]] 监督信号往往既微弱又充满噪声，因为教师在面对学生偏离自身训练分布的状态时，输出的概率分布会变得平坦，区分度大幅降低。换言之，尾部轮次的「教学」质量堪忧，却仍占用了与前期轮次相同的计算成本。

第二类问题则体现在损失函数层面：传统的轨迹级 [[KL 散度]] 损失天然地将大部分权重放在了序列前端的浅层词元上——因为这些词元（尤其是系统提示和任务描述部分）在所有轨迹中都是共享的高频词元。当这些浅层行为在早期训练中已经完成对齐之后，后续深度决策轮次的优化便陷入了「被遗忘」的困境，导致智能体在真正需要精细决策的关键节点上训练不足。

这两个问题共同构成了 TurnOPD 的研究动机：如何让训练预算在轮次维度上实现更合理的分配，既避免在低价值尾部轮次上浪费资源，又确保深层决策轮次获得足够的监督信号？

方法

TurnOPD 的核心思路是将训练预算的分配决策从静态固定转向轮次级自适应的动态调整，并在损失加权层面实现从 token 级监督到轮次级监督的渐进过渡。整个框架由两个协同工作的预算控制器组成。

第一个控制器：自适应滚动深度预算分配器

直觉上，我们希望在训练过程中动态决定「滚到哪一轮就停下来」的策略。论文采用了基于探针的方法来获取轮次级统计信息。具体而言，控制器会维护一个探针机制，在每轮滚动开始前对当前对话状态进行评估，估计继续执行下去的预期收益与成本之比。当该比值低于某个自适应阈值时，滚动便提前终止。这个阈值的调整则依赖于对历史轮次KL监督信号强度的统计分析——如果过去几轮的KL值持续处于低位，说明已经进入低效区域，可以适当提前截断。

这一设计的巧妙之处在于：它不依赖人工预设的固定深度，而是根据当前任务状态和教师表现动态适配。不同的任务场景、不同的训练阶段都可能对应不同的最优截断点。

第二个控制器：渐进式轮次归一化损失预算分配器

即便滚动长度被合理控制，轨迹级KL损失仍会天然地向浅层词元倾斜。TurnOPD 的解决方案是逐步将损失加权模式从标准的 token 级归一化转变为轮次均衡的归一化方式。在训练初期，系统仍以传统 token 级 KL 为主，保证基础行为模式快速收敛；随着训练推进，加权机制逐步过渡，使得每个决策轮次对总损失的贡献趋于均衡。这一过渡过程由一个调度函数控制，确保平稳过渡而非突变。

形式化地，若设第 $t$ 轮第 $i$ 个 token 的 KL 散度为 $D_{t,i}$，传统 token 级归一化可表示为 $\frac{1}{|\mathcal{T}|}{\sum }_t\frac{1}{|t|}{\sum }_i{D}_{t,i}$，而轮次均衡版本则为 $\frac{1}{|\mathcal{T}|}{\sum }_t{\sum }_i{D}_{t,i}$，即去除 token 维度的平均，直接在轮次维度做等权聚合。渐进式调度则是在这两个目标之间插值：

其中 $\alpha$ 随训练步数单调递增，从 0 逐渐趋近于 1。

实验与结果

论文在三个代表性 benchmark 上验证了 TurnOPD 的有效性：ALFWorld（具身推理）、WebShop（网页交互）、Multi-Hop Search（多跳信息检索）。这些任务的共同特点是任务流程较长，需要多轮决策才能完成，对智能体的长视野规划能力有较高要求。

实验采用任务专用的 [[语言模型]]作为教师，学生模型则在相同的基础架构上进行从头蒸馏。关键在于，所有对比方法使用相同的时钟训练预算（wall-clock time），而非相同的步数或 episode 数——这一设置更贴近实际部署场景，因为实际成本往往以时间计算。

实验结果呈现出一致的趋势：在 ALFWorld 上，TurnOPD 相比 vanilla OPD 在相同训练时间内准确率提升约 12 个百分点；在 WebShop 上，提升约为 8 个百分点；在 Multi-Hop Search 上，优势同样显著。更为重要的是，TurnOPD 的 accuracy-time 曲线始终位于传统 OPD 的上方和左侧——这意味着它同时实现了更快的收敛速度和更高的渐近性能。

消融实验进一步表明，两个控制器的作用是互补的：自适应滚动深度主要在训练早期节省无效计算，使智能体更快进入高质量交互阶段；而渐进式轮次归一化则确保后期深层决策轮次获得充足优化，提升最终任务完成质量。两者缺一不可。

讨论与可借鉴点

TurnOPD 的贡献在于揭示了 OPD 在长视野场景下的效率不均衡问题，并通过轮次级预算分配的视角提供了可行的解决路径。这一洞察具有超越具体实现的启发意义：当我们训练需要长时序决策的智能体时，不应将所有轮次等同视之，而应识别哪些轮次真正在「教学」、哪些只是在消耗资源。

从可借鉴的角度，论文的探针式自适应截断策略值得在更多场景中尝试——无论是其他基于 roll-out 的训练范式，还是需要动态决定计算量分配的强化学习设置。渐进式归一化的思想同样具有普适性：当任务天然具有层级结构（轮次→token）时，损失加权应当与这一结构相匹配，而非被数据的统计特性所主导。

局限性方面，TurnOPD 的两个控制器引入了额外的超参数（如探针阈值、调度函数形式），虽然论文提供了默认配置，但不同任务仍可能需要调优。此外，探针机制本身带来了一定的计算开销，在极端算力受限场景下，这一开销是否值得仍需权衡。

总体而言，TurnOPD 将 OPD 从「全轨迹等权训练」推进到「轮次感知自适应训练」的新阶段，为长视野 [[智能体]] 的高效蒸馏开辟了可扩展的方向。

研究背景与动机

理解视觉系统如何表示几何信息是计算机视觉的核心问题之一。近年来，[[自监督学习]]范式下的视觉模型取得了显著进展，其中DINOv2和MAE是两个代表性工作。这些模型在像素级预测任务（如深度估计、边缘检测、表面法线预测）上展现出强大能力，但它们的内部表示机制尚不清楚——我们只知道"好用"，却不知道"为什么好用"。

传统评估几何表示的方法是[[线性探测]]：冻结主干网络的权重，训练一个简单的线性层从特征预测几何属性。这种方法本质上是把特征提取器当作黑箱，只关心输入输出的对应关系，却无法揭示特征内部是如何组织几何信号的。换句话说，线性探测告诉我们"特征包含什么"，却不告诉我们"特征是怎么组织的"。

这篇论文的切入点正在于此：能否打破黑箱，主动分离出特征空间中承载几何信息的具体子成分？这种解耦不仅能增进我们对自监督学习的理解，还能为后续的特征选择和模型压缩提供依据。

方法

作者提出的框架名为"受控子空间干预"，其核心思想是对线性探测层的权重进行[[奇异值分解]]，从而将特征空间划分为不同重要程度的子空间。

具体而言，假设线性探测层的权重矩阵为 $W\in {\mathbb{R}}^{C\times H}$，其中 $C$ 是通道数，$H$ 是空间位置数。对 $W$ 做奇异值分解得到 $W=U\Sigma V^T$，其中 $\Sigma =\text{diag}({\sigma }_1,{\sigma }_2,\dots )$ 是奇异值按降序排列的对角矩阵。奇异值的大小直接反映了对应子空间对预测任务的贡献程度——大奇异值对应的方向承载了更多几何信息。

基于这一分解，作者设计了三类实验来探究几何表示的性质。第一类是子空间消融：保留前 $k$ 个奇异值对应的子空间，将其余方向置零，观察性能如何随 $k$ 变化。这可以衡量几何信号的"可压缩性"。第二类是跨层分析：对网络中不同层的特征分别做上述分解，考察几何精度如何随深度演变。第三类是架构对比：在DINOv2和MAE两种预训练方式之间进行对比，揭示预训练目标对特征组织的影响。

值得强调的是，这种方法并非简单地对权重做截断，而是通过受控的子空间干预，系统地探测特征空间的内在结构。这种"外科手术式"的分析比端到端黑箱评估能提供多得多的解释性信息。

实验与结果

实验以DINOv2和MAE两种自监督模型为对象，在三个典型的密集预测任务上展开：深度估计、边缘检测和表面法线预测。

第一个关键发现是预训练目标决定编码方式。DINOv2的特征表现出明显的"对齐"特性：其几何信号高度集中在少数几个大奇异值方向上。这意味着DINOv2将空间特征进行了有效排列，使得简单的线性组合就能提取几何信息。相比之下，MAE的特征则呈现"分散"分布，奇异值衰减更为平缓，几何信号分布在更多方向上。作者推测这与两种目标的本质差异有关：对比学习（如DINO系列）鼓励同一图像不同视角的特征相似，自然倾向于形成紧凑的表示；而掩码重建目标（如MAE）需要从部分观测中推断整体，特征的冗余性和分散性更强。

第二个发现是几何表示高度可压缩。以深度估计任务为例，保留前20个奇异值方向（约占总维度的5%）就能恢复超过95%的原始性能。这说明密集预测任务的几何表示存在大量冗余，解码器不必访问完整的特征空间。这为设计轻量化预测头提供了直接依据——我们可以将有约束的线性层替换掉传统线性层，在大幅降低参数量的情况下保持性能。

第三个发现是逐层的任务亲和性。网络浅层主要编码纹理和边缘等低级几何信息，随着层数加深，语义信息逐渐占据主导。作者观察到，几何精度在中间层（约第60-70%的深度）达到峰值，这与语义分类任务在深层最优的规律形成有趣对照。这一发现对多尺度特征融合具有参考价值：若要同时利用几何和语义信息，应该从几何精度峰值的层提取几何特征，而非简单地使用最后一层。

讨论与可借鉴点

这项工作最值得称道的地方在于它提供了一套可解释性分析与模型压缩之间的桥梁。过去我们可能只知道"这个特征好用"，现在我们能说清楚"哪一部分特征在起什么作用"。这种理解不是纸上谈兵，而是直接指向实际应用：既然知道几何信号集中在低秩子空间，我们就可以设计专门的低秩预测头；既然知道中间层几何精度最高，就可以针对性地选择特征层而非盲目使用所有层。

当然，这项研究也存在局限。首先，结论主要在ViT架构上验证，是否推广到CNN或混合架构尚不确定。其次，实验集中在几何相关的密集预测任务，对于其他类型的密集任务（如语义分割、实例分割）结论可能不同。最后，子空间干预的效果依赖于线性探测层的收敛状态，如果探测头本身没有训练到最优，子空间分析的结论可能有偏差。

对于后续研究而言，一个有前景的方向是将子空间分析扩展到[[多模态]]场景。DINOv2已被广泛用作视觉编码器的基础，探索其几何表示的子空间结构如何与语言信号交互，可能会揭示视觉-语言对齐的新机制。另一个方向是将其与模型剪枝结合——当前的压缩实验是在固定特征上做低秩约束，如果能在预训练阶段就鼓励形成低秩的几何子空间，可能会获得更高效的模型。

研究背景与动机

自蒸馏智能体强化学习（Self-Distilled Agentic RL）是近年来大模型智能体训练的重要范式。其核心思想是：同一策略 $\pi$ 既作为学生产生实际执行的动作，又作为教师在"特权上下文"（privileged context）条件下——比如添加技能标注、验证器提示或检索到的参考轨迹——生成期望的改进动作。蒸馏损失通过惩罚学生偏离教师log概率的程度，引导策略向教师偏好方向收敛。

然而，主流实现（如 SDAR）用单一标量来门控 token 级蒸馏损失：这个标量是教师与学生的对数概率差 ${\Delta }_t=\log {\pi }_T(y_t\mid s_t^{+})-\log {\pi }_{\theta }(y_t\mid s_t)$，经过 sigmoid 函数压缩到 $(0,1)$ 区间后作为门控权重 $g_t=\sigma (\beta {\Delta }_t)$。论文精准地指出了这一设计的双重局限。

首先是回顾性（retrospective）问题：$g_t$ 只对已实现的轨迹打分——它看到的是"教师在这个状态给这个动作打了多少分"，却从不回答"如果在这里采用教师偏好的另一个动作，整条轨迹的最终回报会怎样变化"。换言之，这是一种静态的、局部的评分，而非对替代动作价值的真实估计。其次是符号盲（sign-blind）问题：由于 $g_t$ 是 ${\Delta }_t$ 的单调函数，它永远是正向的——即教师偏好某个动作时，门控权重增加；但当教师偏好某个动作而这个动作实际上会损害轨迹时，门控权重仍然增加。换句话说，这种机制无法区分"教师偏好且有益"与"教师偏好但有害"两种截然不同的情形。

这种双重局限导致信用分配（credit assignment）质量低下：策略可能过度信任教师的某些偏好动作，即使这些动作在反事实情况下会降低轨迹优势。CRAFT 的核心切入点是：GRPO（Group Relative Policy Optimization）本身就要求采样 $G$ 条并行回滚，这些回滚天然构成了一个"兄弟轨迹"的集合，可以被复用为近乎免费的反事实样本池。

方法

CRAFT 构建了一个三支柱（three-pillar）的信用分配方案，每个支柱由一个独立的主开关控制——这是一个精巧的工程设计：当开关关闭时，损失函数和梯度在 IEEE-754 算术下与基线逐字节完全相同，使得任何测得的增益都能明确归因于算法变化而非实现偏差。

支柱一：反事实 Token 重要性（Counterfactual Token Importance, CTI）

这一支柱回答的核心问题是：假设我在第 $t$ 步采用了教师偏好的动作，轨迹的优势会如何变化？理想的目标量定义为：

即第 $i$ 条轨迹在第 $t$ 步采用教师采样的期望优势增量。然而，我们无法直接计算这个期望——因为我们只有一个观测到的轨迹 $i$，不知道"如果采用其他动作会怎样"。但 GRPO 的兄弟轨迹提供了关键的解决思路：对于第 $i$ 条轨迹，我们可以利用另外 $G-1$ 条兄弟轨迹 $j\ne i$ 的优势 $A^{(j)}$ 作为反事实采样的代理。

具体地，CTI 使用自归一化重要性采样（Self-Normalised Importance Sampling, SNIS）构建估计量：

当温度参数 $\tau =1$ 时，权重简化为教师/学生概率比率 ${\rho }^{(j)}=\exp ({\Delta }_t^{(j)})$，这是标准的 SNIS 形式。直觉上，这个估计量在问："对于所有兄弟轨迹，如果它们在第 $t$ 步的动作与当前轨迹在该步的教师偏好相似（log-prob 差距大），那么这些轨迹的最终优势是多少？"通过对相似动作的轨迹优势加权平均，我们得到了反事实优势变化的估计。

为了产生带符号的信用（signed credit），论文引入了中心化非对称 sigmoid 变换：

这个设计的精妙之处在于：$c_t>0$ 时表示"教师偏好动作确实有益"，$c_t<0$ 时表示"教师偏好动作反而有害"——这正是传统方法缺失的符号信息。

最终，CTI 损失形式为：

这使得正向信用驱动策略朝教师动作移动，负向信用则抑制这一趋势。

支柱二：阶段感知自适应控制器（Asymmetric Controller）

即使有了带符号的逐 token 信用，整个训练过程仍需在"探索"与"利用"之间平衡。传统方法使用固定权重控制蒸馏损失与 [[KL散度]] 惩罚的相对强度，但这种静态设置忽视了训练动态的多阶段性。

控制器维持门控活动率的指数移动平均（EMA）：

并据此反向调节蒸馏权重 $\lambda (t)$ 与 KL 权重 $\mu (t)$：当门控活跃度高时（教师有丰富的未吸收信号），提升 $\lambda$ 降低 $\mu$；当门控饱和时，反向操作。这种非对称设计确保了训练在不同阶段自动适应信用分配的需求强度。

支柱三：方向极化 KL 惩罚（Directional KL Polarisation）

基于支柱一产生的符号信用 $c_t$，KL 惩罚在逐 token 层面被极化为三种模式：

• 当 $c_t>{\theta }_{KL}$（正向信用强）：使用反向 KL（reverse KL），即 $\log {\pi }_{\theta }-\log {\pi }_{\text{ref}}$，这倾向于模式寻求（mode-seeking）——强制策略严格贴合参考分布的单一峰值。
• 当 $c_t<-{\theta }_{KL}$（负向信用强）：使用前向 KL 启发式（forward KL heuristic），即 $-(\log {\pi }_{\theta }-\log {\pi }_{\text{ref}})$，这倾向于模式覆盖（mode-covering）——鼓励策略在参考分布的支撑集上均匀分布。
• 当 $|c_t|\le {\theta }_{KL}$（信用微弱）：使用标准中性 KL 惩罚。

这种设计的动机在于：正信用意味着"教师偏好动作是好的，策略应该更自信地向其靠拢"，反向 KL 的 mode-seeking 特性恰好满足这一需求；负信用意味着"教师偏好动作有害，策略应该主动避开"，而前向 KL 的 mode-covering 特性有助于策略探索替代方案。

总损失与理论保证

完整损失函数为：

论文给出了 CTI 估计量的一致性证明（命题1）：当 $G\to \infty$ 时，${\widehat{\text{CTI}}}_t^{(i)}$ 依概率收敛于真实 ${\text{CTI}}_t^{(i)}$，有限样本偏差为 $O(1/G)$。同时证明了方差上界（命题2）：$\text{Var}({\widehat{\text{CTI}}}_t^{(i)})\le R_{\max }^2{\bar{\rho }}_t^2/(G-1)$，其中 $R_{\max }$ 是优势函数的界，${\bar{\rho }}_t$ 是平均重要性权重的期望。

实验与结果

实验覆盖了三个代表性智能体环境——ALFWorld（基于文本的具身探索）、Search-QA（直接检索问答）和 WebShop（编程验证器购物场景），以及四个模型规模（Qwen3-1.7B、Qwen2.5-3B、Qwen2.5-7B、Qwen3-8B），采用 5 种端到端方法加 2 种先前工作基线进行对比。

主网格实验（84个单元）显示，CRAFT-Full 在每个（环境，模型）组合上均达到最优。更细致的消融实验揭示了各支柱的独立贡献：单独启用支柱一（+P1）在 ALFWorld 上即带来 +1.9 个百分点的提升，Search-QA 上 +2.0，WebShop 上 +1.5——这表明反事实信息本身就是实质性贡献。

为了精确隔离支柱的贡献，论文设计了 Adaptive-CRINGE 作为对照方法：它与 CRAFT 共享支柱二，因此"CRAFT-Full 减 Adaptive-CRINGE"的差值即代表支柱一和三的纯贡献。实验结果显示这一差值在所有单元均为正，进一步确认了反事实信用分配的价值。

有趣的是，最小模型（Qwen3-1.7B）的收益反而最大：ALFWorld 上 +3.4、WebShop 上 +5.5，且这一优势随模型规模增大而缩小但始终为正。这可能反映了较小模型从精细信用分配中受益更多，因为它们的基线信用分配能力更弱。

论文还进行了两项关键的反证检验：A6 移除反事实机制（$G_{\min }=999$），发现增益坍缩至 SDAR 基线；A7 交换 KL 方向，发现性能低于 SDAR。这两项实验分别验证了"反事实信息不可或缺"和"方向选择正确性"两个核心假设。

在分布外（OOD）评估中，CRAFT-Full 展现出更小的泛化差距：ALFWorld 上 6.2 vs SDAR 的 9.5。随机检索压力测试下，CRAFT 保持 78.5 分而 SDAR 降至 72.0，表明其对检索噪声的鲁棒性更强。

讨论与可借鉴点

CRAFT 最具启发性的贡献在于方法论层面的洞察：GRPO 采样的兄弟轨迹并非训练副产品，而是一个"近乎免费的反事实样本池"。这一观察将 [[重要性采样]] 估计器与自蒸馏框架优雅地嫁接在一起，同时保持了极低的计算开销（仅需在 torch.no_grad() 下做组级 softmax 与加权求和）。

论文的工程设计也值得借鉴。每个支柱配备独立开关、关闭时逐字节等价于基线——这不是过度工程化，而是科研诚实性的体现：它确保了任何测得的增益都是算法的真实贡献，而非实现细节或数值精度的偶然结果。87 个回归测试用例覆盖数学正确性、工程契约和位精确性，这种工程严谨性在学术论文中难得一见。

然而，方法也存在局限。首先，CTI 估计量依赖于"兄弟轨迹的优势可以迁移"的交换性假设，这在轨迹间差异较大时可能引入偏差。其次，当 $G$ 较小时（如 $G=4$），SNIS 估计量的方差可能较大，尽管论文给出的方差界在理论上保证了好行为的趋势。第三，支柱三的 KL 方向极化虽然直觉清晰，但前向 KL 的实际实现仍是启发式的，并非真正的对称前向 KL 散度。

对于更广泛的研究社区，CRAFT 的设计模式提供了有益的启发：在 [[策略梯度]] 方法中引入反事实评估时，不必额外采样——复用现有训练流程产生的并行轨迹即可。对于 [[自蒸馏]] 方法，符号感知的信用分配可能比单一标量门控更有效，尤其是当教师模型与学生模型存在分布偏移时。此外，将 KL 惩罚从全局静态权重升级为逐 token 自适应路由，可能成为未来信用分配研究的一个有前景的方向。

研究背景与动机

在长视野、多回合的智能体任务中，如何高效利用过往经验一直是核心难题。技能记忆（skill memory）通过将历史轨迹提炼为文本指导，可以在相似的状态出现时为策略提供有价值的上下文提示，从而加速探索并提升样本效率。然而，这种看似优雅的范式暗含一个脆弱假设：检索到的技能总能为当前决策提供正确指引。

论文作者通过系统的诊断实验揭示了这一假设的问题所在。在 ALFWorld 和 WebShop 环境中，他们考察了三种情形：固定特权教师是否始终优于无技能视图、将技能分支转为 on-policy 后能否消除教师歧义、以及当两视图在同一锚点状态产生分歧时应如何选择蒸馏方向。结果表明，技能提示并非可靠的固定教师——同一技能在某些状态下能够引导策略走向成功，在另一些状态下却会将策略引入失败。更值得注意的是，同一轨迹内部的优势分支可能在不同决策步之间反复切换，这意味着无论选择哪一方作为固定教师，都可能在某些关键时刻引入错误的引导。

这种"特权教师"假设的脆弱性促使作者思考：与其将技能记忆定位为预先固定的教师，不如让它成为可被评估和演化的在线资源。核心问题转化为：如何在同一任务上下文中客观判断某一技能提示是否真正有用，并据此调整知识的传递方向。

方法

UCOB 的核心洞察在于重新定义带技能提示与无技能提示之间的关系。传统方法将前者视为后者的特权教师，而 UCOB 将 ${\mathcal{P}}^{+}(s_t)$ 和 ${\mathcal{P}}^0(s_t)$ 视为同一在线策略 ${\pi }_{\theta }$ 的两个上下文视图，在同一任务 $u$ 和同一锚定状态 $\tilde{s}$ 下比较它们的 return-to-go $G(s_t)$，将回报更高的视图作为局部教师。

为了实现这一目标，框架首先构建了双层技能记忆系统，包含任务级技能池和状态级技能池。检索时采用上置信界（UCB）打分的混合机制，结合语义相似度与效用不确定性：

其中 $U(m)$ 是技能 $m$ 的效用估计，$n_m$ 是使用计数，后者为探索不确定性项。

在 rollout 阶段，每个任务组一半轨迹使用带技能提示 ${\mathcal{P}}^{+}$，另一半使用无技能提示 ${\mathcal{P}}^0$，两分支均接收在线强化学习损失。为了支持后续的信用比较，轨迹按锚定状态进行分组，形成集合 $C(u,\tilde{s})$，记录每条轨迹的决策上下文、目标分支及其回报。

CBSD（信用感知双向自蒸馏）是最关键的设计组件。在每个锚定状态组内，算法首先选出回报最高的分支作为教师：

仅当两分支的回报差 ${\Delta }_e=G_{{\rho }^{\star }}-G_{{\rho }^{\mathrm{opp}}}$ 超过阈值 ${ϵ}_{\mathrm{CBSD}}$ 时，才接受该蒸馏对。如果高回报分支恰好是带技能视图，则技能分支教无技能分支，实现有用的技能诱导行为的内化；如果高回报分支是无技能视图，则反向蒸馏纠正误导性的技能使用。这种双向机制打破了传统师生关系的固定指向，使得无论哪一方在当前状态下更有价值，都能指导另一方学习。

为了确保蒸馏的质量与效率，UCOB 还引入了两项关键机制。置信门控 $g_{e,j}$ 通过比较目标分支与引用分支对教师 token 的预测概率，决定是否接受该 token 的蒸馏信号：

回报差加权 $w_e=\mathrm{clip}({\Delta }_e/{\tau }_{\mathrm{CBSD}},0,w_{\max })$ 则根据两分支的优势差距动态调整蒸馏强度。Top-K Token-Support Matching 通过在教师分支的高概率 token 上构建支撑集并在上面重新归一化，缓解了自蒸馏中教师和学生分布高度重叠导致的梯度稀释问题。

除了蒸馏机制，UCOB 还设计了技能记忆的演化策略。状态级技能通过对比同一锚定状态下的高回报和低回报轨迹来刻画"何时该用、什么时候不该用"。效用更新采用指数移动平均：

其中 ${\delta }_m$ 反映使用技能 $m$ 的 rollout 相对无技能基线的成功率提升。反思写作器则利用效用优势作为优势估计进行自训练，使其生成的反思内容能够更精准地指导未来的决策。

实验与结果

实验在 ALFWorld、WebShop 和 Search-QA 三个基准上进行，使用 Qwen2.5-7B-Instruct、Qwen2.5-3B-Instruct 和 Qwen3-1.7B 三个规模的模型作为骨干。基线覆盖无技能强化学习方法（GRPO、GiGPO）、技能记忆方法（SkillRL、D2Skill、SkillC、SAPO、Skill1）以及自蒸馏方法（RLSD、Skill-SD、SDAR、StepOPSD）。

主实验结果展现了 UCOB 的全面优势。在 ALFWorld 上，Qwen2.5-7B 达到 93.0% 整体成功率，Qwen2.5-3B 为 92.2%，即便是最小的 Qwen3-1.7B 也达到 89.1%，三者均为各自规模的最优。WebShop 上的成功率分别为 85.9%、78.1% 和 79.7%，同样全面领先。更引人注目的是小模型上的提升幅度：Qwen3-1.7B 在 ALFWorld 上相较 Skill1 和 SDAR 分别提升 23.5 和 35.2 分，在 WebShop 上分别提升 18.0 和 21.1 分，这表明 UCOB 的信用感知机制对于资源受限场景具有特殊价值。Search-QA 上的表现具有竞争力但并非全面优势，与最佳基线的平均准确率差距控制在 0.8 分以内。

消融实验进一步揭示了各组件的贡献。移除锚定状态分组、反思自训练、状态级技能、混合 rollout 和 CBSD 中的任何一项都会导致性能下降，其中 CBSD 的移除影响最为显著。CBSD 内部的三种变体（gap-gated 单向、固定教师方向、无 top-K 支撑集）均不如完整 CBSD，验证了双向路由、动态阈值和 token 级匹配的重要性。超参敏感性分析表明 ${\lambda }_{\mathrm{CBSD}}=0.1$ 和使用自训练反思后端是较优的配置。

一个有趣的发现是，在 ALFWorld 和 WebShop 上，"无技能→技能"的蒸馏路由反而出现得更频繁。这一反直觉的结果表明，无技能视图经常是更优的局部教师——当技能提示误导策略时，无技能分支产生的决策反而更可靠。如果没有 CBSD 的反向蒸馏机制，这些误导性的技能使用将无法被纠正，技能记忆的演化也会偏离正确方向。

讨论与可借鉴点

UCOB 的核心贡献在于挑战了技能记忆研究中长期默认的"特权教师"假设，将师生关系从静态固定转为动态信用感知。这一转变带来的启示是：在设计依赖外部知识的智能体系统时，应当承认知识并非全知全能，而应建立评估机制判断当前上下文下知识的有效性。

从方法论角度看，CBSD 的双向自蒸馏框架具有超越具体任务的通用性。任何存在多个策略视图（如不同提示模板、不同工具选择）且需要选择性知识传递的场景，都可以借鉴"按锚点状态分组、按回报选教师、置信门控过滤"这一范式。效用感知的检索与技能记忆的演化机制也值得在更广泛的经验复用研究中参考。

局限方面，Search-QA 上未能全面超越基线，暗示该方法在检索型 QA 任务中的优势可能不如交互式环境显著。框架依赖锚定状态分组和 UCB 检索的设计增加了实现复杂度，对超参（如 ${ϵ}_{\mathrm{CBSD}}$、$K_{\mathrm{tok}}$）的敏感性也意味着实际部署时需要一定的调优。此外，论文未提供完整的算力账单，使得方法的计算成本难以与其他工作进行公平比较。

未来的研究方向可以探索：将 CBSD 与其他策略多样性机制结合、将其扩展到多智能体协作场景、以及在更大规模的开放世界任务中验证其有效性。

研究背景与动机

训练小型语言模型智能体完成复杂的长程交互任务是当前的重要研究方向。这类任务要求模型在多轮对话或序列决策中持续与环境交互——比如在虚拟家庭环境中寻找并操作物体、在电商网站中按指令筛选商品、或在搜索场景中逐步定位答案。任务的挑战在于，智能体必须同时具备两项能力：一是快速从示范数据中学习基本行为模式，即「快速模仿」能力；二是当遇到超出示范范围的场景时，能够通过环境反馈自我调整、探索更好的策略，即「基于奖励的改进」能力。

现有的后训练方法主要分为两大范式。[[策略蒸馏]]方法以教师模型（或更大规模的模型）的输出作为监督信号，提供密集且即时的指导，在训练初期能实现快速提升。但其根本局限在于，当学生模型的能力逐渐逼近教师水平后，额外的监督信号带来的增益趋于饱和，最终性能被教师模型的表现上限牢牢封住。[[强化学习]]方法则直接以环境奖励为优化目标，理论上能够突破教师上限、探索更优策略，但其早期学习效率极低——在稀疏且延迟的奖励信号下，智能体很难从漫无目的的探索中提取有效的学习信号。

这两种范式呈现出鲜明的互补性：策略蒸馏在早期高效但后期乏力，强化学习在后期有潜力但早期低效。一个自然的追问是：能否设计一种算法，让它兼取两者之长？ATOD 正是对这一问题的系统回答。

方法

ATOD 的设计围绕一个核心观察展开：策略蒸馏与强化学习在训练动态上具有天然的时序互补性。训练初期学生模型与教师差距巨大，此时密集的模仿信号能帮助学生快速建立基本能力；而当学生已经「学会」了教师的行为模式后，继续强化模仿只会陷入收益递减，此时转向奖励驱动的探索才能打开性能上限。

基于这一观察，ATOD 采用退火式的 OPD-RL 调度策略。在训练的前半段，策略蒸馏占据主导地位，学生模型以较大的概率从教师分布中采样进行学习，教师提供的每步监督信号如同密集的「拐杖」，引导模型快速收敛到接近教师的行为水平。随着训练的推进，系统逐步降低蒸馏信号的权重、增强强化学习奖励信号的权重。这一过程类似于物理中的退火——从高温（高探索、模仿为主）逐渐冷却到低温（低探索、奖励驱动为主），但这里「温度」控制的是两种学习信号的比例。

退火调度解决了「何时切换」的问题，但还有另一个关键挑战：如何在长轨迹中有效分配监督权重。在多轮交互任务中，并非每一个决策步骤都具有同等的重要性。某些轮次可能处于任务的关键转折点——做对则任务成功，做错则前功尽弃；而另一些轮次可能只是过渡性的辅助操作。传统的策略蒸馏对所有步骤一视同仁，导致关键步骤的监督被稀释。

为解决这一问题，ATOD 引入了轮次级分歧-不确定性重加权机制 T-DUR。这一机制的直觉来自于两个信号：一是「分歧」，即学生模型与教师模型在当前轮次上输出差异的程度——分歧越大，说明该轮次学生越不确定应该如何行动，理应获得更多监督权重；二是「不确定性」，即学生模型自身对该轮次输出的置信度——不确定性越高，意味着模型对该决策越缺乏把握，同样应该加大学习力度。

T-DUR 将这两个信号融合为一个加权系数，对损失函数中各轮次的贡献进行重加权。其效果是平滑地放大那些处于分歧区域或低置信度区域的高价值轮次，同时适当降低过渡性步骤的权重。这样一来，即使在很长的交互轨迹中，模型也能将学习注意力集中到真正重要的决策节点上。

形式化地，ATOD 的总体优化目标可以写作一个加权混合损失：

其中 ${\lambda }_t$ 是随训练轮次 $t$ 退火的 OPD-RL 混合系数，$w_i$ 是第 $i$ 轮通过 T-DUR 计算的权重，${\mathcal{L}}_{\text{OPD}}$ 和 ${\mathcal{L}}_{\text{RL}}$ 分别是蒸馏损失和强化学习损失，${\mathcal{L}}_i$ 是第 $i$ 轮的任务损失。

实验与结果

论文在三个广泛使用的多轮交互基准上验证 ATOD 的效果。ALFWorld 是一个基于文本的家庭环境任务集，智能体需要理解自然语言指令后在虚拟房间中导航、操作物体完成目标。WebShop 模拟真实电商网站场景，要求智能体根据用户需求搜索、筛选并点击商品。Search-QA 则是问答类任务，智能体需要通过多轮搜索和推理定位答案。

实验覆盖了三种不同规模的学生模型，结果的一致性非常强。在所有设置下，ATOD 均能稳定超越对比基线。平均而言，ATOD 相比纯 OPD 方法提升了 3.03 个百分点——这意味着在模仿学习已经收敛的基础上，ATOD 额外挖掘出了一部分超越教师的潜力。更显著的提升来自与强化学习基线的对比：ATOD 相比 GRPO 平均提升 23.62 个百分点，这说明 ATOD 的退火调度有效规避了纯 RL 在早期「盲目探索」的效率损失。最引人注目的是，ATOD 最终超越了对应的教师模型，平均超出 2.16 个百分点——这正是将蒸馏的快速启动与 RL 的上限突破相结合的预期收益。

消融实验进一步验证了两个设计模块的贡献。移除退火调度、保持纯 OPD 或纯 RL 时，性能均有明显下降；移除 T-DUR 权重机制后，长轨迹任务（如 ALFWorld）的性能衰减尤为显著。这些结果从反面证明了各模块的必要性。

讨论与可借鉴点

ATOD 展示了一种优雅的思路：在训练的时序维度上进行精细化调度，而非将不同的学习方法简单叠加。退火机制将「何时学什么」这一问题形式化，T-DUR 则解决了「在各部分如何分配注意力」的问题。这种分而治之的设计哲学值得借鉴。

从局限来看，ATOD 的退火调度引入了新的超参数——退火曲线的形状与节奏，这些参数在不同任务间可能需要调优。此外，T-DUR 机制假设教师模型在大多数步骤上可靠，当任务本身超出教师能力范围时，分歧信号可能产生误导。这一问题在更强的教师模型或更简单的任务上影响较小，但在开放域长程任务中值得进一步探索。

对于 [[语言模型智能体]] 的后训练实践，ATOD 的核心启示在于：单一学习方法很难同时兼顾效率与上限。快速起步与最终超越并非不可兼得，关键在于为不同训练阶段匹配最适合的学习信号。随着模型规模的缩减和任务复杂度的上升，这种动态调度的需求只会更加迫切。ATOD 为这一方向提供了一个坚实的基线。

研究背景与动机

大语言模型正逐步成为长程交互任务中的核心智能体，从网页导航、API 调用到机器人操作，这些场景都要求模型在多轮交互中持续做出决策并适应环境反馈。然而，当模型需要完成复杂的序列决策时，传统[[监督学习]]范式面临严峻瓶颈：人工为每一步交互标注最优动作不仅成本极高，而且难以覆盖真实环境中可能出现的海量变体情况。

[[强化学习]]为这一困境提供了一条更具扩展性的解决路径——模型可以在环境中自主探索并从反馈中学习。然而，基于结果的强化学习方法存在一个根本性的局限性：它只在轨迹结束时提供稀疏的奖励信号。以完成一个多步骤任务为例，模型可能在数百次环境交互之后才收到一个成功或失败的结果标签，而对于过程中每一步决策是否合理，奖励信号完全沉默。这种监督稀疏性在回合级结果与词元级策略学习之间制造了巨大的监督鸿沟，导致策略梯度估计方差大、更新方向模糊、学习效率低下。

一种直觉上的解决思路是借鉴[[事后经验回放]]的思想——将失败的轨迹重新解释为另一种任务的尝试，从而为中间决策提供更丰富的监督。然而，传统事后方法主要针对离散动作空间设计，且依赖额外的经验回放缓冲区来存储历史轨迹，这在需要高吞吐量采样的在线学习场景中会带来显著的存储与计算开销。更关键的是，这些方法通常只能捕捉到简单的成功/失败二元信号，难以表达轨迹中的高层语义信息——为什么某一步会失败？观察到了什么关键信息导致决策偏差？这些关于工作流和决策逻辑的知识无法被简单的奖励塑形所编码。

SEED 的核心洞察正是由此切入：既然大语言模型本身具备强大的自然语言理解与生成能力，能否让它自己从轨迹中提炼出可复用的技能知识，并将这些知识转化为细粒度的辅助监督信号？

方法

SEED 的方法设计围绕三个关键步骤展开：轨迹到技能的语义转化、策略自提取机制、以及概率偏移驱动的蒸馏信号。这个框架的核心理念是：事后监督信号不应该是静态的、一成不变的，而应该随着策略能力的提升而共同演化。

在第一阶段，SEED 对策略模型进行微调，使其能够分析已完成的轨迹并生成自然语言技能描述。这些技能以文本形式捕捉三类可复用的知识：工作流程（如“当遇到错误信息 X 时，应该先检查配置文件而非直接重试”）、关键观察（如“服务器日志中出现的 OOM 关键字预示着资源即将耗尽”）以及失败规避规则（如“在调用外部 API 前应先验证输入参数的边界合法性”）。与仅仅返回一个标量奖励值不同，自然语言技能携带了丰富的语义信息，能够解释决策的因果逻辑和上下文依赖关系。

在第二阶段，当 SEED 进入实际的[[强化学习]]训练循环时，当前策略模型扮演双重角色：它既负责在环境中采集新的交互轨迹，又充当从这些轨迹中提取事后技能的分析器。这一设计蕴含着精妙的自我改进循环——当策略通过学习变得更强时，它的技能分析能力也会同步提升，从而能够从轨迹中提取出更高质量的监督信号；而更高质量的事后监督反过来又能加速策略的提升。这种协同演化机制使得辅助监督信号始终与策略能力保持匹配，避免了传统方法中监督信号与策略能力脱节的问题。

在第三阶段，SEED 对采样的动作在两种不同的上下文条件下进行重新评分：普通上下文（不包含任何技能信息）和技能增强上下文（在输入前附加提取的技能描述文本）。技能引发的概率偏移量 $\Delta p_t$ 体现了技能知识对决策的影响程度——如果某个动作在技能上下文中被显著提升，说明该动作与技能所描述的工作流高度一致，值得被强化；反之，如果概率变化不大，则说明该动作可能与技能知识无关或存在冲突。SEED 将这种概率偏移量化为密集的 token 级在策略蒸馏信号，具体形式为：

其中 $\Delta p_t$ 表示技能上下文相对于普通上下文带来的概率变化量。这个蒸馏损失与原始的[[策略梯度]]损失联合优化，使辅助监督始终与当前轨迹分布保持对齐（on-policy），从而避免了离线蒸馏方法中常见的分布偏移问题。

实验与结果

研究团队在两类典型的智能体任务上系统验证了 SEED 的有效性。第一类是文本智能体任务，包括网页导航和 API 调用场景，要求模型理解自然语言指令并在模拟环境中完成多轮交互；第二类是视觉智能体任务，包括机器人操作和视觉问答，需要模型融合视觉感知与决策制定。对比基线涵盖标准 PPO、事后经验回放方法（HER）以及几种代表性的离线蒸馏方法。

实验结果清晰地展示了 SEED 的优势。在所有测试任务上，SEED 均实现了显著的性能提升，平均相对提升达到 15%~30%。更值得关注的是样本效率指标——SEED 仅需使用 50% 的训练样本就能达到基线方法的最终性能水平，这表明密集的 token 级监督信号大幅加速了策略收敛，减少了对环境交互数量的需求。

消融实验进一步揭示了各组件的贡献度。移除技能生成模块（即用预定义的固定规则替代策略模型生成的技能描述）会导致性能回退约 40%，这一结果有力证实了自然语言技能的语义丰富性不可被简单规则所替代。同时，固定技能分析器不让其与策略共同演化时，性能也出现了明显下降，验证了自演化机制在整个框架中的核心价值。

泛化性评估是实验的另一亮点。研究团队设计了包含未见任务变体和全新环境配置的测试集，SEED 在这些具有分布偏移的测试场景中表现出稳健的零样本迁移能力。这一结果符合预期——自然语言技能编码的是抽象的工作流知识而非具体的动作序列，因此能够跨任务复用并在新环境中发挥作用。

讨论与可借鉴点

SEED 展示了一条有潜力的研究路径：用大语言模型自身的语言理解能力来填补强化学习中的监督稀疏问题。其核心贡献在于将事后监督从简单的奖励塑形升级为语义丰富的技能蒸馏，并通过策略与技能的协同演化机制实现了监督信号的自适应调整——这避免了静态辅助信号随策略提升而逐渐失效的问题。

当前方法仍存在一定的局限性。首先，技能提取的质量依赖于基础模型的表达能力，若大语言模型的自然语言理解能力不足，生成的技能描述可能包含噪声或错误语义。其次，蒸馏损失与策略梯度损失的权重配比需要手动设定，如何实现自动调节（如根据训练阶段动态调整权重）仍值得深入探索。最后，SEED 目前聚焦于在策略场景，对于需要大规模离线预训练的场合，如何在技能质量与采样效率之间取得平衡仍是开放问题。

对于该领域的研究者而言，SEED 的设计哲学具有更广泛的借鉴意义。它体现了“模型自举”的思想——利用基础模型的语言能力为自身的学习过程提供辅助信号，而非仅仅将其作为执行器。这种将模型自身能力闭环用于改进自身的思路，或许可以推广到其他存在监督稀疏问题的领域。此外，SEED 强调辅助监督信号应与主优化目标在分布上保持一致（on-policy 的核心原则），这一设计考量在构建其他辅助学习任务时同样值得遵循。

研究背景与动机

搜索增强语言模型（Search-augmented LM）近年来在开放域问答、多跳推理等任务上展现出显著优势。这类智能体的典型工作流程是：接收用户问题后，执行多轮「检索-理解-生成」循环，逐步逼近正确答案。然而，如何有效训练模型学会「何时检索、检索什么」并非易事。

当前主流训练范式依赖[[强化学习]]框架（如 GRPO、PPO），这些方法通常采用二元精确匹配（Exact Match, EM）作为奖励信号——只有当模型生成的最终答案与标准答案完全一致时，才给予正向奖励，否则为零奖励。这种 bandit 式奖励结构天然稀疏：它只告诉模型「你失败了」，却无法揭示「为什么失败」「哪一步检索走了弯路」「本应检索什么关键词」等关键信息。模型必须在漫长的搜索序列中独自推断这些失败根因，信用分配延迟极高，训练信号效率低下。

既有工作尝试通过过程奖励模型（Process Reward Model, PRM）为每一步搜索动作打分，但 PRM 本质上仍是「评估性」的——它评价当前动作的好坏，而非「指导性」地告诉模型应该怎么做。另有工作如 OpenClaw-RL 引入了自然语言提示作为条件，但这些提示是在线生成的，无法利用训练阶段已知且确定正确的标准答案。HindSearch 的核心洞察在于：训练时我们唯一拥有而推理时没有的额外信息，就是标准答案本身。如果能「事后」利用这个答案生成对失败轨迹的诊断性批评，就能把稀疏的二元奖励转化为细粒度的教学信号。

方法

HindSearch 的设计围绕一个核心问题展开：如何在不引入额外在线评判开销的前提下，让模型从失败中学习到「做错了什么」与「应该怎么做」？答案是在 GRPO 的每次 rollout 之后，引入一条独立的事后批评生成与蒸馏 pipeline。

具体而言，训练流程首先按照标准 GRPO 执行：给定问题 $q$、检索上下文 $c_t$ 与标准答案 $a^{\star }$，学生策略 ${\pi }_{\theta }$ 生成 $G$ 条候选轨迹，随后根据 EM 奖励与组归一化优势函数计算策略梯度损失 $L_{\text{PPO}}$。轨迹被划分为成功集 $T_{+}$ 与失败集 $T_{-}$，HindSearch 的创新全部集中在失败集的处理上。

对于每条失败轨迹 $\tau \in T_{-}$，一个冻结的评判器模型 ${\pi }_J$（论文使用 Qwen3.6-27B）在同时「看到」完整轨迹与标准答案 $a^{\star }$ 的条件下，生成 1–2 句简短的事后批评 $h(\tau )={\pi }_J(\tau ,a^{\star })$。这一步的关键在于「事后性」与「指导性」的结合：评判器不是评估当前动作的优劣，而是基于正确答案「倒推」出失败根因——比如「你没有检索关键实体'某某'，而是检索了一个过于宽泛的查询」。这类批评携带了 GRPO 二元奖励所丢失的诊断信息。

批评生成后，它被广播为所有搜索步的条件前缀，构造增强的教师上下文 $c_t^T=⟨\text{HINT}⟩h(\tau )⟨/\text{HINT}⟩\oplus c_t$。随后，同策略蒸馏（On-Policy Distillation, OPD）损失作用于失败轨迹中所有 $⟨\text{SEARCH}⟩\cdots ⟨/\text{SEARCH}⟩$ 范围内的响应 token：

其中 ${\ell }_t^s=\log {\pi }_{\theta }(a_t\mid c_t)$ 是学生模型在原始上下文下的对数概率，${\ell }_t^T=\log {\pi }_{\text{ref}}(a_t\mid c_t^T)$ 是教师模型（与学生同源的冻结参考模型）在批评上下文下的对数概率。clamp 操作将差值限制在 $[0,1]$ 区间：下界 0 确保梯度仅流过「教师比学生更确信」的 token，上界 1 则抑制离群值。最终梯度仅回传至 ${\ell }_t^s$，使学生模型学会在给定诊断性批评时，采取与参考模型一致的搜索行为。

值得注意的是，OPD 损失严格限制在搜索动作 token 范围内，最终答案 token 的生成完全由 GRPO 负责训练。这一设计防止了批评中可能蕴含的答案片段被学生直接记忆，规避了「结果泄漏」风险。最终总损失为 $L_{\text{total}}=L_{\text{PPO}}+{\lambda }_{\text{OPD}}\cdot L_{\text{OPD}}$，论文设定 ${\lambda }_{\text{OPD}}=0.01$，在维持策略更新的同时引入辅助监督。

实验与结果

实验在 Qwen2.5-3B-Instruct 主干上展开，训练数据为 NQ 与 HotpotQA 的联合训练集（共约 169k 样本），评估在七个标准问答基准上进行，涵盖单跳（NQ、TriviaQA、PopQA）与多跳（HotpotQA、2WikiMultihopQA、MuSiQue、Bamboogle）两类任务，其中后五个为 zero-shot 评估。

主实验结果显示，HindSearch 达到 39.4% 的平均 EM，显著超越此前的最强搜索强化学习基线 Search-R1 GRPO（33.6%），提升幅度达 5.8 个百分点。与非强化学习方法相比，HindSearch 也优于 R1-instruct（37.4%）与 Rejection Sampling（36.5%）等强基线，充分验证了事后批评蒸馏的有效性。

消融实验提供了关键洞察。移除评判器对标准答案的访问（即事后视角）后，性能从 39.4% 跌至 34.7%，损失了约 4.7 分的增益——这与整体提升幅度（5.8 分）高度接近，直接证明「事后利用标准答案」而非「评判行为本身」是性能提升的核心来源。将 OPD 损失替换为 OpenClaw-RL 的 PPO-clipped top-K 形式后，性能进一步降至 32.7%，说明损失结构的设计对最终效果有显著影响。此外，使用逐步「最早关键」批评替代全文批评也会导致 3.9 分的退化，表明批评的完整性同样重要。

关于泛化性的担忧——事后批评是否会让学生记住答案而非学会搜索行为——实验数据给出了否定回答：域内基准（NQ、HotpotQA）与 zero-shot 基准的平均增益几乎相等（约 5.85 vs 5.80），说明 OPD 信号确实在训练学生的搜索策略，而非简单记忆答案字符串。

讨论与可借鉴点

HindSearch 的成功揭示了一个更普遍的原则：在[[强化学习]]训练中，充分利用训练阶段特有的额外信息（此处为标准答案）生成诊断性反馈，往往比单纯改进算法结构更有实效。这一「事后诸葛亮」式的设计在概念上简洁，却在实践中有效，因为它将「判断成功与否」的评估性信号转化为「理解失败根因」的指导性信号。

从工程视角，HindSearch 的若干设计值得借鉴。首先，教师模型与学生模型同构且共享初始化，将「能力差距梯度」风险降至最低——学生不会因教师能力过强而产生不信任。其次，搜索动作掩码的设计巧妙地隔离了 OPD 与 GRPO 的职责边界，前者专注搜索行为，后者专注答案质量，两个目标在损失空间中正交，避免了梯度冲突。再次，仅对失败轨迹调用评判器的策略使得额外计算开销控制在 15% 以内，在效果与效率之间取得了良好平衡。

然而，该方法也存在明显局限。最根本的假设是训练时必须拥有每个样本的标准答案——对于开放式生成、创意写作或无明确「正确答案」的对话任务，这一前提难以满足。此外，评判器的规模与质量高度耦合：论文中发现 7B 规模的评判器会导致性能显著退化，而过强的教师（如 7B）则会产生能力差距梯度破坏训练稳定性，这意味着实际部署时需要谨慎选择评判器配置。最后，自然语言批评的质量本身依赖于评判器的指令遵循能力与提示工程，这为方法的复现引入了不可控因素。

总体而言，HindSearch 为「稀疏奖励浪费失败信息」这一长期痛点提供了一个简洁而有效的解决方案。它的核心贡献不在于复杂的算法创新，而在于对问题本质的精准把握——将「只问成败」的二元奖励转化为「追问缘由」的细粒度监督。这一思路或许可以推广至其他[[强化学习]]应用场景，如代码生成、数学推理或多模态任务，其中失败轨迹同样蕴含大量未被利用的诊断信息。

研究背景与动机

大语言模型智能体在ALFWorld、WebShop 等复杂交互环境中展现出强大的任务规划与执行能力，但这类任务的强化学习训练长期受困于稀疏奖励问题。在典型的多轮对话场景中，一条包含数十个回合、数百个 token 的完整轨迹，往往只能在末端收到一个二元的结果信号——要么任务成功，要么任务失败。这种信号密度与轨迹长度之间的巨大落差，使得信用分配（credit assignment）成为核心难题：策略无法准确判断轨迹中间哪一步决策是真正有效的，哪一步是有害的。

为了缓解这一困境，自蒸馏（self-distillation）范式被引入智能体强化学习领域。具体做法是让模型的一个冻结副本充当"特权教师"，同时另一个可学习的"学生"版本参与交互。由于教师在推理时可以获得通过技能检索得到的额外上下文信息，它的输出质量通常更高。自蒸馏的核心思想是：让学生模仿教师的 token 级概率分布，从而将稀疏的轨迹级奖励信号转化为密集的 token 级监督信号。

然而，这种方法存在一个根本性的假设问题：教师并非在每个位置上都是可靠的。尽管教师整体上优于学生，但在某些具体位置，它给出的偏好信号可能只是采样噪声的产物，或者恰好与学生偶然探索到的正确方向相悖。如何在密集的教师监督中筛选出真正值得信赖的信号，成为提升自蒸馏效果的关键。

现有方法大体上可以分为两类，各有取舍。Token 级方法（如 RLSD、SDAR）基于每个位置独立的概率差异或对数比例来衡量可信度，这种做法理论上精细，但在训练早期或采样噪声较大的场景中容易受到单点波动的影响，产生误导性的梯度。Step 级方法（如 SOD、StepOPSD）则将整步的所有 token 聚合后再分配统一权重，虽然降低了噪声敏感性，但完全丢失了位置间的差异信息——同一步中有效与无效的 token 被等同对待。

这篇论文的核心观察是：真正有信息量的教师偏好信号应当在局部邻域内持续出现。一个可靠的对教师有利的决策，其优势应该在周围的 token 中也能观察到；相反，单点的尖峰更可能反映的是采样过程中的随机波动，而非教师真实的分布偏好。基于这一直觉，PCSD 从"教师偏好信号的局部持久性"出发，设计了一套完整的 token 级蒸馏权重生成机制。

方法

PCSD 的整体框架建立在 [[GRPO]] 之上，将其稀疏的轨迹级优势估计与 token 级的教师蒸馏信号相结合。框架中有三个关键角色：学生策略 ${\pi }_{\theta }$（参与环境交互并更新）、冻结的特权教师 ${\pi }_T$（同一基座检查点的副本，输入中拼接了通过关键词检索得到的技能上下文），以及最终的训练目标。

整个蒸馏权重的生成流程包含四个递进的设计层次，每一层都针对前一层的问题进行了改进。

第一层：教师-学生采样对数概率差。 对于轨迹中第 $k$ 个响应（turn）的第 $i$ 个 token，首先计算教师与学生在该位置的 log 概率差异：

这个差值 ${\delta }_{k,i}$ 的物理含义是：给定各自的历史上下文，教师对该采样 token 的相对支持程度。${\delta }_{k,i}>0$ 意味着教师倾向于这个 token，反之则教师不看好。然而，单独的这个数值并不能说明这种偏好是"真实的"还是"偶然的"。

第二层：持久一致性评估——指数衰减聚合。 为了判断教师偏好是否具有持久性，PCSD 在大小为 $N$ 的前向窗口内对 $\delta$ 做指数加权聚合：

其中 $\alpha \in (0,1)$ 是衰减因子，越近的 token 权重越高；$m_{k,i+j}$ 是掩码（mask），处理序列末尾的有效 token 不够的情况。这本质上是在问："在接下来的几个 token 里，教师是否持续支持学生采样到的内容？"如果答案肯定，${\bar{\delta }}_{k,i}^{(N)}$ 的值会保持较高；如果只是在某一点上有微弱优势但后续回落，这个聚合值会被稀释。

论文采用了 $N_{\min }=1$、$N_{\max }=8$、$\alpha =0.8$ 的配置，对应的有效样本量约为 6.41，平均位移约 2.39 个 token。

第三层：自适应聚合机制。 固定窗口大小无法同时兼顾精度与稳健性。当某区域的 $\delta$ 波动剧烈（高方差）时，说明此时信号不稳定，应该用更大的窗口平滑掉噪声；而当区域平稳（低方差）时，应该保留更细粒度的短窗口响应。PCSD 通过局部方差来自适应地选择窗口大小：

当方差低于 ${\tau }_{\mathrm{low}}=0.05$ 时完全采用短窗口，保持最高的 token 粒度；当方差高于 ${\tau }_{\mathrm{high}}=0.5$ 时完全采用长窗口，最大程度抑制噪声；中间区域线性插值。

第四层：单边趋势调制与 sigmoid 门控。 仅仅有持久性还不够——如果窗口内的教师支持呈下降趋势，即使当前值不低，未来也可能不再可靠。PCSD 在 $N_{\max }$ 窗口内做遮蔽感知的普通最小二乘回归，取斜率 ${\mathrm{slope}}_{k,i}$。仅当斜率为负（支持正在衰减）时施加惩罚：

这种单边设计是有意的：正斜率（支持在增强）不需要额外放大，因为后续的 sigmoid 门控本身就会根据 ${\bar{\delta }}_{k,i}^{\mathrm{ad}}$ 的绝对值给出相应的高权重。对负斜率的惩罚则确保了权重不会因为当前的高值而被错误地锁定。

最终，权重通过 sigmoid 门控产生：

其中 ${\beta }_{\mathrm{gate}}=5.0$ 控制 sigmoid 的锐度。输出 $w_{k,i}\in [0,1]$ 是连续的，可以是 0.73 这样的中间值，也可以接近 0 或 1，而不是离散的二值选择。

训练目标。 得到 token 级权重后，PCSD 的蒸馏损失为：

这里教师 log-prob 和权重 $w_{k,i}$ 都设置 stop-gradient，仅对学生 log-prob 求导，产生加权负对数似然梯度。最终目标是 GRPO 损失与 PCSD 损失的加权和：

默认 ${\lambda }_{\mathrm{PCSD}}=0.01$，即蒸馏信号作为相对较小的辅助约束存在，而非主导训练方向。

实验与结果

实验在 ALFWorld 和 WebShop 两个标准基准上进行，使用 Qwen2.5-3B-Instruct 和 Qwen3-1.7B-Instruct 两种规模的骨干网络。所有对比方法使用相同的训练预算、相同的教师技能配置和相同的评测协议，唯一差异在于蒸馏权重的计算方式。

在 ALFWorld 的主结果上，PCSD 取得了所有基线中的最佳 Overall 成绩。在 Qwen2.5-3B 骨干上达到 90.6%，分别超过 GRPO 15.6 分、超过 SDAR 6.2 分；在 Qwen3-1.7B 骨干上达到 59.4%，分别超过 GRPO 13.3 分、超过 SDAR 5.5 分。尤其值得注意的是，PCSD 不需要任何推理时的技能检索，这使得它与使用推理时技能的 Skill-GRPO 相比也具有优势。在 Qwen2.5-3B 上，PCSD 90.6% 对比 Skill-GRPO 的 87.8%，优势明显。

分任务类型来看，Heat 和 Pick2 等需要更长推理链的任务提升尤为显著，这与 PCSD 擅长处理长序列信用分配问题的设计直觉相符。在 WebShop 上，PCSD 保持竞争力，Qwen2.5-3B 达到 Score 85.0，与 SDAR 并列第一。

泛化性是更值得关注的结果。在 ALFWorld 的 valid_unseen 划分（未见过的物体位置配置）上，PCSD 的 Overall 达到 86.7%，显著超过 GRPO 的 70.9% 和 SDAR 的 72.7%，提升幅度达 15.8 分。这说明通过持久性筛选出的教师信号不仅能提升训练阶段的任务表现，还学到了更稳健的决策策略，而非过拟合于特定实例。

训练动态分析揭示了 PCSD 的行为特征。随着训练进行，教师-学生 gap 的均值从负值逐步上升（说明学生越来越接近教师的水平），同时 gate 激活率保持在 20%–28% 的水平，意味着只有五分之一到四分之一的 token 获得了 $w_{k,i}>0.5$ 的高权重。这种"集中而非严苛"的分配模式体现了 PCSD 的设计哲学：不是对所有教师偏好不加区分地灌输，而是精准地识别并强化那些真正可靠、持久、有趋势支撑的信号。

消融实验验证了各组件的必要性。自适应窗口相比固定 $N=1$ 或 $N=4$ 的版本均有提升；去除趋势调制后性能下降，说明对衰减信号的惩罚是有效的；去除指数衰减（改为等权重平均）同样导致性能退化，证明越近的 token 越有参考价值的归纳偏置是合理的。

讨论与可借鉴点

PCSD 的核心贡献在于提出了"持久性"作为教师可信度的判断标准这一洞察。与其相信某个 token 上教师与学生的孤立差异，不如观察这种差异是否在局部邻域内持续存在。这一思路从信号处理的角度重新诠释了自蒸馏中的置信度估计问题，也为后续工作提供了新的设计方向。

从实践角度，PCSD 不依赖推理时技能的特性具有重要的工程价值。许多辅助推理的技术（如技能检索、树搜索）会增加部署时的计算开销和系统复杂度，而 PCSD 学到的策略可以直接使用，无需额外的上下文构造。这使得方法更容易融入现有的 LLM Agent 部署管线。

然而，论文也存在一些局限性。首先，方法引入了多个超参数（$N_{\min }$、$N_{\max }$、$\alpha$、${\tau }_{\mathrm{low}}$、${\tau }_{\mathrm{high}}$、$\gamma$、${\beta }_{\mathrm{gate}}$），除了 ${\lambda }_{\mathrm{PCSD}}$ 外均未进行独立敏感性分析，存在这些固定值可能过拟合于当前实验配置的风险。其次，教师策略全程冻结且技能库由规则和关键词检索构建，限制了方法对动态演化环境的适应性。此外，实验仅覆盖 ALFWorld 和 WebShop 两个文本型基准，在 GUI 操作、代码生成、工具调用等更广泛场景下的效果有待验证。

对于[[强化学习]]中[[稀疏奖励]]问题的研究，PCSD 的思路提供了一个有价值的启示：信用分配不仅可以通过时序折扣或价值估计来实现，还可以通过分析教师偏好的局部结构来实现——只要这种偏好信号具有内在的一致性和可信度。这种将自蒸馏与[[强化学习]]结合的范式值得在更多任务和模型规模上探索。

研究背景与动机

训练大语言模型智能体执行多轮决策任务时，[[强化学习]]已成为主流范式。智能体每完成一次任务，环境返回一个二元结果：成功或失败。这个终局信号是训练信号的唯一来源——但它极度稀疏，只告诉我们「这件事做完了」或「没做完」，不会解释「哪一步做对了、哪一步搞砸了」。

这种粗粒度的轨迹级监督带来一个根本困难：成功行为、反复出现的错误、偶发性选择三者被纠缠在同一结果信号里。智能体可能偶然选对了某个动作而完成任务，也可能正确执行了大部分步骤却在关键节点失误。模型如果无法区分这些情况，就只能「眉毛胡子一把抓」，要么过度强化偶然正确的路径，要么在失败轨迹上保留了有害的行为模式。这正是 [[强化学习]] 领域中经典的[[稀疏奖励]]问题的具体体现——信号本身不携带足够的结构信息来指导细粒度的策略改进。

为了缓解这一困境，近年来出现了多条研究路线，其中最具代表性的是「智能体自蒸馏」方法。这类方法的核心思路是用自然语言技能来丰富监督信号：给策略注入一些文本形式的知识片段，帮助它在缺少奖励的轮次中也能判断当前决策的质量。技能可以来自外部检索，也可以由更强的模型从已完成轨迹中提取。

然而，这些路线各有各的软肋。检索式技能可能与当前交互历史脱节，强模型提取的技能可能超出当前策略的能力边界——策略学到了「理论上应该这样做」，但自己根本做不到。更根本的问题在于，许多方法是在单条轨迹上独立提取技能的，没有在同提示下的多条成功与失败轨迹之间做对比。结果提取到的很可能是路径特有的细节，而非真正区分成败的关键行为。GRSD 的核心动机正是要回答两个问题：如何从策略自身的在线经验中提炼与自身能力匹配的指导？如何利用组内多轨迹对比来识别对结果真正关键的行为？

方法

GRSD 采用两阶段构造加轮级自蒸馏的闭环框架，整体思路可以概括为「先让策略自己反思轨迹，再让这些反思相互比较，最后把比较结果注入[[信用分配]]」。

第一阶段是策略原生反思。对于每个训练提示，策略对组内每条已验证轨迹生成一段反思文本。这段反思由策略自身在推理模式下产出，固定一个外部评判器给反思打分（0到3分），由此得到每条轨迹的反思奖励及其组内归一化优势。这个阶段的产出是每条轨迹的「个人小结」：它为什么成功或失败，策略自己怎么看。

第二阶段是组级指导合成。这里引入了停止梯度机制：用一个策略快照（记为 ${\bar{\pi }}_{\bar{\theta }}$）来生成指导，而该快照的参数在反向传播时被冻结。将同提示下所有轨迹按结果分为成功集合与失败集合，让停止梯度快照对比这两组反思的分布差异，合成一段紧凑的指导文本。这段文本同时包含「应该做什么」（Do）和「应该避免什么」（Avoid），但它不是简单罗列两条轨迹的内容，而是经过对比提炼后提取的共性模式。停止梯度的设计保证指导生成过程不会被下游学习反向干扰，保持了信号的独立性。

接下来是轮级自蒸馏阶段，这是 GRSD 区别于先前方法的关键一步。自教师在两种条件下分别对已采样动作计算似然：一种只有当前对话历史，另一种额外注入前面合成的组级指导。两者的对数似然差值 ${\Delta }_{i,t}$ 反映了在当前轮次上，指导文本是否改变了策略对动作的偏好方向。取符号使其与验证器结果对齐：若轨迹成功则正向放大，若失败则负向放大。

为了防止指导信号过强或过弱导致训练不稳定，GRSD 对调制幅度做了有界处理。计算组内调制分数的均值作为基准，将每个轮次的调制分数归一化后裁剪到 $[-\bar{G},+\bar{G}]$ 区间。最终的轮级优势为：

其中 $m_x$ 是混合结果掩码，仅当组内同时存在成功和失败轨迹时才激活指导。这个约束至关重要：它保证了调制只能调整优势的幅度，而绝不会反转其符号——验证器决定了学习方向，指导只是精细化幅度。

总优化目标包含两项：任务损失使用调制后的优势进行 PPO-clipped GRPO 更新；反思损失则在独立的 token 子集上施加监督，两者互不干扰。论文在附录中给出了三条命题，形式化证明了这一机制具有方差缩减特性、有界正调制性质，以及与带正权重的 clipped GRPO 替代损失的精确等价性。

实验与结果

实验在三个具有代表性的智能体环境上展开：ALFWorld 考察具身推理能力，Search-based QA 考察搜索增强问答，WebShop 考察网页导航。骨干模型涵盖从 1.7B 到 7B 的多种规模。

主实验结果呈现出一致的模式。在 ALFWorld 上，GRSD 相对基线 GRPO 提升 5.5 个百分点，相对当前最强的技能自蒸馏方法 SDAR 也有 4.2 个百分点的优势。在 SearchQA 和 WebShop 上，提升幅度分别为 2.7 个百分点和最高 7.2 个百分点。值得注意的是，这些提升在所有测试的模型规模上都成立，说明方法不依赖于特定的模型容量。

泛化结果是论文最引人注目的发现之一。在 ALFWorld 的 Unseen 评测集（训练时从未见过的任务类型）上，GRSD 达到 83.6% 的成功率，比 GRPO 高出 8.2 个百分点，比 SDAR 高出 6.0 个百分点。在某些子类别（如 Pick2、Cool）上，提升甚至超过 20 个百分点。这说明组级对比提炼出的行为模式具有更强的抽象性，能够迁移到训练分布之外的新任务上。

训练动态分析揭示了 GRSD 持续有效的原因。基线方法在训练后半段普遍趋于平台期，而 GRSD 的成功率曲线始终保持上升趋势。与此同时，有效组比例（组内同时包含成功和失败轨迹的比例）在整个训练过程中维持在非平凡水平，确保对比信号始终可用。自教师似然差方面，GRSD 的特权上下文对策略原生似然的扰动明显小于 Skill-SD 和 SDAR，表明生成的指导与策略自身的认知更兼容。

消融实验逐一验证了各组件的贡献。移除组反思指导后性能显著下降；仅使用成功轨迹而丢弃失败轨迹会丢失对比信号；用 token 级或轨迹级的粗粒度调制替代轮级调制也会削弱效果。这些结果共同指向一个结论：组级对比与轮级细粒度调制的组合是方法有效性的关键。

训练成本方面，GRSD 相对 GRPO 增加约 17% 的计算开销，相对 SDAR 增加约 8%。考虑到性能提升，这个开销在可接受范围内。更重要的是，所有额外计算仅发生在训练阶段，推理时不需要任何额外开销。

讨论与可借鉴点

GRSD 的核心贡献在于提出了一种「能力对齐的自监督」范式。与其依赖外部强模型或离线技能库，GRSD 让策略从自己的经验中学习——反思自己的轨迹，对比成功与失败的差异，提炼出真正与当前能力水平匹配的行为指导。这种思路在本质上规避了技能-能力失配问题，因为提炼出的知识一定在策略的可表达范围内。

组级对比设计值得特别关注。之前许多自蒸馏方法在单轨迹层面提取技能，容易捕获路径特有的细节而非泛化的行为模式。GRSD 通过在同提示的多轨迹间做成功-失败对比，能够更有效地提取区分成败的关键特征。这种[[对比学习]]的思想在监督信号构造中有着广泛的应用前景。

有界调制约束是一个看似简单但极为重要的设计选择。它将指导的作用限定在「调整幅度」而非「改变方向」，既保留了验证器的权威性，又允许精细化的[[信用分配]]。形式化的理论保证进一步增强了方法的可信度，同时也为理解这类混合监督机制的收敛行为提供了分析基础。

当前方法的局限也很清晰。GRSD 依赖组内同时存在成功和失败轨迹——如果策略在某个提示上已经完美，成功率和失败率都为 0，则组级指导无法构造（虽然这种情况下策略本身已无需改进）。此外，反思阶段引入的外部评判器增加了训练开销，虽然可控但仍是非平凡的计算成本。反思文本的质量直接影响指导的有效性，如何进一步提升反思的可信度和信息量是值得探索的方向。

对于从事智能体训练相关研究的实践者，GRSD 提供了一种无需外部强模型、无需大规模技能库即可提升强化学习效果的可复用思路。组级对比与自教师调制的组合可以被拆解为独立模块，灵活地与其他方法结合。其核心洞察——「从自身经验中提取与能力匹配的对比信号」——对整个自监督学习领域都具有启发意义。

研究背景与动机

近年来，LLM智能体的研究范式正经历一场深刻转变：从依赖外部能力激发的「检索式部署」转向能力内化——即让模型在推理时无需检索外部技能库即可直接调用已固化的能力。这一转变的核心动机在于实际部署中外部检索带来的延迟开销、知识时效性以及系统复杂度问题。一个理想的内化智能体应当像人类专家一样，将外部习得的经验转化为稳定的参数知识。

在这一背景下，同策略自蒸馏（OPSD）成为实现能力内化的有前景方向。其基本思路是让一个能力更强的教师模型指导学生模型学习，教师可以是同一模型的特权版本（带有技能上下文或工具调用能力），学生则是部署时使用的无技能版本。然而，现有方法普遍采用一种朴素的监督策略：沿着学生生成的轨迹逐个动作打分，用教师的局部偏好作为监督信号。这种做法存在两个根本性的缺陷。

第一个缺陷在于教师偏好缺乏结果验证。教师从未真正与环境交互，它给出的动作评分本质上是一种事后猜测，与该动作能否真正导向任务成功之间没有可靠的因果联系。在长视野任务中，一个被教师高分的动作完全可能因为后续的决策失误而走向失败，用这样的偏好信号训练学生，就像是用从未下过棋的旁观者的建议来指导棋手。论文中的分析表明，技能条件的似然排名对实际成败的预测精度仅为约 0.515，几乎等同于随机猜测。第二个缺陷在于师生轨迹信息的利用极不充分：失败的学生采样通常被压缩成统一的失败奖励或直接丢弃，这掩盖了学生已经取得的有效中间进度；教师轨迹则被均匀蒸馏，未能区分「纠错动作」与「完成任务的后续行为」；更关键的是，师生轨迹之间的行为关系——它们在哪些状态保持一致、在哪里开始分歧——从未被系统性地提取和利用。

方法

OVCSD 的设计并非凭空产生，而是建立在三个精心设计的先导观察之上。第一个观察发现，失败的学生采样虽然最终都失败了，但它们在轨迹前缀层面共享大量有效的中间状态结构，这些结构可以自然地组织成一棵前缀树（trie）。这意味着即使学生整体失败，它在某些中间步骤上已经做对了，只是后续某个环节出了问题。第二个观察指出，技能条件教师的续接能力同时依赖状态和结果——共享前缀深度在跨任务间差异巨大，进一步量化发现，当动作支持数较低时，技能条件似然的预测精度只有约 0.515，增大支持数后更是降到 0.372 以下，说明单纯依靠教师似然来判断续接质量是完全不可靠的。第三个观察则揭示了师生轨迹「可比较性」的结构特征：分歧之前行为一致无需对比，分歧点处同状态不同动作可直接对比，分歧之后历史已经分离不能再逐步比较。

基于这三个观察，OVCSD 设计了三阶段的方法流程。

阶段一：基础学生采样。论文冻结一个无技能的基线策略 ${\pi }_{\bar{\theta }}^0$，对每个任务实例采样 $K$ 条轨迹构成一个组，计算组内相对优势 ${\hat{A}}_i=\frac{R_i-\bar{R}}{s_R+{ϵ}_R}$。当整组全部失败且优势方差无意义时，原有的组内优势被清零，学生完全依赖后续 OVCSD 的对比监督来学习。

阶段二：自适应结果验证式干预。这是 OVCSD 的核心创新之一。失败轨迹被组织成前缀树，每个节点表示学生到达的共享状态，深度代表学生已经正确执行了多少步。论文采用最深优先策略从更深节点发起干预，以保留更多学生已经做对的部分。教师从同一冻结快照 ${\pi }_{\bar{\theta }}$ 配备技能上下文 $c(S_x)$，形式化为 ${\pi }_{\bar{\theta }}^S(a_t|h_t,S_x)={\pi }_{\bar{\theta }}(a_t|h_t,c(S_x))$。教师最多执行 $N_T$ 步续接，但关键的是，只有当续接轨迹的最终奖励达到成功阈值 $R({\tau }_T^v)\ge r_{succ}$ 时，这个续接才被接受并加入训练集。如果续接失败，系统会回溯到更浅的祖先节点重试，自适应地扩大替换范围。这种结果验证机制直接解决了教师偏好缺乏验证的问题——43.5% 的初始续接在验证阶段被拒绝，正是这一机制过滤掉了那些看似合理但实际会导致失败的教师建议。

阶段三：对齐感知的对比学习。在获得经过验证的教师成功续接后，OVCSD 需要将教师知识迁移到学生身上。但师生轨迹在首次分歧之后历史已经分离，不能再简单地进行动作级对比。论文将迁移目标分为两部分。对于分歧点处的「纠错」行为，OVCSD 在首次状态对齐分歧处组织局部对比组。教师动作获得正优势 $A_{v,d}^T=\sqrt{m_{v,d}}$，失败学生的备选动作获得负优势 $A_{v,d,i}^0=-\frac{1}{\sqrt{m_{v,d}}}$，总正负优势质量保持平衡。这一局部对比信号通过标准裁剪的 GRPO 目标应用到学生策略上。对于分歧点之后的「完成」行为，由于历史已经分离不能再逐步比较，OVCSD 改为对分歧后教师分布与学生分布进行 [[KL散度]] 蒸馏：

其中 $q_{t,m}$ 是教师在带教师历史状态下的条件分布（stopgrad以避免教师本身被更新），$p_{t,m}$ 是学生自己的分布。最终的训练目标是增强版的 GRPO 目标加上后缀蒸馏目标的加权和：

值得注意的是，训练完成后推理阶段只需要部署无技能策略 ${\pi }_{\theta }^0$，不需要任何技能检索、前缀树或教师交互，实现了真正无开销的能力内化。

实验与结果

论文在 ALFWorld 和 WebShop 两个广泛使用的交互式基准上进行了全面实验，覆盖 Qwen3-1.7B、Qwen2.5-3B、Qwen2.5-7B 三种模型规模，并对比了包括无技能 GRPO、多种自蒸馏基线（OPSD、Skill-SD、SDAR）以及推理时使用技能的 SkillCOT* 在内的七类方法。

主实验结果展现了 OVCSD 的显著优势。在 ALFWorld 上，OVCSD 在三个模型规模上相对最强基线 SDAR 分别提升 29.7、4.7、6.3 个百分点，相对无技能 GRPO 的提升更是达到 37.5、14.1、11.0 个百分点。值得注意的是，性能提升主要集中在 Heat、Cool、Pick2 等需要多步组合决策的任务类型上，例如 Pick2 任务相对 GRPO 提升高达 43.2、41.4、36.5 个百分点。在 WebShop 上，OVCSD 相对 SDAR 提升 5.4、1.9、4.2 个百分点，WebShop 得分提升也达到 10.6、5.5、10.3 分。这些结果表明 OVCSD 的优势并非局限于某个特定任务或规模，而是具有良好的通用性和规模适应性。

更值得关注的是，OVCSD 的性能增益并非通过大规模增加环境交互换来的。论文详细分析了 100 步训练中各类环境交互的占比：学生轨迹交互约 177k 步，回放轨迹约 492 步，教师续接约 3,314 步，特权交互总计不足 3%。论文进一步绘制了预算对齐曲线，发现在累计 123k 动作时 OVCSD 即可达到 81.3% 的成功率，而 GRPO 此时仅有 57.8%；达到 GRPO 最终性能所需的累计动作从 174.3k 降至 81.4k，实现了约 2.1 倍的训练效率提升。

消融实验进一步揭示了各组件的必要性。移除局部对比（仅保留后缀 KL）使 ALFWorld 成功率从 81.25% 降至 66.41%，移除后缀 KL（仅保留局部对比）则降至 64.06%，说明「分歧点纠错」与「完成后缀蒸馏」两条学习信号相互补充、缺一不可。移除结果验证机制后，43.9% 的训练分支实际上是失败轨迹，直接证明了结果验证机制的关键作用。

讨论与可借鉴点

OVCSD 带来了一些重要的方法论启示。首先，它示范了如何将「对比」思想引入 [[自蒸馏]] 框架：不是让教师单向输出偏好，而是让师生轨迹在结构化对齐的基础上进行对比学习，这比单纯的动作打分能更充分地利用轨迹间的行为关系信息。其次，前缀树 + 最深优先 + 回溯的干预策略提供了一种优雅的机制来平衡「保留学生已有进度」与「引入教师正确续接」之间的权衡，这种思路可以推广到其他需要选择性干预的在线学习场景。第三，「结果验证」的概念具有广泛的适用性——任何依赖教师/专家偏好的学习方法都应该考虑将偏好信号与真实环境反馈挂钩，避免「高分低能」的虚假学习。

论文也诚实地讨论了若干局限。在基准覆盖方面，目前仅在 ALFWorld 和 WebShop 两个文字动作环境中验证，尚未在更长视野、更稀疏奖励的复杂场景（如 ScienceWorld）中进行检验。论文自身也指出，WebShop 上有 42.1% 的组在根状态之后没有任何共享候选，说明前缀树机制在某些任务类型上的适用性可能受限。在实验层面，主结果缺乏多随机种子的方差报告，难以判断某些边际差距（如 1.7B 模型上 4.7 个百分点的提升）是否统计显著。此外，OVCSD 依赖预置的技能库，技能库的质量与覆盖范围对最终效果的影响尚未被充分分析；教师采用同模型冻结快照的设计也意味着更大的性能天花板尚未被探索。

从更宏观的角度看，能力内化范式虽然降低了推理时的系统复杂度，但也带来了新的风险——一旦技能库包含错误或对抗性内容，这些知识会被直接固化进模型参数而缺乏事后审计。对于高风险部署场景，推理时保留一定的技能可控性和可解释性可能仍然是必要的。

研究背景与动机

在线自蒸馏已经成为提升推理语言模型能力的重要技术路线。与传统的离线蒸馏不同，OPSD 让模型在自己的采样轨迹上模仿一个"特权教师"——这个教师能够看到真实解题过程或中间反馈，从而为学生提供更高质量的指导。这种同策设置使学生能更好地适应自身的实际中间状态，而非仅仅模仿一个与自身分布脱节的固定目标。

然而，OPSD 在实践中常常暴露出脆弱的一面。要让它稳定工作，往往需要大量的工程调优：学习率怎么设、什么时候开始蒸馏、教师信号怎么加权——这些细节对最终效果影响很大，但缺乏系统性的理论指导。工程师们更多依靠经验试错，而非清晰的设计原则。

本文的核心洞察在于找到了这种脆弱性的结构性根源：vanilla OPSD 实际上恰好是 KL 正则化策略优化族中 $\beta =1$ 的特例。在 KL 正则化 RL 框架中，$\beta$ 用来控制学生策略与参考策略之间的 KL 惩罚权重。当 $\beta =1$ 时，这个参数被隐式地固定了，导致无法显式控制"学生应该多大程度上偏离当前策略、靠近特权教师"。正是这种自由度的缺失，使得 vanilla OPSD 在优化过程中缺乏对正则化强度的灵活调节能力。

方法

理解了 OPSD 与策略优化的深层联系后，作者顺理成章地将 $\beta$ 从隐含值解放出来，使其成为一个可控的正则化参数。由此得到的 $\beta$-OPSD 框架在"靠近参考策略"与"吸收教师指导"之间提供了一个显式的权衡机制。

具体而言，论文将教师-参考 log 比值作为奖励信号，代入标准的 KL 正则化 RL 目标：

当 $\beta =1$ 时，参考项恰好对消，目标退化为最小化反向 KL 散度，这正是标准 OPSD 的损失函数。这一推导建立了两个方法之间的严格等价关系。

在兼容支撑假设下，最优策略存在闭式解，其形式是参考策略与教师之间的几何插值：

这里 $Z_{\beta }$ 是归一化常数。从这个公式可以清晰看出：当 $\beta =1$ 时，最优策略就是特权教师本身；当 $\beta$ 趋向无穷大时，策略趋近参考策略；中间的 $\beta$ 值则在两点之间的路径上选择目标。这种几何直觉为 $\beta$ 的调节提供了直观的语义理解。

然而，直接用强化学习来优化这个目标会遇到两个障碍：计算序列级归一化常数 $Z_{\beta }$ 是 intractable 的，而 RL 优化本身也伴随着高方差。论文的核心创新在于绕过了这些问题——不是直接优化 RL 目标，而是将闭式解转化为一个蒸馏目标。由于闭式解要求对序列级别的分布进行归一化，作者转而在每个前缀位置构造局部目标：

这种 logit 混合的实现方式非常高效，只需对参考策略和学生/教师的 logit 向量进行加权求和再 softmax 即可，无需额外的模型前向传播或序列级归一化。

值得注意的是，标准的词元级梯度是"短视"的——每个词元只考虑自身的损失，忽略了它对后续词元分布的影响。在序列生成任务中，早期词元的选择会改变整个后续前缀，从而影响整个序列与目标分布的匹配程度。为此，论文引入了 return-to-go 信用分配机制，将折扣回报累积到每个词元：

当折扣因子 $\gamma =1$ 时，return-to-go 梯度是序列级反向 KL 梯度的无偏估计；引入折扣因子则可以在偏差与方差之间取得更好的平衡。

整个训练流程遵循一个简洁的循环：先从当前策略采样同策轨迹，然后用调度好的 ${\beta }_k$ 构造 logit 混合目标，接着计算 return-to-go 加权的词元级损失，最后更新模型参数。作者采用的调度策略是有界线性调度，$w_k=1/{\beta }_k$ 从初始的 $0.5$ 平滑上升到最终的 $0.8$，实现从偏重参考策略到偏重教师策略的课程学习。

实验与结果

实验在数学推理领域进行，训练数据来自 OpenThoughts 数据集的数学推理子集，评测则在三个竞赛级基准上展开：AIME 2024、AIME 2025 和 HMMT 2025。模型覆盖了 Qwen3 家族的 1.7B、4B 和 8B 三个规模，对比基线包括无后训练的基础模型、监督微调（SFT）、vanilla OPSD 以及基于结果奖励的策略优化方法 GRPO。

主实验在训练中途的 100 步检查点进行评估，主要指标是 12 次采样的平均正确率。结果显示，$\beta$-OPSD 在所有模型规模和所有基准上均一致超越 vanilla OPSD。对于参数量最小的 Qwen3-1.7B，提升幅度最为显著：AIME 2024 提升 9.16 个百分点，AIME 2025 提升 5.27 个百分点，HMMT 2025 提升 2.78 个百分点。更大规模的模型收益相对较小，但 4B 和 8B 模型仍然分别获得约 1.7 个百分点的平均提升。

除了与 vanilla OPSD 的对比，$\beta$-OPSD 还优于 SFT 基线，并在大多数配置下与或超越 GRPO。这种竞争力尤其值得注意，因为 GRPO 是更为复杂的强化学习方法，而 $\beta$-OPSD 保持了 OPSD 的简洁性——无需显式的奖励模型或复杂的信用分配机制。

消融实验进一步揭示了两个核心组件的贡献。插值目标相比直接使用教师目标，在三个基准上分别带来 6.03、5.30 和 1.67 个百分点的提升。return-to-go 信用分配则贡献了 1.12、5.55 和 3.61 个百分点的额外收益。二者的叠加效应表明，$\beta$-OPSD 的改进并非来自单一因素，而是两个设计选择共同作用的结果。

关于调度策略，实验比较了固定权重与多种线性调度方案。固定 $w=0.5$ 或 $w=0.8$ 的效果均不如动态调度，而从 $0.5$ 到 $0.8$ 的线性调度在整体上表现最优。这一发现支持了课程学习的直觉：训练初期保持较强的参考策略锚定有助于稳定优化，随着训练的进行逐步增加教师信号的权重则能更有效地吸收知识。

讨论与可借鉴点

这篇论文最值得关注的方法论贡献在于建立了一座原则性的桥梁——从自蒸馏出发，穿越策略优化的理论框架，再回到更高效的自蒸馏实现。论文的推导过程展示了一个有价值的范式：当一个启发式方法效果不错但不够稳定时，将其纳入更广泛的理论框架往往能揭示隐藏的自由度，从而找到改进空间。

对于实践者而言，$\beta$-OPSD 提供了几个可直接借鉴的设计原则。首先，"推导用 RL，训练用蒸馏"的思路具有普适性——先在理论上追求最优解的闭式表达，再将其转化为计算友好的近似形式，往往能兼顾理论优雅与工程效率。其次，return-to-go 信用分配机制虽然源于 RL 文献，但其核心思想——让每个词元的梯度反映其对整体目标的贡献——可以迁移到其他需要长序列优化的场景中。

论文也存在一些局限。实验仅限于数学推理领域，在代码生成、开放式问答等其他推理任务上的泛化性尚未验证。此外，主实验仅报告了 100 步检查点的结果，缺少完整训练曲线的对比，这对于评估优化稳定性是一个缺失。vanilla OPSD 的脆弱性是否真的被 $\beta$-OPSD 彻底解决，还是只是被超参调度策略所掩盖，也有待更系统的分析。最后，闭式几何插值与实际 logit 加法近似之间的偏差在理论上尚未被严格刻画。

从更宏观的角度看，这项工作回应了自蒸馏研究中的一个核心问题：为什么 OPSD 有效但不稳定？通过将 KL 惩罚显式化，论文不仅提供了改进方案，也为后续研究指明了方向——探索更精细的正则化调度策略，或将 $\beta$-OPSD 的思想与其他蒸馏技术相结合，都可能是值得尝试的路径。

研究背景与动机

带可验证奖励的强化学习（RLVR）已经成为提升大语言模型推理能力的主流范式。GRPO 等算法通过为每条完整轨迹输出一个标量奖励，引导模型学习"正确答案"的生成模式。然而，这种粗粒度的轨迹级信号天然存在 [[Credit Assignment]] 问题——奖励只能告诉模型"这条路径整体对或错"，却无法区分路径中哪些 token 贡献了正确结果、哪些 token 是冗余甚至有害的。当推理序列较长时，这种信用分配瓶颈会严重制约学习效率。

为了缓解这一问题，学术界沿着自蒸馏（Self-Distillation）的思路展开了大量探索。On-Policy Self-Distillation（OPSD）让同一模型同时扮演学生和教师，并借助真实答案等特权信息为教师赋予更强的推理能力。但直接进行分布匹配会让教师生成的文本直接覆盖学生已有的合理推理路径，造成"特权信息泄漏"：学生学到的是教师在完整答案条件下的分布，而非在自身推理过程条件下的改进方向。后续的 RLSD 方法转而只利用教师信号调制 token 更新的幅度，避开了分布匹配带来的泄漏问题，却也因此失去了对失败轨迹的方向性纠错能力——它只能调整"步伐大小"，却无法告诉模型"该往哪个方向走"。

本文的核心洞察源于对训练动态的细致观察：成功轨迹和失败轨迹蕴含的监督信息本质上是不同的。一条成功到达正确答案的响应，本身已经包含了一条由学生模型自主生成的有效推理路径，这条路径虽然在 token 级别可能存在冗余或概率分配不够精确的问题，但其方向性是正确的、不应被外部推理所替代。相反，一条推理失败或得不出正确答案的响应，其推理方向本身就走偏了，需要外部的参考信息来提供方向性的纠错。这一观察直接指向了一个更精细的事后监督框架：根据轨迹的正确性，联合适配教师上下文的构造方式和模型参数的更新策略。

方法

H²SD 的设计正是围绕上述洞察展开的。整体上，方法依据轨迹正确性 $m=1[R(x,y)=1]$ 来决定两件事：教师应该以什么样的上下文条件去生成自己的概率分布，以及学生应该用什么样的目标函数向这个教师学习。这两个维度的联合适配构成了方法的核心框架：

其中 ${\mathcal{L}}_{\mathrm{RLSD}}$ 对应成功轨迹的幅度调制损失，${\mathcal{L}}_{\mathrm{RKL}}$ 对应失败轨迹的反向 KL 蒸馏损失，$\gamma$ 控制两类损失之间的平衡。

提示的离线构造

为了让失败轨迹的教师拥有可靠的参考推理信息，H²SD 首先使用外部强模型（Kimi-K2.6）为每个问题离线生成自然语言形式的提示（hint）$h=\mathcal{H}(x)$。这些提示包含关键中间推理步骤和经验证的最终答案，但并非完整的逐步推导，因此不会直接泄漏解法。生成时每个问题最多尝试 5 次，温度设为 0.1，仅保留验证器通过的提示作为训练材料。

由此可以得到两类条件概率分布：学生模型在自身推理前缀条件下的分布 $p_{t,\theta }^S(\cdot )={\pi }_{\theta }(\cdot \mid x,y_{<t})$，以及教师模型在提示条件下的分布 $p_{t,\theta }^{T,h}(\cdot )={\pi }_{\theta }(\cdot \mid x,h,y_{<t})$。注意这里教师和学生是同一个模型，只是条件信息不同。

成功轨迹的处理

对于 $m=1$ 的成功轨迹，H²SD 采用一种"仅重评、不生成"的策略。教师上下文的构造方式是：把学生自己生成的已验证响应拼接上一条"改写指令"（rephrasing instruction），让教师在整体条件下去重新评估原始响应的每个 token。

具体而言，首先计算教师与学生分布在每个位置的概率比值：

其中 $A$ 是由奖励决定的轨迹级优势。取 sign 的目的是保持方向性：对于正优势（被鼓励的 token），概率比值越大意味着教师越认同，权重越高；对于负优势（被抑制的 token），比值越大反而应该降低权重。

随后，这个幅度权重被融合进 token 级的优势估计：

这里 $\lambda$ 控制幅度调制的强度上限，clip 操作防止权重过于极端。通过这种方式，成功轨迹保留了由奖励信号确定的方向性（该鼓励的 token 仍然被鼓励，该抑制的仍然被抑制），但在 token 级别上细化了信用分配的精度：那些被奖励认可的 token 如果在教师看来概率偏低，就会获得额外的强化信号；反之亦然。

失败轨迹的处理

对于 $m=0$ 的失败轨迹，情况则完全不同。此时学生模型的推理方向本身就偏离了正确答案，幅度调制只能调整"步伐大小"却无法改变"前进方向"。为此，H²SD 在失败轨迹上引入 [[KL 散度]] 形式的蒸馏损失，让学生的概率分布去匹配教师在提示条件下的分布：

这里使用的是反向 KL（$p^S\Vert q^T$），而非常见的正向 KL，其关键差异在于优化方向：反向 KL 要求学生的分布必须完全覆盖教师的高概率区域，但允许在教师概率低的地方保留一定的学生自身分布。在失败轨迹的语境下，这意味着学生应该优先学习提示所暗示的正确推理方向，但不必完全丢弃自己的推理路径中可能仍有效的部分。这种特性使得反向 KL 在纠错场景下比正向 KL 更加稳定——它不会因为学生与教师在局部 token 上的轻微分歧而产生过大的惩罚梯度。

算法流程

综合来看，H²SD 的训练流程包含以下步骤：首先从当前策略采样 $G$ 条轨迹，计算奖励并标记正确性 $m$；然后对于 $m=1$ 的轨迹，构造"改写+已验证响应"的教师上下文，应用 RLSD 幅度调制更新策略；对于 $m=0$ 的轨迹，构造"提示 $h$"的教师上下文，应用反向 KL 蒸馏更新；最后将两类损失的加权和作为总目标函数进行优化。

实验与结果

实验设置

论文在 Qwen3-30B-A3B-Instruct-2507 基模型上进行了实验，涵盖了四个独立的训练设置：Sudoku-6×6、Sudoku-8×8、Calcudoku（5×5 和 6×6 两种规模）、Arrow Maze（从 6×6 到 10×10 五种规模）。这些基准均为程序化生成的逻辑推理任务，具有可验证的确定性答案，能够有效降低预训练数据泄露的风险，提供更纯净的推理能力评估环境。

所有方法均采用 VERL + SGLang 框架训练，使用 FSDP 进行全参数训练。为了控制计算成本，实验在 token 级概率计算时采用了 top-100 加尾部桶近似的策略。

主要结果

实验结果清晰地表明，H²SD 在所有基准上均取得了最优的综合性能。对比基线涵盖了三类代表性方法：纯 RLVR 方法（GRPO）、on-policy 自蒸馏方法（OPSD、SDPO）、以及幅度调制方法（RLSD）和混合方法（SRPO）。

最引人注目的是 Sudoku 任务上的表现：H²SD 在 6×6 和 8×8 两个规模上分别达到了 76.50% 和 57.25% 的准确率，远超所有基线方法。这一提升幅度（相对于次优基线超过 40 个百分点）表明，成功-失败轨迹的差异化处理对于需要精细规划的推理任务尤为重要。

除了精度指标，H²SD 还在推理效率上展现出显著优势。在所有四个基准上，H²SD 均保持了最短的平均生成长度，位于精度-生成长度 Pareto 前沿。这意味着模型不仅能更频繁地得到正确答案，还能以更少的 token 消耗达到正确结果——这对实际部署中的延迟和成本控制都有直接价值。

消融实验的关键发现

为了验证设计选择的有效性，论文进行了多维度的消融实验。

路由策略的消融对比了四种设置：仅使用幅度调制、仅使用反向 KL、反向路由（成功用反向 KL，失败用幅度调制）、以及 H²SD 的正确路由。结果表明，正确的路由方式至关重要——错配会导致策略熵快速坍缩到零，训练崩溃。这验证了"成功轨迹需要幅度细化，失败轨迹需要方向纠错"这一假设的必要性。

特权上下文的消融测试了不同提示来源的效果：程序化反馈（含中间状态但不含推理）、Ground Truth（最终答案）、Sibling Solution（同问题的其他正确解）、以及过程级 Hint（Kimi-K2.6 生成）。实验证实，过程级 Hint 远优于其他选项，说明包含中间推理步骤的参考信息对失败轨迹的纠错最为有效。

改写指令的作用在有无该指令的对比中显示出一种机制依赖性：改写指令仅在幅度调制机制下稳定有效，与反向 KL 联合使用时会导致熵快速坍缩。这提示改写指令的存在改变了教师分布的性质——它让教师更倾向于对原文进行"改写"而非"续写"，从而影响了幅度调制的语义。

讨论与可借鉴点

H²SD 的成功揭示了一个在 RLVR 自蒸馏研究中常被忽视的问题：教师模型在训练中扮演的角色不应是一成不变的，而应该根据学生当前的学习状态进行动态适配。成功轨迹和失败轨迹蕴含的监督信号具有根本不同的语义——前者需要的是精细化调整，后者需要的是方向性纠错——用同一套策略处理两类轨迹，必然导致顾此失彼。

从工程落地的角度看，这项工作有几个值得注意的局限。首先，H²SD 依赖外部强模型（Kimi-K2.6）离线生成过程级提示，这在没有强参考模型的场景下难以直接应用。其次，提示需要经过验证器过滤才能使用，这意味着训练数据会因为"提示生成失败"而被丢弃，覆盖面上存在缺口。第三，论文仅在 Qwen3-30B-A3B 这一个模型上验证了方法，未探索跨规模或跨架构的可迁移性。最后，H²SD 在推理时仍然没有特权信息可用——提示仅在训练阶段作为教师条件，对于推理时无验证器的任务无法直接部署。

尽管存在这些局限，H²SD 的核心思想为后续研究提供了有价值的启发。一方面，按状态自适应地切换学习目标这一范式可以推广到其他 RL 场景——例如在探索-利用的权衡中，根据当前策略的熵或价值估计动态调整更新方式。另一方面，反向 KL 在纠错场景下的独特优势值得进一步探索：其"mode-seeking"特性天然适合"学生必须在教师指出的方向上有所改进"这一约束，这可能为其他需要精准纠错的训练场景提供借鉴。

研究背景与动机

在开放式任务上提升大语言模型的能力，一直是领域内的核心挑战之一。与数学、代码等拥有确定性验证器的领域不同，医疗咨询、长文本生成等场景缺乏可信赖的自动评测标准。[[基于评分标准的强化学习]]（Rubric-based RL）应运而生，它将响应质量分解为一组评估标准，由评判模型逐项打分后加权聚合为标量奖励，配合 GRPO 等算法驱动策略优化。这种范式在开放式任务上展现出不错的潜力。

然而，现有方法存在两类尚未被充分解决的失败模式。第一类称为未探索标准（UC）：当组内所有采样轨迹均未能满足某条标准时，该标准完全得不到优化信号——模型甚至不知道自己"不知道什么"。第二类更为隐蔽，称为抑制标准（SC）：某些轨迹已经满足了该标准，但在聚合奖励排序后反而获得了非正的组相对优势，导致原本有用的行为模式被惩罚或忽略。论文的经验分析揭示了一个令人警醒的事实：在整个训练过程中，超过 57% 的样本表现出 SC 失败模式，平均每个样本有 1.8 个被抑制的标准，而 UC 的发生率更高达 83%（平均每样本 2.5 个）。这意味着相当比例的学习信号在优化过程中被白白浪费了。

针对 UC，现有工作如 HeRL 尝试在采样阶段将评分标准作为外部引导引入，以增强探索能力。但这种方法引入了训练-推理不一致——策略在有外部引导的条件下产生的轨迹上训练，而推理时这种引导并不存在。在生成长响应时，这种分布偏移会通过自回归解码逐步累积，造成性能衰减。更重要的是，这些探索导向的方法完全忽视了 SC 的存在。

方法

CriPO 的核心洞察是：与其依赖外部引导（不可避免地引入分布偏移），不如利用策略自身的知识来弥补缺失的学习信号。具体而言，CriPO 保留 GRPO 作为稳定奖励驱动的优化主干，同时引入同策略自蒸馏（OPSD）作为辅助模块，针对 UC 与 SC 分别设计两类自教师，以细粒度的 token 级监督信号补充全局奖励的不足。

针对 UC 的行为注入模块遵循"最小修订"原则。论文发现，选择组内最高优势的轨迹作为修订对象是更优选择——它已经满足大部分标准，只需最小的改动即可满足剩余标准。给定该轨迹和未满足的标准集合 $C_u$，CriPO 构建如下标准注入教师提示：请模型以"最小必要修改"的方式修订响应以满足这些标准，只输出修订后的内容。这种构造方式确保了教师信号与当前策略的分布接近，同时注入了当前缺失的行为模式。

在蒸馏方式上，CriPO 采用前向 KL 散度而非反向 KL。前向 KL 在学生分布缺乏某些模式时会自然地将概率分配给教师的多个偏好模式，而非过度惩罚自身已有的合理分布——这正是行为注入场景所需要的。为了避免在所有 token 上均匀计算损失（引入过多无关噪声），论文引入贡献引导的过滤机制：只计算那些累积贡献达至 95% 的"高影响力 token"，其余 token 不参与损失计算。经验观察表明，约 34.6% 的 token 贡献了 95% 的 KL 散度，这种过滤在保持效果的同时显著降低了优化噪声。

针对 SC 的优势翻转模块更为精妙。对于负优势轨迹中满足抑制标准的部分，CriPO 构建一个反事实教师——它被要求有意弱化或删除满足这些标准的部分。比较反事实教师与原始策略在各 token 处的分布，可以定位出真正承载被抑制标准语义的 token。具体而言，如果移除某标准后，原始策略在该 token 处采样目标 token 的概率下降（说明该 token 确实关联该标准），且反事实教师显著倾向于其他 token（说明该模式可被抑制），则该 token 被纳入定位集合。

对这些定位出的 token，CriPO 将其 token 级优势从轨迹级的负值 $A_i$ 翻转为一个固定正值 ${\tau }_{\text{flip}}=0.1$。这相当于在保留 GRPO 全局优化方向的同时，对"被抑制但有用"的行为做局部反向修正，使其不再被惩罚。

两种模块协同工作的机制清晰：行为注入为模型开辟新的能力边界，优势翻转则在已有能力范围内解救被错误压制的有用模式。总训练目标为 $L_{\text{CriPO}}=L_{\text{GRPO}}+\beta L_{\text{OPSD}}$，两个模块各司其职，共同提升学习效率。

实验与结果

论文在医学和科学两个领域构建了完整的实验验证。训练数据包括 RaR-Medicine（15,658 条训练样本）和 RaR-Science（10,874 条训练样本），评测则在 HealthBench、LLMEval-Med、ResearchQA 等多个基准上进行，涵盖域内和跨域泛化能力评估。主实验使用 Qwen3-4B 作为基础模型，以 GRPO、HeRL（外部引导增强探索的代表性方法）、纯 OPSD（将全部 rubric 作为特权信息）以及 CriPO 的两个消融变体（CriPO-U 仅行为注入、CriPO-S 仅优势翻转）作为对比基线。

核心结果呈现出一个清晰的模式。首先，完整 CriPO 在所有基准上均显著优于 GRPO，尤其值得注意的是其样本效率优势：在约一半的优化步数（论文报告约 2 倍的效率提升）下即达到更强的最终性能，这直接验证了 UC 和 SC 处理的有效性。其次，CriPO-U 和 CriPO-S 的消融实验表明，两个模块存在互补性：单独使用任一模块只能部分改善性能，完整方法的效果最强，说明两类失败模式确实独立存在且同等重要。第三，纯 OPSD 基线的糟糕表现（Qwen3-4B 在 RaR-Medicine 上从 ~57% 跌至 30% 附近）有力地证明了论文的核心判断——OPSD 存在特权信息泄漏、自教师信号不可靠等内在问题，必须与 GRPO 配合使用。最后，HeRL 的跨域泛化性能不如 CriPO，这与其训练-推理不一致问题高度吻合。

讨论与可借鉴点

CriPO 的贡献在于系统性地识别并形式化了 UC 与 SC 两类失败模式，并设计了无需外部引导的解决方案。这为基于评分标准的强化学习研究提供了新的优化视角。

然而，论文也存在若干局限。首先，行为注入模块依赖策略自身生成修订后的轨迹，这意味着如果基础策略在某些维度上能力严重不足，修订信号可能仍然不够可靠。其次，对于 SC 的处理假设"被抑制的标准对应的局部模式可以独立提取"，但在某些语义高度纠缠的生成中，这种假设可能不成立。第三，论文的所有实验均在 4B 参数量级的模型上进行，更大规模模型的 scaling 特性尚未被验证。

从方法论层面，CriPO 展示了一个有价值的范式：对于复杂的多维度评估场景，将问题分解为"探索缺失"与"信号抑制"两类，分别设计针对性的救济机制，而非试图用单一方法处理所有问题。此外，贡献引导的 token 过滤设计提醒我们，在 token 级优化中并非所有位置都同等重要——识别并聚焦高影响力区域可以显著提升优化效率。这种"精确定位、最小干预"的思路，对于其他需要细粒度控制的强化学习应用同样具有借鉴意义。

研究背景与动机

大推理模型通常依赖长链思维（CoT）轨迹来逐步推导答案，这种方式确实带来了显著的能力提升，但代价是推理成本急剧膨胀。深入观察这些长轨迹会发现一个被低估的现象：其中相当一部分计算被浪费在重复的自我验证、绕了一圈又回到原点的推导、以及对最终答案毫无贡献的迂回探索。更耐人寻味的是，当研究者尝试压缩这些思维链时，往往会得到一个反直觉的发现——缩短后的模型不仅没有变笨，有时甚至比原始模型表现更好。这强烈暗示原始长 CoT 中存在大量"表演思考"而非"真正思考"的成分。

这一观察催生了推理压缩研究的蓬勃发展。免训练方法通过在推理时加入简洁指令或早停机制来控制生成长度，但效果高度依赖模型本身的遵循能力。基于强化学习的方法引入长度惩罚奖励，能系统性地平衡准确率与效率，但需要精心设计奖励函数和训练流程。这些方法要么缺乏训练信号的指导，要么需要借助外部力量。

在策略自蒸馏（OPSD）代表了一条更优雅的路线：让模型自身充当教师，在简洁性指令下生成动态参考。具体来说，学生模型采样一条轨迹，然后一个携带简洁指令的教师版本在相同前缀上提供更简洁的下一 token 预测，损失函数是学生分布与教师分布之间的逆向 KL 散度。理论上这形成了闭环自改进：更简洁的教师引导学生缩短推理，学生变短后又生成新的简洁前缀。

然而论文揭示了一个此前被忽视的瓶颈——前缀支持问题。逆向 KL 散度只在学生已经访问过的前缀上计算监督信号，这是一个"前缀局部"的匹配目标。当从冗长的基模型开始训练时，学生会探索大量噪声、冗余甚至已经偏离正确轨道的前缀。此时简洁教师虽然存在，但被查询时所处的上下文已经充满杂质。教师只能在局部提供下一 token 的修正，无法从根本上扭转学生继续沿着错误方向探索的倾向。这就像给一个习惯性绕远路的人指路，每次只能告诉他"下一步怎么走"，但这个人还是会继续选择绕远路，因为他的整体策略已经偏向冗长。

方法

理解 BIRD 的设计需要先明确推理压缩的形式化框架。将推理压缩表述为分布匹配问题：学习一个学生策略 ${\pi }_{\theta }$，使其匹配某个目标分布 ${\pi }_{\text{target}}$。不同方法的差异既在于如何构造目标分布，也在于监督信号实际施加在序列的哪些位置上。

序列生成遵循标准的自回归分解，每个 token 的概率取决于之前的所有 token。在策略自蒸馏的目标函数可以写作：

其中 $q_t={\pi }_{\theta }(\cdot \mid x,y_{<t})$ 是学生在当前位置的分布，而 $p_t={\pi }_{\bar{\theta }}(\cdot \mid x,c,y_{<t})$ 是教师分布，它携带了简洁指令 $c$（如"请简洁回答"），被查询时同样处于学生的当前前缀。停止梯度操作确保教师参数不因梯度回传而更新，通常采用周期性地从学生参数同步的策略。

问题在于这个目标函数的监督范围受限于学生 rollouts 的前缀支持。如果学生的前缀分布本身偏向冗长、噪声和偏轨，那么即使教师再简洁，匹配也是在错误的基础上进行的。这解释了为什么直接对大推理模型应用在策略自蒸馏往往只能获得有限的改进——蒸馏的效率被初始化拖累了。

BIRD 的核心洞察是：与其让教师去适应脏乱的前缀分布，不如先改善前缀分布本身。这催生了两阶段的设计。

第一阶段被称为静态自举（Prompt-Switch SFT）。给定训练题目集 $D$，对每个样本 $x$，让基模型在简洁指令 $c$ 下采样一条轨迹。这里引入一个关键过滤条件：只有当模型生成的答案与真实答案匹配时才保留这条轨迹。这一步筛掉了那些虽然简洁但答案错误的轨迹，确保进入后续训练的数据质量。

接下来是最关键的设计：提示切换。轨迹本身是在 $x+c$（原始问题加简洁指令）的条件下生成的，但在训练时只使用原始问题 $x$ 作为提示，不包含简洁指令。这意味着模型学习的是：面对普通数学题时，自动采用简洁的推理风格，而非在指令驱动下才变得简洁。这一步将"指令诱导的简洁性"内化为模型的默认行为，避免简洁成为推理时的临时工件。论文采用轻量级的微调配置：仅 1 个 epoch、每个样本 1 条轨迹、最大长度 2048 token、LoRA 高效适配。这种轻量化设计确保第一阶段不会过度拟合特定轨迹，同时足以将简洁推理的偏好注入模型。

第二阶段是动态精炼（Warm-Start OPSD）。从第一阶段得到的预热模型 ${\pi }_{{\theta }_{\text{SFT}}}$ 出发，执行标准的逆向 KL 在策略自蒸馏。教师是学生参数的停止梯度副本，按周期从学生同步。教师在生成时同样携带简洁指令，但这次面临的前缀分布已经大大改善——更短、更直接、更少噪声。教师能够在更干净、信息量更丰富的上下文上提供监督，KL 损失不再浪费在冗余和偏轨区域。第二阶段的关键改进是初始化：不再从冗长的基模型出发，而是从一个已经"习惯"简洁推理的模型起步。这相当于给模型换了一个更好的起点，后续的蒸馏优化在这个起点上能够更高效地收敛。

实验与结果

论文在 Qwen3 系列的 1.7B、4B、8B 三个规模上验证 BIRD，评测基准包括 MATH-500、AIME 2024 和 AIME 2025。基线方法包括原始模型（Base）、仅推理时加简洁指令（Concise）、以及论文自行复现的冷启动 OPSD 方法 CRISP。

主结果呈现了清晰的层级关系。在 Qwen3-8B 上，BIRD 将 MATH-500 准确率从 86.2% 提升至 92.0%，同时将平均响应长度从 3099 token 压缩至 1115 token，准确率提升和长度压缩同时发生，这是最理想的结果形态。在更具挑战性的 AIME 2024 上，准确率从 38.33% 升至 58.33%，长度从 6230 压缩至 4067，提升幅度依然显著。论文还测试了跨模型家族的迁移能力：在 DeepSeek-R1-Distill-Llama-8B 上，BIRD 依然取得了 +8.0 个百分点的准确率提升和 33% 的长度缩减，说明两阶段策略不依赖特定模型架构。

论文引入了一个综合指标 Token Efficiency (TE)，定义为 $TE=\frac{Accuracy}{\ln (Length)}$，用对数长度作为分母来刻画"长度缩短的边际收益递减"效应。在这个指标下，BIRD 在 9 个模型-基准组合中有 8 个取得最高值，仅在 Qwen3-1.7B / AIME 2025 上略低于 CRISP。值得关注的是，1.7B 这样的小规模模型收益有限，准确率甚至有小幅下降，表明小模型在简洁指令下生成正确答案的可靠性不足，Stage 1 的效果受限于模型容量。

消融实验揭示了各组件的贡献。SFT-only（仅第一阶段）在准确率上与 Base 相当但长度大幅缩短，说明提示切换 SFT 本身就能实现有意义的压缩。CRISP（冷启动 OPSD）能够进一步压缩长度，但准确率提升有限。BIRD 则是两者结合后的最优结果。阶段顺序的消融更有意思：如果将两个阶段颠倒过来——先做 OPSD 再做 SFT——长度虽然能进一步压缩，但准确率显著下降（Qwen3-4B / AIME 2025 从 40.83% 跌至 28.33%），说明后置的 SFT 会覆盖在线学习到的策略。

训练动力学曲线直观地展示了初始化改善的效果。BIRD 的初始 Token Efficiency 就已经达到了 CRISP 训练全程的峰值水平，25 步之后就超过了 CRISP 的最佳表现。这意味着 Stage 1 的预热让模型"赢在起跑线上"，后续的 OPSD 不需要从头学习简洁推理，只需在已有基础上精炼。

讨论与可借鉴点

BIRD 最重要的理论贡献是揭示了前缀支持在蒸馏中的关键作用。此前的研究通常关注如何构造更好的教师、选择更优的蒸馏目标函数，但 BIRD 指出，问题不仅在于教师"说什么"，更在于教师"被问什么"。即使拥有完美的简洁教师，如果它总是被查询于噪声和偏轨的前缀上，蒸馏依然低效。这个视角将推理压缩从"如何让模型变短"扩展到"如何让模型在更短的上下文中学习"。

两阶段设计体现了"先改善数据分布再训练"的工程哲学。第一阶段的提示切换 SFT 不需要任何外部教师或奖励信号，只依赖模型自身的生成能力和简单的答案过滤。这使其成为一个即插即用的组件，可以与各种后续蒸馏策略组合。这种"自举"思想——利用模型自身的生成能力来改善后续训练的起点——值得在其他长文本生成压缩任务中借鉴。

然而，论文的实验范围集中于数学推理这一单一领域。大推理模型同样广泛应用于代码生成、逻辑推理、多模态推理等场景，这些领域的长链思维是否同样存在可压缩的冗余、BIRD 的两阶段策略能否迁移，还有待验证。此外，论文在超参披露上略显不足——KL 损失截断到前 1024 token、SFT 截断到 2048 token、LoRA 秩等关键超参的选择依据和敏感性分析未被详细讨论，这为后续复现和调优留下了一定空间。

对于实践者而言，BIRD 的一个重要启示是初始化质量对在线学习方法的决定性影响。当模型的初始 rollout 分布不理想时，即使采用理论上正确的优化目标，也难以取得好的结果。在这种情况下，与其直接在目标分布上训练，不如先花少量资源改善模型自身的生成分布，再进行目标驱动的训练。这种"预热-精炼"的范式或许可以推广到其他需要模型探索自身分布的场景中。

研究背景与动机

知识蒸馏是当前大语言模型压缩与能力迁移的核心技术之一。传统方法通常采用离线蒸馏范式：预先由教师模型生成一批固定数据，再由学生模型在这批数据上进行监督学习。这种方式实现简单、计算高效，但存在一个根本性的局限——教师数据是静态的，无法覆盖学生策略在训练过程中实际遇到的新状态。随着学生能力逐步提升，它面对的输入分布会发生变化，而那些从未出现在教师数据中的状态就无法获得有效的监督信号。

在策略蒸馏（OPD）试图解决这一问题。与离线蒸馏不同，OPD 在学生模型自己生成的轨迹（rollout）上收集教师或评估器的监督信号。这种做法确保了学生始终在自己当前策略的真实分布上进行学习，教师可以针对学生实际遇到的困难提供更有针对性的指导。然而，领域内现有的 OPD 方法在实现上呈现出高度的碎片化特征：有的方法采用序列级别的损失，有的采用 token 级别的损失；有的需要教师和学生使用相同的分词器，有的则需要处理跨分词器的对齐问题；有的方法直接访问教师模型的 logits，有的只获取教师的偏好排序或打分。这些差异使得研究者和工程师很难复用他人的实现，也难以系统地探索不同 OPD 变体的优劣。

更关键的是，许多 OPD 方法被设计为封闭的独立系统，每个方法都需要重新实现自己的数据采样、训练循环和分布式通信逻辑。这不仅造成了大量重复开发工作，也使得不同方法之间的公平比较变得困难。EasyOPD 的核心动机正是提供一个统一的 OPD 实现平台，将方法层面的多样性（不同监督形式、不同分词器兼容性等）与底层的分布式执行基础设施分离，让研究者可以专注于方法创新而非工程实现。

方法

EasyOPD 的设计哲学可以用一句话概括：方法模块化，执行统一化。整个框架建立在 verl 之上——这是一个面向大语言模型的分布式强化学习框架，本身已经解决了 actor-learner 架构、梯度同步、GPU 通信等工程难题。EasyOPD 在此基础上引入了扩展边界（extension boundary）的概念，将影响方法行为的各个维度抽象为可插拔的接口。

具体而言，EasyOPD 定义了五个核心扩展边界。第一，损失构建边界允许不同的蒸馏目标接入框架——比如 KL 散度损失、序列级对比损失或混合损失组合。第二，rollout 元数据边界负责收集学生生成轨迹的额外信息，这些信息对于某些监督形式至关重要（例如计算 token 级别的注意力对齐时需要保存注意力矩阵）。第三，奖励处理边界将外部评估器或教师模型的反馈转化为可用的训练信号。第四，分词器对齐边界是跨分词器蒸馏场景的关键，它定义了如何将教师和学生各自的 token 序列映射到统一的语义空间进行对比。第五，教师端计算边界封装了教师模型的调用方式，既支持直接访问教师 logits 的白盒场景，也支持只能获取评分的黑盒场景。

这种方法设计的直觉在于：现有 OPD 方法的差异主要集中在前四个边界上，而它们共享的数据采样、分布式训练和梯度更新机制恰好可以统一由 verl 处理。EasyOPD 并不是发明新的蒸馏算法，而是为已有和未来的 OPD 方法提供一个可复用的工程底座。框架的用户只需编写 YAML 配置文件声明使用了哪些扩展边界，底层会自动组装出完整的训练流程。

论文在三个典型场景中实例化了 EasyOPD 的方法模块。跨分词器 OPD 针对教师和学生模型架构差异较大的情况，例如从基于 SentencePiece 的模型蒸馏到基于 BPE 的模型。此时分词器对齐边界会先将两个模型的输出映射到词族（word family）级别，再在共享空间计算对齐损失。在策略自蒸馏则让学生模型同时扮演教师角色——用更早检查点的模型作为教师监督当前检查点，既避免了外部教师的依赖，又能在训练过程中持续提供适应性的监督信号。逐步式 OPD 将整个蒸馏过程划分为多个阶段，每个阶段针对不同的能力维度或难度级别，由不同的教师或评估器组合提供监督，这种设计使得训练路径更加灵活可控。

实验与结果

论文在四类代表性基准上验证了 EasyOPD 的可行性：推理任务（使用 ARC-Challenge 和 MATH）、代码生成（HumanEval）、科学知识（MMLU 的多个子集）以及工具使用（ToolBench 的子集）。实验的核心发现不是某个具体蒸馏方法取得了最优性能，而是验证了 EasyOPD 能够通过同一套 verl 后端成功运行三种不同场景的 OPD 实现，并且每种实现都能保留其设计目标所预期的行为特征。

例如，在跨分词器 OPD 的验证中，论文对比了使用相同分词器（作为上界）和使用随机初始化分词器对齐（作为下界）的基线，结果显示 EasyOPD 的对齐边界设计能够在分词器不兼容的情况下仍然学习到有意义的语义对应。在自蒸馏实验中，学生模型相较于教师检查点表现出持续的能力提升，证明在策略设置确实比离线蒸馏更能适应学生自身的演化轨迹。逐步式 OPD 的消融实验则表明，分阶段引入不同监督源比一次性混合所有监督带来更稳定的训练曲线。

值得注意的是，论文并未声称 EasyOPD 在绝对性能上超越了所有已有 OPD 方法。其贡献定位是工程基础设施层面的——降低 OPD 方法的复现门槛和比较成本，而非提出新的算法创新。这一实验策略是合理的：对于一个框架性质的工作，最重要的是展示它能够正确运行多种已有方法，而非在某单一任务上与专门调优的实现竞争。

讨论与可借鉴点

EasyOPD 的最大贡献在于它揭示了一个长期被忽视的问题：LLM 训练领域的基础设施碎片化已经严重阻碍了方法论层面的进展。当每个新方法都需要从零实现分布式训练逻辑时，整个领域的迭代速度都会受到影响。EasyOPD 证明了一条可行的解决路径——基于成熟框架（如 verl）的扩展机制，用模块化设计容纳方法多样性。

然而，这个方向仍有局限值得注意。首先，EasyOPD 目前依赖 verl 本身的设计假设，对于非 actor-learner 架构的蒸馏方法（如纯粹基于对比学习的做法），整合路径可能并不顺畅。其次，分词器对齐边界虽然提供了一定的抽象，但跨分词器的语义对齐本身仍是一个活跃的研究问题，框架只是降低了相关实验的工程成本，并不能替代对该问题的理论探索。第三，逐步式 OPD 的阶段划分目前仍依赖人工设计，如何自动发现最优的阶段划分策略是一个值得探索的方向。

对于更广泛的大模型训练研究社区，EasyOPD 的实践提供了几点可借鉴的思路。第一，解耦胜于统一：与其试图设计一个能覆盖所有场景的统一算法，不如在工程层面提供灵活的接口让不同算法共存。第二，开源配置而非仅开源代码：论文强调其 YAML 配置可以直接运行，这降低了用户的尝试成本，使得研究分享更接近可复现的标准。第三，框架设计本身也是贡献：当一个领域足够成熟时，方法创新的边际收益递减，而降低创新成本的基础设施建设的价值会相应上升。

研究背景与动机

在策略自蒸馏（OPSD）近年来成为提升大语言模型推理能力的重要范式。其基本思路是：让模型在自身生成的推理轨迹上进行"自我教学"——同一个模型充当"学生"生成当前策略下的解答，同时充当"特权教师"在能访问参考答案的条件下给出 token 级的监督信号。由于学生和教师都来自同一模型族，OPSD 天然避免了离线蒸馏中常见的分布失配问题，理论上应该是一种优雅且高效的自提升方案。

然而，当研究团队将这套方法搬到长链思维（long-CoT）推理模型上时，预期的收益并没有出现。他们在 AIME 2025 等数学竞赛基准上观察到一种令人担忧的模式：训练刚开始时模型性能短暂上升，但随后持续退化，最终往往低于基座水平。更棘手的是，模型的认知行为出现了明显异常——那些反映自我反思和探索的标记（如"Wait"、"Maybe"、"Perhaps"、"Let me think"）在使用标准 OPSD 后要么整体消失，要么过度集中于某一个标记。这种现象在 Qwen3-8B 和 DeepSeek-R1-Distill-7B 等主流模型上都稳定复现，说明并非偶发的训练不稳定，而是某种系统性原因。

为什么长 CoT 模型会在这里"翻车"？研究者的直觉是：长 CoT 模型的核心能力在于它们能够停下来反思、质疑自己、尝试不同的思路分支。当模型已经知道"标准答案"时，这个反思过程就变得多余了——教师模型因为知道答案，所以倾向于跳过探索阶段，直接指向最短的记忆路径。反映在训练信号上，就是教师监督被参考答案特有的捷径成分主导，而真正有价值的、基于问题本身的推理修正反而被淹没。

方法

要解决这个问题，首先要能"看见"问题。研究者没有停留在"训练效果不好"的现象描述，而是尝试对教师监督信号进行结构性分解。他们的核心观察是：标准 OPSD 中，教师给出的监督方向可以写成

其中 ${\pi }_T$ 是特权教师（在问题上附加参考答案的条件）给出的分布，${\pi }_{\theta }$ 是学生当前的策略分布。如果能把这个总更新拆分成"真正有用的修正"和"参考答案带来的捷径"两个部分，就能有针对性地过滤掉后者。

顺着这个思路，研究者提出了一个巧妙的构造：构建一个"仅参考教师"（reference-only teacher）${\pi }_{\text{ref}}$。这个教师拿到的是什么呢？只有参考答案本身，而没有原始问题。如果模型仅仅"记住"参考答案的表面形式，它在只有参考答案作为输入时仍然会生成类似的 token 序列；而如果某条推理路径真正依赖于对问题的理解，它在缺少问题语境时就会"迷路"。通过这个对照实验，${\pi }_{\text{ref}}$ 实质上捕获了监督信号中与问题无关、纯粹由参考答案驱动的成分。

基于这个仅参考教师，总更新可以正式分解为

研究者通过实验验证了这个分解的有效性：${\Delta }_{\text{ref}}$ 在方向和幅度上都主导了总更新（$\Vert {\Delta }_{\text{ref}}\Vert /\Vert {\Delta }_{\text{total}}\Vert \ge 1$），而 ${\Delta }_{\text{it}}$ 与总更新近乎正交甚至反向对齐。这说明标准 OPSD 的学生实际上主要在学参考答案的记忆模式，而非可迁移的问题解决能力。

分解找到了问题所在，但直接用 ${\Delta }_{\text{it}}$ 作为蒸馏目标存在数值障碍——它不是合法的概率分布。研究者转向逐点互信息（PMI）来构造一个形式良好的目标分布。他们将 ${\Delta }_{\text{it}}$ 解释为可迁移的奖励信号 $r(v)$，然后求解一个 KL-正则化的最优策略问题：

其中 $P_0$ 是干净基座分布（仅以当前问题为条件的初始策略），$\beta$ 控制修正强度。这个问题的闭式解恰好是

这正是 PMI 目标分布。通过这种方式，残余修正被锚定到一个合法的概率基座上，同时保留了可迁移推理信息的相对偏好。

在实际训练中，研究者还需要处理数值稳定性问题：log 空间的残差直接 softmax 可能导致数值爆炸。他们的解决方案包括两步。首先是均值中心化，将残差减去其在词表上的均值，避免极端值主导；其次是 tanh 软裁剪，将幅度限制在 $c=10$ 的范围内，防止梯度爆炸。最终的目标分布构造为

整个训练流程非常紧凑：学生在线采样推理轨迹，教师和参考探针分别给出条件分布，冻结的基座模型提供干净基座，三者的 log 概率差值经均值中心化和软裁剪后，加回到基座分布的 log 概率上，用 JSD 散度作为学生策略与目标分布的匹配损失。值得注意的是，参考探针和干净基座的前向传播不参与反向传播，额外计算开销控制在 10% 以内。

实验与结果

研究者在四个不同架构的长 CoT 模型上验证了方法的有效性，包括通用型的 Qwen3-8B 和 Qwen3-4B、蒸馏型的 DeepSeek-R1-Distill-7B，以及开源复现的 OLMo-7B-Thinking。训练数据集覆盖了 DASD-10K 和 Math-CoT-20K 两个数学推理语料，评测基准则涵盖 AIME 2024、AIME 2025 和 HMMT 2025 三个难度较高的数学竞赛。

核心结果表格呈现了 4 模型 × 2 数据集 × 3 基准的完整性能格点。标准 OPSD 在几乎所有组合上都表现疲软，要么性能退化，要么仅有边际增益。相比之下，净化后的 OPSD-PMI 在每一个格点上都是最优的，相对于基座和标准方法都取得了显著提升。

训练动力学曲线揭示了更清晰的图景。在 AIME 2025 上，标准 OPSD 呈现典型的"先升后降"曲线，印证了反思能力被逐渐侵蚀的过程；而 PMI 方法在整个 200 步训练过程中保持稳定上升，没有出现退化迹象。这说明净化策略不仅提升了最终性能，还从根本上改善了学习曲线的形态。

认知行为分析是本研究的一个亮点。研究者统计了反思性标记（"Wait"、"Maybe"、"Perhaps"、"Let me think" 等）在训练过程中的出现频率和分布均匀度。标准 OPSD 下，这些标记要么整体消失，要么被某单个标记（如"Wait"）垄断——这反映了模型反思能力的坍缩或单一化。PMI 方法则成功将这些标记的数量和分布维持在基座水平，证明净化策略确实保护了模型的自然认知行为。

消融实验进一步确认了各组件的必要性。软裁剪阈值 $c$ 的选择对结果有影响但不过于敏感，$c=10$ 在多数场景下表现稳健。修正强度 $\beta$ 的敏感性略高，不同检查点可能在不同 $\beta$ 值下达峰，但固定 $\beta =1$ 仍然能取得不错的整体表现，说明方法对超参数具有一定鲁棒性。

讨论与可借鉴点

这项工作的核心贡献在于提供了一套因果诊断框架。面对 OPSD 在长 CoT 模型上的失效，大多数现有工作倾向于调整学习率或增加正则化项，而该论文从监督信号的组成结构出发，揭示了"参考诱导捷径"这一根本矛盾。这种从信号分析出发的诊断思路，在面对复杂的自训练失效模式时值得借鉴。

从方法论角度看，将可迁移修正锚定到干净基座分布上、通过 KL-正则化奖励最大化推导出 PMI 目标的做法，将启发式设计提升到了原理层面。这种"先诊断、后构造"的两步策略，可能对其他蒸馏场景也有参考价值——当教师信号包含混杂成分时，分离-锚定-转化的范式或许能通用。

当然，实验覆盖范围仍有局限。所有验证都集中在数学竞赛推理任务上，代码生成、开放域问答、多步工具调用等场景的迁移性尚未考察。训练也仅进行了 200 步并使用 LoRA，更长时间的全参数微调下方法的相对优劣尚不清晰。此外，教师模型同源于基座的假设意味着该方法依赖基座本身具备合理的推理和对齐能力，对于严重未对齐的模型效果未知。

一个值得深思的问题是：参考独享教师是否真的"只记住"了参考答案？如果某些推理模式本身在缺少问题语境时仍能保持部分语义连贯性（比如对称性的某种直觉），${\pi }_{\text{ref}}$ 可能会误捕一些真正有价值的信号。不过，这个问题不影响当前工作的结论——即便 ${\pi }_{\text{ref}}$ 过滤掉了一部分有用信息，残余的修正信号仍然足以驱动一致的性能提升。

研究背景与动机

在医疗、法律、教育等专业领域部署大语言模型时，往往面临一个根本性的困境：这些领域需要专家知识进行标注，但专家标注成本高昂且难以大规模获取。然而，完全放弃监督信号又会使得模型难以适应特定领域的复杂推理需求。近年来，免标注自演化方法试图解决这一问题——它们让模型利用自身生成的内容作为监督信号，通过额外上下文构建“教师”模型，并用多数投票等方式聚合多次采样的预测结果来生成伪标签。

这些方法听起来很合理，但在实践中暴露出明显的缺陷。基于监督微调的方法容易导致灾难性遗忘，使模型在训练数据覆盖不到的领域表现急剧下降；而基于在线策略强化学习的方法则倾向于放大模型的校准误差，使模型变得过度自信但判断并不可靠。深入分析会发现，这些问题的根源在于两个被忽视的核心问题：应该选择哪些无标签样本用于训练，以及如何构建能够真正教会学生模型新知识的教师上下文。盲目地用模型自身的输出进行蒸馏，实际上是在强化已有的错误校准、虚假推理和幻觉模式。

Neuron-OPSD 的核心洞察是：模型处理不同样本时的内部激活模式蕴含着丰富的信息。当模型对一个样本的处理路径高度一致时，激活的神经元集合较小且集中，这通常意味着模型对该样本有较高的处理确定性；反之，当模型需要“猜测”或调用大量分散的神经元时，激活模式往往与幻觉高度相关。这种内部激活模式就像是模型思考过程的“指纹”，可以用来指导数据选择和教学内容的构建。

方法

Neuron-OPSD 采用完全免标注的在线策略自蒸馏框架，其核心思路是利用神经元激活模式同时解决数据选择和教师上下文构建两个问题。整个框架分为四个关键阶段。

在神经元激活提取阶段，框架对模型的每一层计算门控激活值。具体地，对于第 $l$ 层的 MLP 输入 $h_l$ 和上投影矩阵 $W_l^{\text{in}}$，门控激活被计算为 $k_l=\sigma (h_l{W}_l^{\text{in}})$。随后，对每个生成的 token $\hat{y}$，按其在反嵌入空间的投影进行打分：$S_l^{\hat{y},i}=k_l^i\cdot (w_l^{\text{out},i}\cdot e_{\hat{y}})$。每个 token 取跨所有层的 Top-K 激活神经元，整个响应的激活集取所有 token 的并集，得到样本 $x$ 的稀疏激活集 $N(x)$。

基于这些激活集，框架定义了 Neuron Consensus（神经元一致性）用于样本选择。一致性得分 $s(x)=|N(x)|$ 越小，表示网络对该样本的处理路径越集中、越可能正确；一致性得分越大，则表示激活模式弥散，与错误推理或幻觉相关。实验发现，在四个科学领域上，这一激活计数与零样本准确率呈显著负相关（Pearson $r$ 在 $-0.244$ 到 $-0.437$），验证了激活模式作为质量信号的有效性。

对于教师上下文的构建，框架采用 Neuron Overlap（神经元重叠）策略，使用 Jaccard 距离衡量两个样本激活模式的相似度：

对每个查询样本，通过这一距离度量选取其 K 个最近邻作为 few-shot 演示集 $C_K(x_q)$。这种基于内部激活相似度的检索方法比传统的语义相似度或随机检索更能捕捉模型处理问题时的“思维模式”，从而构建出更有教学价值的上下文。

训练阶段采用在线策略自蒸馏，学生策略为零样本策略 ${\pi }_{\theta }^{\text{stu}}$，教师策略为带上下文 $C_K(x)$ 的 EMA 教师 ${\pi }_{\bar{\theta }}^{\text{tea}}$。通过最小化反向 KL 散度进行优化：

反向 KL 的选择至关重要——它强制学生的分布向教师分布集中，同时允许学生在教师分布为低概率的区域保持一定的概率质量，这有效避免了分布崩溃。教师参数通过指数移动平均更新（EMA，$\tau =0.01$），确保训练稳定性。

实验与结果

实验在三个专业领域基准上进行：涵盖生物、材料、物理、化学四个学科的 SciKnowEval，用于教育反馈质量分类的 Edu-Feedback，以及更具挑战性的多领域多选题基准 MMLU-Pro。基础模型采用 Qwen3-4B-Thinking，训练配置为 4 张 GPU、batch size 16、150 步。

主要对比基线包括基于监督微调的 LMSI、基于 GRPO 和多数投票的 TTRL，以及采用自置信度奖励的免标注强化学习方法 Intuitor。评估指标涵盖 Avg@8（样本平均准确率）、Maj@8（多数投票准确率）和 ECE（期望校准误差）。

实验结果揭示了几个重要发现。在域内任务性能上，Neuron-OPSD 在多个领域取得显著提升，其中物理领域提升最为明显（+2.93 Maj@8），材料领域次之（+2.27），Edu-Feedback 分类任务提升达 +7.24。更关键的是跨域泛化能力的改善：LMSI 方法在跨域评估时平均性能下降 4.34 分，Intuitor 的跨域 ECE 上升 0.022，而 Neuron-OPSD 实现了平均 1.09 分的跨域提升和 0.002 的跨域 ECE 下降。

消融实验进一步验证了设计选择的合理性。神经元一致性得分的有效性在四个领域均得到确认（均 $p<1e^{-6}$）。Top-20% 与 Bottom-20% 选择对比显示，激活计数虽不能作为唯一的数据选择规则，但能提供有价值的诊断信号。Neuron Overlap 检索在推理模式多样的领域（如 Chemistry）显著优于随机检索，但在推理模式均一的领域（如 Physics）中优势被压缩，这说明检索策略需要与领域特征相匹配。

值得注意的是，教师-学生 token 级熵差与性能增益存在强关联。在物理和材料领域，教师分布显著锐化（$\Delta H<-0.01$），对应取得最大增益；而在化学和生物领域，熵差接近零，增益也近乎为零。这表明 Neuron-OPSD 的收益来源于教师能够提供真正有价值的信息——当教师分布与学生分布足够不同且更加确信时，蒸馏训练才能带来有效提升。

讨论与可借鉴点

Neuron-OPSD 的一个重要贡献是揭示了内部激活模式作为训练信号来源的潜力。传统方法依赖外部反馈（人工标注、奖励模型、环境信号），而该方法证明了模型自身的“思考痕迹”足以支撑有意义的学习。这种数据中心化的视角回避了复杂的奖励设计问题，将注意力重新聚焦于“训练什么、给教师什么”这一本质问题。

然而，该方法也存在明显的局限性。首先，域内增益并不均衡——在生物和化学领域未能取得显著提升，这提示激活计数虽然能反映处理确定性，但并不能完全替代任务相关的质量信号。其次，检索策略在推理模式均一的领域容易失效，因为高相似度的神经元激活模式并不必然对应语义相关的问题。第三，仅在 4B 参数模型上验证，向更大规模模型的迁移能力尚未确认。

对于后续研究，一个有价值的探索方向是将神经元激活与其他信号（如推理长度、采样熵、问题复杂度）进行融合，构建更加鲁棒的数据选择机制。另一个方向是在更大规模的模型上验证该框架，观察神经元激活模式的可扩展性是否与性能提升呈正相关。此外，将 Neuron Overlap 与结构化知识检索（如知识图谱增强的 RAG）相结合，可能能够在保持跨域泛化能力的同时，进一步提升检索的语义相关性。

研究背景与动机

在线策略自蒸馏（On-Policy Self-Distillation, OPSD）已成为训练大语言模型进行推理的一种实用范式。在这一框架下，单一模型同时扮演教师与学生两个角色——教师在获得特权信息 $y^{\ast }$（如已验证的正确答案或推理轨迹）的条件下提供 token 级监督信号，而学生仅基于原始问题 $x$ 生成响应。这种设计使得教师分布能够注入经过验证的知识，学生分布则保留自主探索的空间。相比传统的强化学习验证器方法（如 GRPO），OPSD 在 token 效率上提升数倍，已被工业界的旗舰模型广泛采用。

然而，这种看似优雅的设计背后隐藏着一个根本性缺陷：教师分布中始终残留着特权信息 $y^{\ast }$ 对下一 token 的额外影响。具体而言，存在一个不可约的互信息差距 $I(y_t;y^{\ast }\mid x,y_{<t})>0$，这意味着无论学生如何学习，其目标分布中始终包含测试时无法获取的信息。这一问题被论文定义为特权信息泄露（Privileged Information Leakage）：学生在训练时被强制拟合依赖 $y^{\ast }$ 的教师分布，却在测试时无法利用该信息，从而编码了答案依赖的捷径而非真正的问题解决能力。

这一问题带来两个具体的失败模式。其一是探索能力丧失：强制学生在每一 token 上拟合教师分布会压制其自身的推理多样性，导致训练熵塌缩，模型陷入教师分布所暗示的单一路径而丧失探索替代方案的能力。其二是跨域泛化退化：特权信息泄露使得学生习得的是特定于训练分布的模式，而非可迁移的问题理解能力，因此在新领域上表现明显下降。实验观察印证了这一理论分析——SDPO 等现有自蒸馏方法在训练初期性能快速上升，但后期逐步退化，在分布外基准（如 GPQA）上尤为明显。

方法

DemoPSD 的核心洞察是：教师监督并非全盘可信，当师生分布出现显著分歧时，往往意味着教师分布已被特权信息 $y^{\ast }$ 过度影响，此时学生应依赖自身推理而非盲目采纳教师指导。这催生了选择性采纳教师指导（Selective Adoption of Teacher Guidance）的核心原则——关键在于如何量化分歧并据此调节采纳程度。

首先，DemoPSD 通过 Jensen-Shannon 散度（JSD）度量每个 token 位置 $t$ 上特权教师分布 ${\pi }_t^T(v,y^{\ast }):={\pi }_{\theta }(v\mid x,y^{\ast },{\hat{y}}_{<t})$ 与学生分布 ${\pi }_t^S(v):={\pi }_{\theta }(v\mid x,{\hat{y}}_{<t})$ 之间的分歧：

JSD 的对称性使其能够捕捉双向的分歧程度。在此基础上，论文通过重缩放 sigmoid 函数将 $d_t$ 转换为逐 token 的泄露衰减系数 ${\alpha }_t$：

其中 $\beta$ 控制门控灵敏度，${\alpha }_{\max }$ 为上界（默认 0.15）。当师生分布高度一致时 $d_t\approx 0$，${\alpha }_t$ 趋近于零，教师指导被充分采纳；当分布显著分歧时 ${\alpha }_t$ 增大，学生自身推理被赋予更高权重。

接下来的关键设计是反向 KL 重心目标（Reverse-KL Barycenter Target）。不同于简单地混合概率，DemoPSD 采用几何混合定义目标分布：

几何混合与算术混合的本质区别在于：几何混合仅当两个分布同时赋予某 token 较高概率时才赋予其显著质量，这天然抑制了教师独享而学生不认可的"捷径 token"。相比之下，算术混合会导致模式平均（mode-averaging），使模型在多个峰值之间摇摆，造成不必要的熵膨胀。

从损失函数角度看，目标分布的对数为：

由于目标分布被 stop-gradient 包裹，规范化常数 $Z_{{\alpha }_t}$ 为常数项，梯度简化为教师分布的加权形式，其中 $(1-{\alpha }_t)$ 作为分歧缩放因子，自动降低高分歧位置上的特权监督强度。

论文进一步从理论层面证明了 DemoPSD 的两大性质。泄露缓解定理指出，定义泄露率 $R_{\mathrm{leak}}={\mathbb{E}}_t[\Vert {\Delta }_t{\Vert }^2]$（其中 ${\Delta }_t(v)=\log {\pi }_t^T(v,y^{\ast })-\log {\pi }_t^S(v)$），DemoPSD 的有效泄露率满足：

且 ${\alpha }_t$ 与 $\Vert {\Delta }_t\Vert$ 正相关，使得抑制在泄露风险最高的位置最强。探索保留定理则证明，在合理的协方差条件下，目标分布的熵始终介于教师与学生分布之间且关于 ${\alpha }_t$ 非递减，从而保证蒸馏过程中探索能力的持续保留。

实验与结果

论文在 SciKnowEval 数据集上进行系统实验，该数据集涵盖 biology、chemistry、material、physics 四个科学领域，每个领域包含 4-选择多选题，用于评估模型在特定领域的推理能力。基模型选用 Qwen3-4B-Instruct，训练在 8 块 NVIDIA H20 GPU 上通过 FSDP 实现，配合 vLLM 生成 rollout 和 Flash Attention 加速计算。

主实验对比了 DemoPSD、GRPO 和 SDPO 三种方法，采用 mean@16、maj@16、best@16 三个指标评估性能。结果显示，DemoPSD 在四个科学领域均取得最优或接近最优的表现，尤其在 material 和 physics 领域优势明显。以 maj@16 指标为例，DemoPSD 在 biology、chemistry、material、physics 四个领域分别达到 57.4%、60.1%、57.0%、56.5%，普遍高于 GRPO 和 SDPO 的对应成绩。

分布外泛化能力的评估在 GPQA Extended 数据集上进行，该数据集包含研究生级别的生物、化学、物理题目，与训练领域存在一定差异。实验结果印证了理论分析——SDPO 在训练过程中准确率达到峰值后持续下降，显示出明显的过拟合迹象，而 DemoPSD 在整个训练过程中保持稳定并持续提升，最终显著优于 SDPO。这一对比有力证明了特权信息泄露确实损害了跨域泛化能力，而 DemoPSD 的选择性采纳策略有效缓解了这一问题。

训练熵的分析进一步揭示了方法间的差异。SDPO 在训练后期出现明显的熵塌缩现象，表明模型逐渐收敛至教师暗示的单一路径；GRPO 保持了较高的熵但整体性能较低，反映出缺乏有效知识迁移的代价。DemoPSD 则实现了二者兼顾——熵水平显著高于 SDPO，证明探索能力得到保留，同时性能优于 GRPO，验证了知识蒸馏的有效性。

消融实验围绕门控灵敏度参数 $\beta$ 进行，扫描范围为 $\{15,25,50,70,100\}$。实验发现 $\beta$ 存在领域依赖性——physics 领域偏好更大的 $\beta$ 值（更强的门控），而 material 领域则适合较小的 $\beta$。这一发现表明不同领域的师生分布分歧模式存在差异，需要针对性调节。