Reinforcement Learning

研究背景与动机

大语言模型后训练的技术路线主要分为两类：基于可验证奖励的强化学习方法依赖稀疏的轨迹级奖励信号，而在线策略自蒸馏方法则通过自教师提供密集的 logit 级监督。后者能够为每个 token 位置提供细粒度的学习信号，在理论上具备更精确的优化方向。然而，自蒸馏方法天然存在一个根本性缺陷——暴露偏差。

暴露偏差的根源在于自教师拥有学生模型不具备的特权信息。这些特权信息包括同组中其他成功轨迹的完整结果、环境反馈、以及提示模板等辅助上下文。当自教师在学生真正不确定的位置进行预测时，由于享有这些额外信息，往往产生过度自信的输出。这种过度自信被学生模型当作“正确答案”蒸馏学习后，会导致模型在自主推理时丧失探索的勇气和判断能力。

在多轮智能体场景中，暴露偏差的问题被进一步放大。具体表现为两种典型现象。第一种是推理路径收敛：当模型完成一次工具调用后，外部环境返回的新信息使学生策略的预测熵急剧上升；此时特权自教师倾向于照搬演示案例的推理路径，导致熵骤降，从而抑制了模型的泛化能力。第二种是优化方向丢失：纯自蒸馏在多轮长程交互中容易产生波动的奖励曲线和急剧上升的 KL 散度，说明位置级的监督信号变得不可靠。

现有方法多通过将自蒸馏信号与强化学习框架组合来缓解这一问题，例如 RLSD、SDAR、HDPO 等方法。但这些工作都是从外部引入额外的正则化约束，没有从在线策略自蒸馏本身入手解决暴露偏差的根源。真正需要回答的核心问题是：如何在多轮交互中可靠地识别并区分“值得学习的探索性反思”与“应该避免的暴露偏差预测”？

方法

CRPO 的核心创新在于从对比学习的视角重新形式化智能体场景下的在线策略自蒸馏问题。在传统对比学习中，模型通过比较两个视图的表示来学习有意义的特征；CRPO 将这一思想迁移到自蒸馏场景：将原始上下文作为学生视图，将带特权信息的增强上下文作为教师视图，同一个大语言模型策略同时扮演编码器角色，各位置的输出 logits 作为表征，相似度函数则采用负 KL 散度形式。

形式化地说，对于第 $i$ 条 rollout 中第 $t$ 个 token 位置，原始上下文定义为 $S_{i,t}=(x,y_{i,<t})$，带特权信息的增强上下文定义为 $T_{i,t}=(x,f_i,y_{i,<t})$，其中 $f_i$ 是该轨迹获得的完整反馈。相似度函数为：

这里 $\mathrm{sg}(\cdot )$ 表示停止梯度运算。

关键问题是如何可靠地识别正例与负例位置。CRPO 引入了一个基于预测熵差的判别器。对于位置 $(i,t)$，分别计算学生模型和自教师在该位置的预测熵：

熵差 $\Delta E_{i,t}=E_{i,t}^S-E_{i,t}^T$ 能够有效区分两种典型情形：当学生熵远小于教师熵时，表明该位置是教师进行反思性探索的信号，应该作为正例学习；当学生熵远大于教师熵时，表明教师存在暴露偏差，应该作为负例排斥。

为了获得清晰的优化方向，CRPO 进一步采用组内相对机制：在 $G$ 条 rollout 的所有位置上对 $\Delta E_{i,t}$ 进行排序，将熵差最小的 bottom $p\%$ 划为正集 $P$，其余为负集 $N$。这种相对排序避免了绝对阈值的敏感性，使得正负例的划分自适应于当前 batch 的分布特性。

基于上述划分，CRPO 采用标准的 InfoNCE 损失形式进行对比自蒸馏：

直觉上，最小化该损失会降低正位置的相似度（即拉近学生与教师的预测），同时放大负位置的相似度（即推离教师的偏差预测），从而实现对暴露偏差的选择性过滤。

论文进一步从理论上证明，CRPO 的梯度可以分解为带有 per-token 级别优势估计的形式，其中 $c_{i,t}$ 作为软门控权重——正位置对应负权重，负位置对应正权重。这意味着 CRPO 本质上等价于带有 logit 级信用分配与软门控的 [[策略梯度]] 方法，既保留了 token 级的细粒度监督，又具备明确的优化方向。

在实际部署中，CRPO 可以与 GRPO 框架灵活组合，形成 CRPO* 版本，此时保留了 GRPO 的 outcome-level 强化学习骨架和组内相对优势估计，仅将传统的静态参考模型 KL 正则项替换为与自教师的位置感知对比耦合，实现双层信号的正交融合。为了保证训练稳定性，CRPO 还引入了两个关键机制：信任域正则化通过 EMA 教师策略（$\alpha =0.1$）维持自教师的稳定性；Top-K 近似则仅保留学生预测概率最高的 K 个 token（默认 K=100）来计算 KL 和熵，论文严格证明了这一近似产生的是无偏下界，且在熵差的计算中能够相互抵消。

实验与结果

论文在 13 个具有挑战性的基准上进行了广泛评估，涵盖数学推理（AIME24、AIME25、MATH500、MATH、GSM8K）、知识密集推理（HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle、WebWalker）以及深度搜索（GAIA、WebWalkerQA、Humanity's Last Exam、xbench-DeepSearch）三类任务。基线方法涵盖直接推理、强化学习（GRPO、ARPO）、在线策略[[自蒸馏]]（OPSD、SDPO、RLSD）以及搜索代理（Search-o1、WebThinker）等多个类别。

实验结果揭示了几个核心发现。首先，CRPO 在所有骨干模型和基准的平均性能上均排名第一。例如在 Llama3.1-8B 上，CRPO 相比最佳自蒸馏基线在知识任务上提升 6.9% 至 8.7%；在 Qwen3-8B 和 Qwen3-14B 的深度搜索任务上，CRPO 分别平均超越最佳自蒸馏基线 7.7% 和 8.6%。其次，朴素自蒸馏表现出明显的脆弱性：OPSD 在 Qwen2.5-3B/7B 上几乎停留在基模型水平，过滤式变体（SDPO、RLSD）远不及 CRPO，这说明仅在轨迹级别进行筛选在高不确定性的工具调用边界处效果有限。第三，位置感知对比的优势随交互 horizon 长度递增：即使不使用 outcome 奖励的 CRPO 本身就已经超越 ARPO，在 GAIA 和 WebWalkerQA 等长程任务上差距尤其明显——Qwen3-14B 上 CRPO 较 ARPO 在 GAIA 高 6.8%、在 WebWalkerQA 高 9.5%。最后，CRPO 可与更大规模的直接推理模型竞争：Qwen3-8B/14B 的 CRPO* 在 GAIA 平均成绩上以超过 30 个百分点的绝对优势超越 Qwen3-32B-thinking、QwQ-32B、DeepSeek-R1-32B 等直接推理模型。

训练动力学分析进一步验证了方法的有效性。CRPO/CRPO* 的熵与 KL 散度始终被约束在与 ARPO 接近的窄带范围内，而 OPSD 在训练至 60-100 步时出现明显的熵坍塌现象，说明对比机制确实有效地过滤了暴露偏差信号，维持了学生模型的探索多样性。

讨论与可借鉴点

CRPO 的核心贡献在于提供了在线策略自蒸馏暴露偏差问题的诊断与解决框架。论文的熵差判别器设计提供了一个可解释、可量化的信号来识别模型内部的不确定性与过度自信，其背后的直觉——学生模型在获得特权信息后熵降得越多，说明原位置越缺乏可靠监督——具有很强的普适性。组内相对排序机制避免了绝对阈值的敏感性，使得方法对不同任务和模型规模具有一定的鲁棒性。软门控的梯度推导将对比学习与策略梯度方法统一起来，为后续探索更精细的信用分配机制奠定了理论基础。

从实践角度，CRPO 的一个重要启示是对比学习并非只能应用于表示学习阶段，在 token 级监督信号中同样可以发挥作用。论文通过将对比正负例的定义从数据增强视角转移到优化方向视角，为类似的自蒸馏改进提供了新的思路。此外，CRPO* 与 GRPO 的正交组合表明，outcome 级强化学习与 token 级对比自蒸馏可以相互补足而非相互替代，这种模块化的设计理念值得在后续研究中延续。

当然，论文也存在一些局限性。性能对正例比例 $p$ 和对比权重 $\lambda$ 较为敏感，虽然 $p=30\%$、$\lambda =5$ 在主实验中表现最优，但面对新任务或新骨干时仍需重新调优。EMA 教师机制虽然稳定，但相当于额外保存一份模型参数，在资源受限场景下会带来额外的显存压力。Token 级别的 F1 作为正确性信号在部分任务上可能过于粗糙，而仅依赖 Bing 搜索片段作为外部信息源在某些需要更复杂工具调用的场景中可能存在局限。未来的工作可以探索将熵差判别器泛化到更多长程任务（如代码生成、创意写作），或尝试与其他对齐技术的组合。

研究背景与动机

RLHF 已成为大语言模型与人类偏好对齐的标准范式。其经典流程是先利用偏好数据训练一个奖励模型 $R_{\psi }$，再通过 PPO、GRPO 或 DPO 等算法优化策略模型。然而，这套范式存在一个根本性的不匹配：奖励模型一旦训练完成就保持静态，其评分标准与具体任务无关。当模型在某个数学推理任务上输出一个部分正确但缺少关键步骤的答案时，静态奖励模型可能给出与全错答案几乎相同的分数——这就是奖励稀疏问题。学习信号不足迫使模型在大量探索中艰难地辨别真正的质量差异，训练效率低下。

更深层的问题在于过优化。策略模型会不断试探奖励模型的评分盲点，当它发现某些表面特征（如更长的回答、更高的自信语气）与高分高度相关时，便倾向于强化这些模式而非真正的任务能力。这种 reward hacking 导致对齐后的模型在自动评估中表现优异，却可能在人类评判中显得生硬或缺乏实质内容。同时，在狭窄的奖励信号上过度优化还会损伤模型的通用能力，产生所谓[[RLHF]]中的对齐税。

[[奖励塑形]]（Reward Shaping）为此提供了一条思路。经典理论表明，如果在原始奖励上叠加一个势函数产生的差分项，可以改变学习的探索方向而不改变最优策略——这就是 Ng 等人在 1999 年提出的势函数方法。然而，将这一理论移植到 LLM 场景面临严峻挑战：手工设计塑形函数需要逐任务的领域专家知识，难以泛化；让塑形函数随训练自适应调整，又可能破坏策略不变性的理论保证。MeRLa 的核心切入点正在于此——通过[[元学习]]让塑形函数从任务分布中自动获得任务感知能力，同时严格保留势函数形式的理论保证。

方法

MeRLa 的整体框架分为两个阶段。第一阶段是元学习阶段，在一组辅助任务上训练一个任务感知的塑形函数 $\Phi (x,y;\varphi )$；第二阶段冻结学到的塑形参数，将其与基础奖励模型组合用于标准的 RLHF 训练。这种先学习塑形再部署的解耦设计，使得元学习的计算开销可以在多次 RLHF 运行中摊销。

塑形网络的设计是方法的关键创新点之一。给定 prompt $x$ 和 response $y$，塑形网络以基础 LLM 倒数第二层的嵌入作为输入。论文采用一个两层的 MLP，隐藏维度为 256，使用 SiLU 激活函数，总参数量不到 100 万。输入的嵌入向量由三部分拼接构成：prompt 嵌入 $h_x$、response 嵌入 $h_y$，以及它们的差分 $h_y-h_x$。这个差分项编码了模型在给定 prompt 条件下生成 response 的增量信息，对于捕捉任务特定的响应质量具有重要意义。

一个极其巧妙的设计选择是：$h_x$ 和 $h_y$ 取自冻结的参考模型 ${\pi }_{\text{ref}}$，而非随训练演化的当前策略模型 ${\pi }_{\theta }$。参考模型正是 RLHF 中用于计算 KL 惩罚的标准组件，这意味着 MeRLa 完全复用了已有基础设施，几乎不增加显存开销。更重要的是，这保证了塑形网络的输入分布在整个 RLHF 过程中保持稳定。如果使用演化中的策略嵌入，表示漂移会导致塑形信号与实际训练状态逐渐错位——论文的消融实验证实，使用冻结编码器相比演化编码器，奖励方差降低 43 倍，最终胜率从 90.8% 跌至 87.1%。

为确保塑形不改变最优策略，MeRLa 将响应级的塑形值分解为 token 级的势函数差分形式：

这种分解使得复合奖励 $\hat{R}(x,y)=R_{\text{base},\psi }(x,y)+\alpha \cdot \Phi (x,y;\varphi )$ 严格满足 Ng 等人提出的势函数条件，从而保证最优策略在 $\hat{R}$ 与 $R_{\text{base}}$ 下完全一致。从直觉上理解，塑形函数只改变了探索的中间引导（哪些中间状态值得探索），而不改变最终目标（什么是最优策略）。

元学习目标由三项组成：

第一项是任务判别损失，它鼓励塑形后的奖励能够区分同一任务内质量高低不同的响应。这实际上是让塑形函数学会捕捉那些基础奖励模型未能有效区分的细粒度差异。第二项是熵正则损失，防止塑形奖励分布坍缩为常数或简单复制基础奖励——这对于维持探索的多样性至关重要。第三项是势函数守恒损失，通过最小二乘投影将学到的 $\Phi$ 对齐到势函数子空间，约束策略不变性在训练过程中持续成立。论文的消融实验表明，三项缺一不可：移除任务判别损失导致塑形无法提供任务特异性信号，移除熵正则导致奖励地形坍缩，移除守恒损失则引入激励错位。

实验与结果

实验在 LLaMA-3-8B-Instruct 基础上展开，采用 UltraFeedback 数据训练奖励模型，RLHF 骨干使用 GRPO（group size 8，$\beta =0.004$，学习率 $10^{-6}$，20 epoch）。评估涵盖四个基准：AlpacaEval 2.0 测量指令跟随与长度控制胜率、MT-Bench 衡量多轮对话能力、MATH 测试数学推理、IFEval 评估可验证指令遵循。

主实验结果呈现出一致的全面超越。在 AlpacaEval 2.0 上，MeRLa 达到 90.8% 的长度控制胜率，相比 DAPO 的 86.9% 提升 3.9 个百分点；MT-Bench 得分 9.14，超越 GRPO 的 8.58 和 DAPO 的 8.81；MATH 从 47.8% 提升至 53.4%；IFEval 从 77.3% 提升至 81.2%。值得注意的是，这些提升在所有四个基准上同时成立，说明 MeRLa 并非针对某一类任务的特化优化，而是带来了通用的对齐质量改善。

训练稳定性方面的收益同样显著。奖励方差降低 37%，训练不稳定性（以梯度发散或奖励崩溃的次数衡量）降低 41%，n-gram 多样性提升 23%。这些指标改善表明，任务感知的塑形信号有效缓解了稀疏奖励环境下的探索困境——模型不再需要在广袤的输出空间中盲目搜索，而是获得了关于「什么是好的 partial response」的局部引导。

消融实验揭示了各组件的贡献。移除任务判别损失导致胜率下降 2.1 个百分点，移除熵正则导致多样性指标恶化，移除守恒损失导致激励错位增加。元任务数量扫描显示 $M=64$ 是甜点值，超过此数量的边际收益递减。骨架兼容性实验更为有趣：MeRLa 与 PPO 结合（85.2%）超越了独立 GRPO（84.3%），与 DAPO 结合（89.7%）也超过了独立 DAPO（86.9%），证实塑形函数的改进与 RL 算法选择是正交的。与过程奖励模型（PRM）和评分标准集成（Rubric Ensemble）的叠加实验同样取得增益，说明 MeRLa 学到的任务感知信号与这些增强奖励之间存在互补性。

讨论与可借鉴点

MeRLa 的成功揭示了一个重要的设计原则：[[元学习]]可以作为连接通用预训练与任务特定优化的桥梁。静态的奖励模型之所以效果受限，本质上是缺乏对任务分布的感知；而手工设计的塑形规则又难以泛化。元学习提供了一种第三条路径——在辅助任务上学习可迁移的塑形先验，再在目标 RLHF 场景中作为隐式校准器发挥作用。这个思路或许可以启发其他需要「先通用后适配」的场景，如多任务强化学习中的技能迁移。

冻结参考模型嵌入来驱动塑形网络的设计也值得借鉴。这种做法复用了 RLHF 中已有的基础设施，将参考模型从单纯的 KL 惩罚锚点扩展为稳定的特征提取器。这提示我们，在设计新模块时充分复用现有系统中的角色，往往能以低成本换取高收益。

论文在理论上也做出了贡献。策略不变性定理给出了复合奖励下最优策略的精确刻画，表示漂移界揭示了冻结编码器的必要性，激励对齐界则量化了守恒损失对防止塑形引入错误激励的作用。这三个定理构成了方法可信度的理论基础，区别于纯粹的经验性改进。

局限方面，实验仅在 LLaMA-3-8B 这一个基础模型上验证，在更大规模（13B、70B）或其他模型族（Qwen、Mistral）上的泛化性尚未考察。此外，策略不变性仅在守恒损失严格为零时严格成立，实际训练中 $L_{\text{con}}=0.0034$ 的残差虽然被经验证明「有益」而非有害，但缺乏对这一现象的完整理论解释。辅助任务分布的设计也依赖人工选择，任务选择策略的系统性研究有待深入。

研究背景与动机

全球运营系统近年来频繁遭受各类意外冲击——从 COVID-19 疫情导致的供应链中断，到苏伊士运河堵塞、巴拿马运河干旱，再到霍尔木兹海峡的地缘政治紧张，这些事件都在提醒我们：传统为"常态运营"优化的决策规则，在冲击发生后往往表现出持续的性能损失。缺货、延迟、丢单、库存失衡等问题接踵而至，企业亟需在不重构决策架构的前提下增强运营韧性。

许多运营系统天然具有层级结构。以最常见的库存-定价联合决策为例：补货决策周期较长（可能以周或月为单位），决定了企业的库存水平上限；定价决策则实时或以天为单位响应市场变化，吸引顾客到达并完成购买。长期决策为短期决策创造了执行环境，而短期决策的效果又反过来影响长期决策的合理性——二者相互耦合，共同服务于企业的整体利润目标。

然而，现有研究面临一个关键缺口。一方面，[[强化学习]]领域的主流方法多聚焦于单层、单智能体的决策问题；另一方面，[[层级强化学习]]虽然尝试处理多层决策，但其在耦合双时间尺度更新下的收敛性理论几乎为空白。更重要的是，企业通常不愿为了一套新算法而推翻既有的层级决策流程——这意味着新方法必须能够"即插即用"地嵌入现有架构，而不是要求组织重新设计决策体系。

方法

论文的核心思路是：为长期策略和短期策略分别维护独立的[[强化学习]]更新节奏，但在更新时机和步长上做精心同步，使得二者能够协调学习而不相互干扰。

决策过程的形式化是理解这一框架的基础。设系统状态为 $x_t=(I_t,Z_t)$，其中 $I_t$ 是库存状态，$Z_t$ 是一个刻画需求与供给冲击及恢复过程的 [[Markov 决策过程|Markov 状态分量]]。每个长周期 $t$ 的开始，长期策略 ${\pi }_{\theta }(\cdot |x_t)$ 采样一个补货订单 $u_t$，这个订单将贯穿整个长周期。在长周期内，系统会进行 $K_t$ 次短时交互，短期策略 ${\varphi }_{\omega }(\cdot |s_{t,k},u_t,k)$ 在每次交互中采样定价动作 $a_{t,k}$。长周期结束时，累积的短周期收益减去补货成本构成该周期的总收益 $R_t$，同时系统转移到新状态 $x_{t+1}$。

论文采用 PPO-Clip 作为策略更新的基础算法。对于长期策略和短期策略，分别有：

其中 $g_s,g_f$ 是基于截断替代目标函数计算的梯度估计。

同步条件是这篇论文最关键的设计决策。由于长期策略的每次更新会影响短期策略面临的执行环境，而短期策略的每次更新也会改变长期策略观察到的收益信号，二者的更新节奏必须协调。论文推导出的同步条件为：

其中 $M$ 是每个长周期内的短期更新次数，$K$ 是短交互次数，$\Gamma$ 是折扣因子。这一等式具有清晰的管理含义：长周期越短（$K$ 越小）或折扣越小，企业越应该保守地调整短期策略——因为此时长期策略的变化更频繁，短期策略需要更强的稳定性。

在理论层面，论文给出了两项重要结果。定理 1 证明了基础收敛性：取 ${\eta }_s=T^{-1/2}$，策略对的最优性间隙以 $O(T^{-1/2})$ 的速率收敛到常数水平。这意味着随着训练时间延长，学习到的策略越来越接近最优策略对。定理 2 则在"市场锐度"假设下进一步改进：当糟糕的决策能产生更明显的利润损失（即性能差距与策略质量存在单调关系）时，采用时变学习率 ${\eta }_{s,t}=2/[\mu (t+t_0)]$ 可将收敛速率提升至 $O(\log T/T)$。

实验与结果

论文采用二手车零售作为验证场景，长期决策是库存补货，短期决策是客户到达时的动态定价，三类车型（经济型、中端、高端）覆盖不同的价格敏感度和需求弹性。顾客到达服从 52 周期的季节性模式，购买决策采用含参考价格、预算约束和紧迫性因素的二项 logit 模型。冲击通道则涵盖需求冲击（到达量与车型组合改变）、供给冲击（订单履约比例下降、交期延长）以及二者的联合冲击。

实验采用 2×2 配对设计，通过公共随机数技术确保四种策略在相同的随机种子下面对完全相同的客流、购买与冲击过程。具体而言：OUL+Fixed 代表仅用规则型补货（order-up-to level）配合固定加价定价，是最基础的基准；OUL+RL 用规则型补货但引入[[强化学习]]动态定价；RL+Fixed 用学习型补货配合固定定价；HRL 则是双时间尺度[[层级强化学习]]的完整实现。

结果显示，在无冲击的常态运营下，HRL 与 OUL+RL 的利润表现相近——这符合预期，因为常态下短期适应足以捕获大部分收益。但在联合需求-供给冲击下，OUL+RL 的均值利润显著下滑，而 HRL 仍能维持较高水平，相对最强部分自适应基准（OUL+RL）提升 9.2%。更显著的是在延长冲击场景（5500 周期模拟）中，HRL 相比 OUL+RL 提升 11.8%，且利润轨迹的波动明显更小。

论文进一步拆解了收益来源。RL 定价在所有评估窗口均带来显著增益（27.6K–58.1K 美元/周期），置信区间均不含零，这说明短期适应是主要的收益杠杆。RL 补货则仅在冲击期、需求激增期与恢复期显著——它不贡献常态收益，但为联合冲击和恢复阶段创造了关键的条件。协同交互项 ${\Delta }_{\text{coord}}$ 在需求萎缩期（17.7K，CI $[0.6,34.8]$）和恢复期（53.4K，CI $[30.4,76.4]$）显著为正，意味着联合学习的收益大于两层各自收益之和——这正是双时间尺度设计的核心价值所在。

讨论与可借鉴点

这篇论文在理论上填补了耦合双时间尺度[[层级强化学习]]收敛性保证的空白，为后续研究奠定了分析基础。在实践层面，其模块化设计具有很强的可操作性：企业只需在现有层级结构中指定每层的状态、动作、奖励与决策时点，即可部署策略学习，无需重构组织决策流程。论文还提供了分阶段实施的路径——先上线短期定价学习验证效果，再逐步引入长期补货学习。

然而，局限性同样值得注意。实验仅基于二手车仿真的单一场景，外部效度有待在其他行业（如零售、制造、物流）中验证。理论假设（有限状态空间、有界奖励、精确优势方向）也较强，真实应用中函数逼近引入的误差尚未在收敛性分析中完全处理。此外，论文未系统探索短期更新频率 $M$、学习率、折扣因子 $\Gamma$ 等超参数的敏感性分析，这对实践者的参数调优构成一定挑战。

对于后续研究而言，这篇论文指出了几个有潜力的方向：多产品、多层级的更复杂决策场景；竞争环境下的层级学习；以及将冲击模式从外生设定拓展到自适应学习的框架中。可以预见，随着全球供应链不确定性持续上升，"在不重构决策架构的条件下增强运营韧性"这一命题将越来越重要，双时间尺度[[层级强化学习]]的思路为这一目标提供了可行的技术路径。

研究背景与动机

长视野操作任务是机器人领域的经典难题。一个典型的场景可能是"打开抽屉、将碗放到盘子上、关闭抽屉"，这类任务的特点是动作序列长、最终成功与否的判定标准单一——只有完整执行完所有步骤才会获得奖励。这种稀疏奖励信号在高维连续状态空间中会导致探索效率极低，智能体难以仅凭随机探索找到通向目标状态的路径。

[[强化学习]] 领域的自动课程学习（ACL）为这一问题提供了有价值的思路：与其让智能体一开始就面对完整的长视野任务，不如将任务分解为由易到难的一系列子任务，逐步训练智能体掌握各个子技能，最终组合成完整任务的策略。ACL 的核心假设是，更简单的子任务能够提供更密集的学习信号，帮助智能体逐步建立对任务结构的理解。

然而，ACL 的实际应用长期受制于一个根本困难：课程设计本身需要大量人工投入。有效的 ACL 需要精确定义任务参数空间——比如抽屉的初始位置范围、碗的摆放位置——以及难度度量——即哪些参数配置更容易、哪些更难。这些规范通常是任务相关的，需要领域专家根据具体场景手工设计，难以跨任务泛化。

近年来，[[大语言模型]]在常识推理和任务分解方面展现出强大能力，催生了一批将 LLM 用于[[强化学习]]的尝试。这类方法通常利用 LLM 将复杂任务分解为可管理的子目标，再由人工为每个子目标设计密集奖励函数。虽然 LLM 降低了任务分解的门槛，但密集奖励的设计仍然需要大量人工调参，且容易引入偏差——设计者对"好奖励"的直觉可能与实际任务需求不符，导致智能体学到取巧的策略而非真正完成目标。

LEACL 的核心动机正是消除这最后一步人工干预：既然 LLM 能够理解任务语义，那么它应该也能自动生成有效的任务规范——包括参数空间和难度度量——从而让 ACL 算法完全依赖稀疏奖励信号端到端训练。

方法

LEACL 采用三阶段流水线，将 LLM 的语言理解能力与 ACL 的课程学习框架有机结合。整个框架的设计哲学是：让 LLM 承担需要常识知识的任务分析和规范生成工作，而将真正的策略学习交给成熟的 RL 算法。

第一阶段：LLM 任务分解

给定一个自然语言描述的长视野任务，LEACL 首先利用 LLM 将其分解为语义连贯的子任务序列。这一步采用双层提示策略：高层提示引导 LLM 从任务目标出发，推断完成目标所需的逻辑步骤序列；每个子步骤再由低层提示转换为严格的符号规范。

这种双层结构的必要性在于，自然语言描述本身具有歧义性，而下游的课程学习算法需要精确的数学化表示。LEACL 选择用 PDDL（Planning Domain Definition Language）作为中介表示语言。PDDL 是规划领域的标准描述语言，能够以谓词-动作-目标的形式精确定义状态转换。以"打开抽屉"为例，PDDL 规范会明确初始状态（抽屉关闭）、目标状态（抽屉打开）以及连接两者的动作前置条件和效果。

为确保生成的 PDDL 规范语法正确且可执行，LEACL 引入反思机制：在 LLM 生成 PDDL 后，系统会自动进行语法验证，若发现错误则将错误信息反馈给 LLM 进行迭代修正。这一机制类似于 LLM 编程中的自我纠错，显著提高了规范的可执行性。

形式上，每个子任务可以表示为 ${\tau }_i=⟨M,F,R,P_i,I_i,G_i⟩$，其中 $P_i$ 是该子任务涉及的谓词集合，$I_i$ 是初始状态的事实集合，$G_i$ 是目标条件的合取形式。完整的谓词词汇表需要作为领域先验提供给 LLM，例如论文使用 LIBERO+ 基准提供的谓词库作为基础。

第二阶段：LLM 元任务生成

仅有子任务分解还不够，ACL 还需要知道如何改变任务难度。LEACL 的第二阶段让 LLM 为每个子任务生成任务参数空间和难度度量。

任务参数空间定义了子任务的可配置维度。以"打开抽屉"为例，可配置参数可能包括抽屉的初始位置、目标打开角度、抓取点的位置等。LLM 需要识别这些参数维度，并生成将参数映射到具体 PDDL 实例的函数。

难度度量则需要 LLM 对参数空间进行排序。直觉上，抽屉初始位置越远、打开角度越大，任务可能越难。LLM 基于其对物理世界的基本理解，生成按难度递增排列的参数配置序列。这些难度序列直接构成了课程学习的搜索方向。

第三阶段：自动课程学习

有了子任务分解和难度度量，LEACL 调用现成的 ACL 算法驱动 RL 训练。论文选用主动域随机化（ADR）作为默认算法，但框架本身设计为即插即用，理论上可以替换为任何 ACL 方法，如 ALP-GMM、COVAR-GMM 或 PLR 等。

ACL 算法的核心任务是自适应地选择训练参数：在课程初期选择简单配置，让智能体快速学到基础技能；随着训练进展逐渐引入更难配置，逼迫智能体泛化其策略。这种由易到难的学习顺序正是克服稀疏奖励的关键——在简单子任务上，稀疏奖励相对密集，智能体更容易获得学习信号。

整个学习目标可以形式化为：

即最大化在长度为 $H$ 的视野内到达目标状态的期望累积回报，其中奖励函数是纯稀疏的——仅当状态属于目标集合 ${\mathcal{S}}_G$ 时才返回 1，否则返回 0。

实验与结果

实验在 LIBERO 基准的五个长视野操作任务上进行，这些任务涵盖了从单步操作到多步规划的复杂度递增场景。具体包括：打开柜子底部抽屉、将碗放到盘子上、将番茄酱放入篮子、打开炉灶并放置摩卡壶、将杯子放入微波炉并关闭。子任务数量从 2 个到 6 个不等，形成了不同难度的测试集。

论文设计了多层次的基线对比。纯稀疏奖励基线代表没有课程学习的朴素 RL，这是最困难的设置；LEACL w/o ACL 版本仅使用 LLM 任务分解但不启动课程学习，用于验证 ACL 组件的贡献；LEAGUE 是依赖人工设计密集奖励的代表方法；Human curriculum 则是人工设计的课程加上 ACL，代表当前最佳实践。

主要结果呈现出清晰的层次结构。纯稀疏奖励在所有任务上完全失败，成功率为零，这印证了稀疏奖励问题的严重性。仅靠 LLM 分解任务而不使用 ACL 的版本也几乎全部失败，仅在两个任务上取得了个位数的成功率，说明任务分解只是必要条件而非充分条件。

有趣的是，专家设计的密集奖励（LEAGUE）表现同样不尽如人意。在五个任务中，LEAGUE 仅在一个任务上达到接近完美的成功率，其余任务表现显著差于 LEACL，最高不超过 71%。论文将此归因于密集奖励的脆弱性：当奖励函数与实际任务目标存在偏差时，智能体容易学到取巧的捷径策略，无法精确满足复合目标条件。

LEACL 在大多数任务上取得了与人工课程相当甚至更好的结果。五个任务的最终成功率分别为 99.8%、90.7%、89.4%、60.6% 和 75.9%，其中三个任务的表现优于 LEAGUE，部分任务接近 Human curriculum 的水平。考虑到 LEACL 完全不需要人工设计奖励或课程规范，这一结果相当具有说服力。

值得注意的是，LEACL 的表现在不同任务间存在较大差异。任务四（打开炉灶并放置摩卡壶）的成功率仅 60.6%，显著低于其他任务，这可能与该任务涉及更多的对象交互和更长的动作序列有关。

讨论与可借鉴点

LEACL 的核心贡献在于证明了 LLM 可以替代人工完成课程学习所需的规范设计工作，从而实现"零人工奖励"的端到端训练。这一发现对 [[强化学习]] 在机器人领域的应用具有重要启示：任务规范并非必须由领域专家手工编码，常识知识和语言理解能力足以支撑自动化的课程构建。

论文的一个重要发现是稀疏奖励与 ACL 的协同效应。实验表明，稀疏奖励配合课程学习的效果优于精心设计的密集奖励。这挑战了"稀疏奖励无法训练"的传统观念，揭示了问题可能不在于奖励密度本身，而在于缺乏有效的课程结构来组织学习过程。

然而，LEACL 仍存在若干局限。首先，方法依赖预定义的谓词词汇表作为领域先验，这意味着在面对新领域时仍需人工提供基础的符号表示。其次，LLM 的错误可能在任务分解阶段传播，导致课程质量下降，论文未报告 LLM 的失败率和需要人工干预的频率。再次，实验仅在仿真环境中评估，未涉及 sim-to-real 迁移的挑战。

从工程实践角度，LEACL 的即插即用设计值得借鉴。将 LLM 用于规范生成、将策略学习委托给成熟的 RL 算法，这种分工思路避免了端到端 LLM-RL 训练的不可控性。PDDL 作为 LLM 输出与下游程序之间的中介表示也是一个良好设计选择，兼顾了表达能力和可执行性验证。

未来的工作可以在几个方向拓展：一是在更多样的机器人操作场景（如双机械臂协调、移动操作）上验证方法的泛化性；二是探索不同 LLM（GPT-4、Claude、开源模型）对规范生成质量的影响；三是研究如何减少对预定义谓词集的依赖，使框架更适用于开放世界场景。

研究背景与动机

大型视觉语言模型正被广泛部署为交互式环境中的智能体——无论是导航机器人、操作机械臂，还是在模拟城市中规划路径。这类场景的共同特征是多轮决策：模型需要在多个轮次中持续接收环境反馈、调整推理策略、输出连贯的动作序列。仅仅"会说话"远远不够，模型必须学会根据历史经验做出长程规划，避免在死胡同里反复试错。

然而，现有方法在如何训练这类 VLM 智能体上存在明显分歧。一类做法将强化学习的优化粒度设在 token 级别——每个生成的 token 都被当作独立动作来计算梯度，这种细粒度的好处是能够精确指导自回归生成过程，但代价是环境奖励在长文本生成过程中被反复折扣，信息逐渐被稀释，模型容易陷入"短视"的局部最优。另一类做法则将整个轮次视为一个宏观动作，在轮内均匀分配信用，这种粗粒度简化了训练难度，却丢失了 token 级的细粒度信号，导致自回归生成的每一步缺乏有针对性的反馈。

这种割裂让研究者面临两难：选 token 级优化就面临信号衰减，选轮级优化就面临精度损失。论文的切入点正是追问：能否从理论层面统一这两个层级的优化目标，而不是在两者之间做非此即彼的取舍？

方法

论文首先将问题形式化为[[多轮决策]]环境下的[[Actor-Critic]]框架。在每个轮次 $t$ 中，VLM 生成一段 token 序列 ${\mathbf{a}}_t=(a_t^1,a_t^2,\dots ,a_t^{I_t})$，环境在轮末给出稀疏的奖励信号 $r_t$。这催生了一个关键洞察：token 级的奖励可以被定义为轮末奖励在 turn 内的广播——即除了最后一个 token 位置之外，所有中间 token 的奖励均为零。

基于这一形式化，论文证明了两个核心定理。定理一（梯度等价性）指出，当轮级折扣因子 ${\gamma }_t$ 与 token 级折扣因子满足 ${\gamma }_t={\gamma }^{I_t}$ 的关系时，轮级策略梯度、token 级策略梯度，以及论文定义的混合策略梯度三者完全等价。这意味着通过精心选择的折扣因子，混合优化方向与原有两个层级的优化目标保持一致——不存在"两头不靠"的风险。

定理二（价值一致性）进一步证明，在同样的折扣条件下，轮级价值函数与 token 级轨迹末位的价值函数相等，因此无需为两个层级分别维护独立的[[Critic Model]]。一个价值网络足以同时估计两种层级的价值，大幅降低了训练开销。

基于这两个定理，论文提出混合优势函数：

其中 ${\hat{A}}_t$ 是轮级优势，${\hat{A}}_t^i$ 是 token 级优势，超参数 $\alpha$ 控制两者的相对权重。当 $\alpha =0.5$ 时，两个层级的贡献被等权求和。

与混合优势配套的是精确的混合回报设计。轮级回报需要被正确地广播至轮内每个 token 位置，同时叠加相应的折扣奖励。论文特别强调，这种广播必须遵循特定的解析形式，而非简单地复制。定理三和定理四从统计角度解释了混合策略的合理性：轮级估计具有较低的偏差但方差较大，token 级估计方差小但偏差累积严重，混合优势自然地在[[偏差-方差权衡]]中找到了平衡点。

最终，HyGAE 采用 [[PPO]] 风格的策略更新，损失函数对 token 位置加权求和，并使用 PPO 原生的裁剪机制保证训练稳定性。

实验与结果

实验覆盖了五个多轮决策基准，涵盖了从离散格子世界到连续参数化操作再到真实街景导航的多样化任务。评估的骨干模型统一使用 Qwen2.5-VL-3B，对比基线包括 Token-PPO、Turn-PPO、GRPO、RL4VLM 等多种 [[强化学习]] 训练范式，以及 GPT-5、Gemini 2.5 Pro 等闭源大模型。

核心结果引人注目：HyGAE 在五个环境中取得平均 91% 的成功率，相较其他方法提升约 10%。分环境来看，Sokoban（空间推理任务）从 Token-PPO 的 59% 跃升至 83%，Turn-PPO 基线更是仅有 38%——这说明纯轮级优化在该任务上几乎失效。Navigation、Primitive Skill 和 VIRL 也普遍取得最优或次优成绩。

一个值得注意的细节是方差分析。在 Sokoban 上，HyGAE 的多次运行成功率为 $0.8222\pm 0.0711$，而传统 PPO 基线的方差高达 $\pm 0.2105$。这表明混合优势函数不仅提升了平均性能，还显著增强了训练的可重复性——[[Policy Gradient]] 方法常见的"跑多次结果天差地别"问题在这里得到了缓解。

论文还通过消融实验验证了精确回报形式的必要性。简单地广播轮级回报至所有 token 位置，或者省略价值模型直接用 REINFORCE 估计，都会导致训练崩溃。这说明混合优势的数学形式不是可以随意简化的工程技巧，而是保证优化方向正确的理论前提。

讨论与可借鉴点

HyGAE 的核心贡献在于提供了统一的理论框架，将此前割裂的 token 级与轮级优化在同一个梯度方向下融合。这对 [[多轮决策]] 领域的研究有几点启发。首先，折扣因子的选择不应该是经验性的超参数搜索，而应该根据任务结构（如平均轮长）从理论上推导。其次，单一评论家同时服务多个优化层级的设计启示我们：复杂任务往往不需要引入额外的层级结构或多个辅助网络，在恰当的数学形式下"合并同类项"即可实现同样的效果。

论文的局限同样值得注意。所有实验均在 3B 参数规模的模型上验证，对更大模型的扩展性尚不明朗。此外，混合系数 $\alpha$ 目前仍是手工调节的超参数，缺乏自适应调度机制，这在一些需要动态调整探索-利用平衡的任务中可能成为瓶颈。论文也承认，KL 散度微奖励的聚合方式在理论上尚未得到充分解释，更多是经验性选择。

总体而言，这项工作为 VLM 智能体的端到端强化学习训练提供了一种简洁而理论严谨的新范式。其方法论的通用性不局限于视觉-语言场景，核心思想——即通过精心设计的优势函数与统一的评论家实现多粒度联合优化——对其他序列决策问题同样具有参考价值。

研究背景与动机

自然策略梯度（NPG）是强化学习领域最具影响力的理论基石之一，它为信赖域策略优化（TRPO）和近端策略优化（PPO）这两大主流算法提供了数学上的优雅解释。在实践中，这些方法已经在机器人控制、游戏博弈乃至大语言模型的人类反馈强化学习（RLHF）中展现出令人印象深刻的效果。然而，回顾已有的收敛性理论，几乎所有关于 NPG 的有限时间分析都隐含着一个默认假设：问题的决策过程是无限期且具有折扣因子的。

这一理论假设与真实应用场景之间存在显著鸿沟。现实世界中的许多序贯决策问题天然具有有限的时间跨度：机器人需要在一个任务周期内完成一系列动作，供应链管理中的多阶段决策有明确的终止节点，游戏中的对抗也往往在有限回合内分出胜负。这些场景用专业术语来说就是有限期马尔可夫决策过程，其转移核和奖励函数都依赖于当前所处的时域索引。这种时域依赖性带来了根本性的分析困难：最优策略不再是一个时间不变的决策规则，而是随时间变化的策略序列 $\pi =({\pi }_1,{\pi }_2,\dots ,{\pi }_H)$。

从理论角度看，有限期设定打破了无限期折扣 MDP 分析中的核心工具——由折扣因子诱导的压缩映射性质。当折扣因子 $\gamma <1$ 时，值函数的迭代更新天然具有收缩性，这为建立收敛保证提供了有力支撑。而在有限期设定下，这种结构性优势不复存在。更棘手的是，更新某一时刻 $h$ 的策略会改变后续时刻 $H$ 的状态分布，形成跨时域的复杂耦合效应。长期以来，研究社区缺乏对精确 NPG 在有限期 MDP 中收敛行为的理解，这一空白既阻碍了理论认知的完善，也使得实际算法设计缺乏可靠的方向指引。本文正是针对这一理论缺口展开系统研究。

方法

作者的核心思路是将自然策略梯度重新理解为一种策略空间上的镜像下降过程，从而借助优化理论的工具来分析其收敛行为。具体而言，NPG 的更新规则可以等价地表述为 KL-策略镜像下降（KL-PMD）：

这种重新表述揭示了 NPG 的本质：它是一个在策略分布空间中进行近端梯度下降的框架，目标函数由当前策略的动作值函数的期望驱动，正则化项由 KL 散度度量策略更新的幅度。

在常数步长的分析中，作者从三个技术支柱逐步搭建起完整的证明链条。首先是性能差引理，它建立了当前策略与最优策略之间值函数差异与策略梯度之间的关系。其次是 KL 单调性不等式，它保证了每一步策略更新都不会使目标函数下降。第三步是镜像下降的标准不等式，它将这些局部更新性质累积为全局收敛界。通过精心追踪 $H$ 个时域之间的依赖关系，最终证明经过 $t$ 次迭代后，值函数的次优性间隙被 $\mathcal{O}(H^2/t)$ 所控制。$H^2$ 因子的出现源于跨时域耦合效应的累积：当 $H$ 很大时，最早期策略的改进需要通过多层的状态分布传导才能影响最终性能。

为了突破次线性收敛的局限，作者引入了一个关键构造——多起点辅助目标函数。直觉告诉我们，有限期 MDP 的收敛瓶颈在于缺乏一个统一的"全局度量"来引导所有时域的策略改进。如果我们在时域上均匀随机化目标，便能为每个时刻提供一个与具体策略无关的下界分布。形式化地，定义：

其中 $\rho$ 是初始状态分布。通过这一构造，可以定义分布失配系数 ${\vartheta }_{\rho }$ 来刻画初始分布与最优状态下分布之间的偏差程度。当步长满足增长条件 ${\eta }_{t+1}\ge \frac{{\vartheta }_{\rho }}{{\vartheta }_{\rho }-1}{\eta }_t$ 时，算法展现出几何收敛的锐利特性。特别令人惊喜的是，引理证明 ${\vartheta }_{\rho }\ge H$ 总是成立，这意味着一个完全问题无关的步长调度 ${\eta }_t={\eta }_0{\left(\frac{H}{H-1}\right)}^t$ 天然满足增长条件，无需知道 ${\vartheta }_{\rho }$ 的精确值。

在线性 MDP 的推广中，作者采用精确总体投影预言机来参数化策略。关键观察是：当投影分布具有全支撑时，零投影损失退化为逐点恒等式，此时参数空间的梯度更新在策略空间精确地诱导出与表格情形相同的更新。这表明收敛速率的本质只取决于 MDP 的结构特性，而与状态-动作空间的规模无关。

实验与结果

作者在小型合成 MDP 上设计了三组实验，旨在验证理论预测的收敛行为而非追求与最新方法的性能对比。

第一组实验针对次线性收敛进行验证。论文设定 $|\mathcal{S}|=15$、$|\mathcal{A}|=4$、$H=7$ 的随机表格 MDP，图 1a 固定时域 $h=1$ 运行 $T=500$ 次迭代，对比经验性能差距与理论界 $2H^2/t$；图 1b 则固定迭代次数 $T=100$，扫描不同起始时域 $h$ 并与预测界 $2(H-h+1{)}^2/T$ 对照。实验曲线与理论界的吻合程度验证了分析的正确性。

第二组实验聚焦于几何收敛的验证。作者精心构造了一个双重随机链 MDP：转移核以 $0.7$ 的概率保持当前状态、以 $0.3$ 的概率沿环形结构前移。这种结构使得均匀分布对所有策略保持不变，从而 ${\vartheta }_{\rho }=H$ 达到最坏情形下界。图 2a 展示了 $h=1$ 处确实呈现 $(1-1/H{)}^t$ 的指数衰减，图 2b 则通过 tail MDP 实验验证了各时域的几何收敛行为。

第三组实验在随机 MDP 上重复几何收敛验证，通过从对称 Dirichlet 分布采样转移核、i.i.d. 均匀奖励来排除结构化实例可能带来的巧合。结果表明即使在随机设定下，经验收缩因子也与理论预测一致，进一步巩固了分析的普适性。

讨论与可借鉴点

这项工作最核心的理论贡献在于填补了 NPG 在有限期 MDP 场景下有限时间分析的空白。它向研究社区传递了一个明确信号：即使在缺乏折扣压缩支撑的困难设定下，通过巧妙的分析技术仍然可以获得有意义的时间收敛保证。多起点目标函数的构造尤其值得关注——它展示了一种处理跨时域耦合的标准范式：通过在时间维度上引入均匀化，可以将问题相关的分布偏差转化为可分析的常数。

当然，这项分析也存在若干值得关注的局限性。作者坦诚地承认，$H^2$ 因子是否反映问题本质还是仅为证明技术的产物，目前尚不清楚——这给出了一个明确的下界最优性问题。另一个局限在于，几何收敛的结果仅直接控制 $h=1$ 时刻的收敛，其他时域的收敛性质需要通过额外的 tail MDP 变换间接获得。此外，分析完全建立在动力学已知的前提之上，样本基设定下值函数估计误差如何影响收敛速率仍是未解决的问题。

对于未来的研究而言，这篇论文提供了一个坚实的理论基线。理解有限期设定下 $H^2$ 因子的最优性、探索样本基 NPG 的收敛行为、以及将分析推广至函数近似更强的设定，都是值得关注的方向。值得再次强调的是，当动力学已知时反向归纳可以一步求得最优策略，因此这篇论文的理论贡献不在于提出更快算法，而在于为平滑策略更新范式和样本基扩展提供可靠的理论保障。

研究背景与动机

近年来，测试时扩展（test-time scaling）范式引起了广泛关注。以 DeepMind 的 AlphaEvolve 为代表的方法展示了这样一种可能性：模型不再仅仅依赖训练时吸收的知识，而是在推理阶段通过迭代自我演化、结合环境反馈不断精炼解决方案，从而取得惊人的性能突破。这类系统的核心在于元技能——例如基于环境反馈的自我反思能力，使得模型能够从每一次尝试中学习、在多轮交互中持续改进。

然而，问题在于传统的大语言模型后训练流程并未充分培养这些能力。标准的后训练方法通常关注单轮响应质量，通过人类偏好数据或静态评测来优化模型输出。这种范式存在两个根本性缺陷：其一，它假设训练信号在模型生成之前就已经完备，无法建模“尝试—反馈—改进”这一循环过程；其二，它倾向于让模型收敛到某种静态最优，而非保持持续演化的能力。正如论文所指出的，元技能在传统训练中被“大规模忽视”，导致模型虽然知识丰富，却缺乏主动改进自身的内驱力。

这一问题的关键瓶颈在于数据。自我演化本质上是一个序贯决策过程：模型需要看到自己在多轮迭代中的进步与失败，从适应度变化中推断何种策略有效、何种策略需要调整。这种演化轨迹数据在自然语言处理数据集中几乎不存在——真实世界的代码提交记录虽然存在，但往往缺乏完整的试错历史和细粒度的执行反馈。论文选择以编程任务为切入点，正是因为程序执行能够提供一种“丰富的自然连续奖励信号”：模型不仅能知道自己对了或错了，还能看到运行时间、内存消耗、边界条件处理等多元维度上的表现差异，从而为元技能的习得提供了肥沃的土壤。

方法

MetaEvolve 的设计围绕三个核心组件展开：演化轨迹数据合成流水线、面向演化的[[强化学习]]训练、以及推理时的演化搜索机制。这三者的协同作用使得模型能够从零开始学习如何自我演化。

演化轨迹数据合成是整个框架的基础。论文构建了一套数据生成流程，针对每个编程问题，模型会生成多个候选解决方案，每个方案都附带完整的执行反馈信息——包括单元测试通过情况、运行时间、代码复杂度等指标。通过对同一问题的多次尝试进行追踪，研究者得以构建出一条“演化轨迹”，记录了模型从最初的粗糙方案逐步精炼到最终解决方案的完整历程。每条轨迹包含当前程序、其适应度分数（综合正确性与效率的多维度评价）、以及历史尝试的记录。这种数据结构的核心价值在于，它将“如何改进”这件事本身变成了可供模型学习的目标。

在获得演化轨迹数据后，论文采用了一种面向演化的[[强化学习]]方法进行训练。传统的 RLHF（基于人类反馈的强化学习）优化的是单轮响应的质量，而 MetaEvolve 的训练目标则是让模型学会“从适应度变化中推断有效策略”。具体而言，模型在训练时接收当前的代码片段和其适应度分数，然后被要求生成改进版本。奖励信号直接来自测试用例的执行结果——一个代码片段能否通过更多测试、是否更高效，都直接转化为训练信号。这种设计的精妙之处在于，它让模型不仅学习如何解决特定问题，更学习了一种可迁移的元策略：当面对新的挑战时，模型知道如何分析当前状态的不足、从历史尝试中提取经验、探索可能的改进方向。

第三个组件是推理时的演化搜索。在部署阶段，MetaEvolve 并非简单地让模型输出一个答案然后结束，而是启动一个迭代演化的循环：模型生成多个候选解，评估它们的适应度，基于反馈选择有前景的方向继续探索，然后重复这一过程。这本质上是一个在解空间中的定向搜索，而前面两个组件——演化轨迹预训练和演化感知 RL——为这个搜索提供了强大的初始化策略和高效的探索启发。

值得强调的是，这种设计选择的动机源于对“直觉做法”的超越。如果只是让模型在推理时随机尝试多次然后选择最优结果，这固然是一种搜索策略，但效率极低且泛化能力差。MetaEvolve 的关键洞察在于：模型应该内化一种“元技能”，使其能够根据执行反馈推断改进方向，而非机械地枚举候选方案。这种能力一旦习得，就能跨越具体任务迁移到全新的问题领域，这正是论文所强调的“领域无关”泛化特性。

实验与结果

论文在七个编程基准测试上进行了全面评估，涵盖了从标准算法题到真实世界代码修复的多样化任务。评估策略被分为三个层次：分布内任务（与训练数据同分布）、分布外任务（训练时见过的任务类型但具体实例不同）、以及完全超出训练领域的开放式算法优化问题。

在分布内任务上，MetaEvolve 相比最强的基线方法取得了 10.01% 的绝对提升。这一结果本身并不令人意外——专门针对某类任务进行强化学习训练通常能带来提升。但真正值得关注的数字出现在更严格的评估设置中。在分布外任务上，MetaEvolve 相比基线实现了 24.12% 的提升，这意味着经过演化轨迹预训练的模型学到的并非针对特定问题的记忆，而是一种可迁移的改进策略——当面对训练时从未见过的具体问题时，模型仍然能够有效地进行自我精炼。

最引人注目的结果出现在开放式算法优化任务上。这类任务的特点是：没有标准答案，需要模型在正确性、效率、优雅性等多个维度上持续迭代改进。MetaEvolve 在这些任务上实现了 46.9% 的相对改进，幅度远超其他评估场景。这一结果有力地验证了论文的核心假设：显式培养元技能确实能够解锁在开放式问题上的自主演化能力，而这些正是传统训练范式最难触及的领域。

消融实验进一步揭示了各组件的贡献。单独使用演化轨迹数据而不进行演化感知 RL 训练，只能带来有限提升；而没有推理时演化搜索的情况下，模型的表现在需要深度探索的任务上显著下降。三者的协同作用——预训练提供基础能力、RL 微调塑造元策略、推理搜索激活显式演化——共同构成了完整的自演化pipeline。

讨论与可借鉴点

MetaEvolve 的工作为如何培养 AI 系统的自主演化能力提供了一个有原则的框架，同时也留下了值得深思的问题。

最明显的局限在于当前方法对编程任务的依赖。虽然代码执行提供了丰富的连续奖励信号，但并非所有领域都能获得类似的反馈——比如开放式写作、数学证明、或创意设计等任务，往往缺乏可量化的中间反馈机制。论文也坦承，将这套框架迁移到这些“信号贫瘠”的领域需要额外的研究探索，例如设计合理的代理指标或利用人类偏好作为弱反馈来源。

另一个开放问题是演化轨迹数据的质量和多样性。当前数据合成流程在很大程度上受限于模型本身的生成能力——如果基础模型在某些任务上本身就表现不佳，它生成的演化轨迹也会充满低质量的尝试。如何在缺乏强基线模型的领域构建有意义的演化数据，仍然是一个待解决的问题。

尽管存在这些局限，MetaEvolve 的核心洞察具有超越具体实现的启发价值。它揭示了“学会学习”（learning to learn）这一元认知能力在构建更强大 AI 系统中的关键作用。传统观点认为，只要模型足够大、训练数据足够丰富，涌现能力就会自然出现；而这项工作表明，特定能力的培育可能需要针对性的训练信号设计，而非单纯依靠规模效应。对于后续研究而言，这种“元技能工程化”的思路——明确识别成功完成某类任务所需的底层能力，然后设计专门的数据和训练流程来培养它们——或许是一条比单纯扩大模型规模更具效率的路径。

研究背景与动机

在真实部署强化学习系统时，智能体从环境中获取的观测数据往往并不完全可靠。传感器故障、网络传输错误、日志系统异常，甚至恶意攻击者，都可能导致奖励信号或状态转移被篡改。标准[[Q学习]]算法假设观测数据来自真实环境分布，一旦这些数据被污染，其Bellman最优算子的经验估计会产生严重偏倚，最终导致学到的策略远非最优甚至完全失效。

此前已有研究尝试在污染环境下为强化学习提供鲁棒保证，但这些工作存在明显的局限性。部分工作仅考虑奖励污染而忽略状态污染的场景，或要求数据来自同步采样（independent and identically distributed，i.i.d.）的平稳分布，这与异步Q学习实际运行的在线交互场景不符。更关键的是，已有的误差界中污染项对状态-动作对的最小访问概率${\lambda }_{\min }$呈反比放大关系，而理论上已知即使在无状态污染的情形下，误差下界也仅为$\Omega (\sqrt{{\epsilon }_R})$，其中${\epsilon }_R$为奖励污染比例。这意味着现有方法的污染项依赖并非最优。

本文的切入点是：在异步采样环境下，如何同时处理奖励与状态观测的联合污染？核心挑战在于两种污染的数学性质截然不同——奖励污染直接影响[[Bellman最优算子]]的偏移量，而状态污染则通过扰动${\max }_{a^{\prime }}Q(s^{\prime },a^{\prime })$这一项间接影响算子输出。更棘手的是，真实环境中奖励分布可能具有重尾特性（如金融市场的极端收益、机器人碰撞产生的瞬时大损失），这使得区分“正常重尾噪声”与“对抗注入”变得极为困难。

方法

BR-Async-Q的核心思想可以概括为“先分批降方差，再鲁棒估计”。具体而言，算法将在线交互产生的数据流按时间顺序划分为若干个等长的epoch（记为$H$个时间步为一个epoch），每个epoch结束后对所有$(s,a)$对累积的样本进行一次Q表更新。这种分批策略带来了两方面好处：一是每个epoch内同一$(s,a)$对的多个样本可以聚合后做统计估计，方差随样本数$K$的平方根缩减；二是允许我们在获得足够数据后再构造[[Bellman最优算子]]的鲁棒版本，而不是在单步TD更新中直接面对污染风险。

对于奖励污染的处理，论文采用Lugosi-Mendelson截尾均值估计器（记为TRIM${}_H$）。其基本思想是：在给定污染比例上界${\epsilon }_R$的条件下，剔除数据中比例最高的${\epsilon }_R$个样本后计算剩余样本的均值。形式上，给定数据集$D$、污染率上界$\epsilon$和置信参数$\delta$，TRIM${}_H$保证估计误差以高概率满足$O(\sigma \sqrt{\epsilon }+\sigma \sqrt{\log (8/\delta )/M})$，其中$\sigma$为标准差估计、$M$为样本量。值得注意的是，当奖励的取值边界$[\underline{R},\bar{R}]$已知时，可以使用更激进的截断均值估计器TRIM${}_B$，其误差界中$\sqrt{\epsilon }$项可以改进为与$\epsilon$成正比，从而在污染率极小时获得更紧的保证。

对于状态污染的鲁棒处理是本文最具创新性的部分。当状态转移被扰动时，下一状态${\tilde{s}}_{t+1}$可能被替换为任意值，进而${\max }_{a^{\prime }}Q({\tilde{s}}_{t+1},a^{\prime })$会产生完全失控的偏差。为解决这个问题，BR-Async-Q采用了一种稳定化裁剪策略：首先利用已有的Q函数上界$B=3C\tilde{\sigma }/(1-\gamma )$（其中$C$为常数、$\tilde{\sigma }$为奖励方差上界）对${\max }_{a^{\prime }}Q$项进行裁剪，将其限制在$[-B,B]$区间内；然后用TRIM${}_B$对这个裁剪后的值序列计算鲁棒均值。这样即使部分样本的状态被严重污染，裁剪操作保证了每个样本对估计的贡献不会超过$2B$，从而将最坏情况下的偏差控制在有界范围内。

完整的[[Bellman最优算子]]鲁棒估计定义为：

其中${\hat{R}}_k(s,a)$和${\hat{\mu }}_k(s,a)$分别是通过截尾均值估计的奖励期望和状态转移后的价值均值，裁剪阈值$G_k$根据污染比例和样本量自适应设置。最后，Q表的更新采用epoch-wise的[[批量学习]]方式：

其中$\alpha$的设置保证经过$K$个epoch后累计更新量与$\log T/(1-\gamma )$成正比，从而确保收敛。

实验与结果

实验在经典的grid-world MDP上进行，包含100个状态和40个动作，折扣因子设为0.5。作者设置了多种污染场景来全面评估算法的鲁棒性：对称污染实验中奖励污染率与状态污染率相等，从0.001逐步提升到0.2；高污染实验中固定污染率为0.2但变化噪声方差；在非对称污染场景中则专门测试了奖励污染与状态污染比例不同时的算法表现。对抗性攻击的具体形式包括将奖励替换为$-10^6$或$-10^8$这样的极端负值，以及将下一状态从状态空间中均匀重采样。

实验结果清晰地展示了BR-Async-Q的鲁棒优势。标准Q学习在强污染下误差持续攀升甚至无法收敛，而BR-Async-Q在所有污染强度下都能保持稳定向$Q^{\star }$逼近。分批机制的功效也得到了验证——增大epoch长度$H$（从1000到10000）能够有效降低估计方差，表现为更平滑的收敛曲线和更小的最终误差。特别值得注意的是，即使奖励分布本身具有重尾特性（仅假设二阶矩有界），TRIM${}_H$估计器仍然能够正常工作，证明该方法对噪声特性具有较强的适应性。

论文还给出了一个重要的理论-实验对照发现：纯奖励污染时，误差界中的污染项$O(\bar{\sigma }\sqrt{{\epsilon }_R}/(1-\gamma ))$与信息论下界$\Omega (\sqrt{{\epsilon }_R})$精确匹配，说明在污染比例已知的前提下达成了[[minimax最优]]。但当状态污染存在时，污染项变为$O(\tilde{\sigma }){\epsilon }_Y/(1-\gamma {)}^2$，对${\epsilon }_Y$的线性依赖意味着高状态污染率下算法性能会有更明显的退化。

讨论与可借鉴点

BR-Async-Q的理论框架首次系统地解决了异步Q学习在联合奖励-状态污染下的鲁棒性问题，这一贡献填补了该领域的重要空白。分批策略与鲁棒估计的结合揭示了一个深刻的洞见：降低方差不仅是提升统计效率的手段，更是抵抗对抗性扰动的前置条件——当单样本估计的方差足够小时，异常值更容易被截尾机制识别和剔除。

然而这项工作也留有若干有待探索的方向。首先，算法显式依赖已知的污染比例${\epsilon }_R$和${\epsilon }_Y$，在未知污染环境下如何自适应地发现污染边界仍是开放问题。其次，epoch长度的选择需要在存储开销与方差缩减之间权衡，论文中的下界要求$H=\Omega (\log (T|S||A|/\delta )/{\lambda }_{\min })$，这在状态空间巨大或${\lambda }_{\min }$极小时可能不切实际。此外，当前分析局限于[[表格型强化学习]]，向函数逼近（线性参数化或神经网络）的推广需要处理逼近误差与污染误差的耦合问题。最后，实验仅在单一grid-world环境验证，与已有鲁棒方法（如针对纯奖励污染的[[异步Q学习]]变体）的直接数值对比尚属空白。

对于从事鲁棒强化学习研究的研究者而言，本文的方法论提供了可迁移的思路：将在线数据流分批以创造“重置”机会，再在每个epoch边界使用统计鲁棒化工具处理累积的污染风险。这种设计模式或许可以推广到其他在线学习算法（如TD学习、策略梯度等），为构建更可靠的强化学习系统提供新的设计范式。

研究背景与动机

离线目标条件强化学习（Offline Goal-conditioned RL）的核心目标是从静态数据集中学习能够达成任意指定目标的通用策略。这类方法在机器人操作、长序列决策等场景中有广阔应用前景，但其扩展到长视野任务时面临一个根本性瓶颈——"视野诅咒"（curse of horizon）。

问题根源在于离线强化学习通常依赖时序差分（TD）学习来估计状态价值函数。TD学习的核心是自举Bellman回溯：用当前估计的价值去更新更早时刻的价值估计。在理想情况下，如果价值函数估计准确，这种迭代会收敛到真实的价值。但离线设置引入了一个致命缺陷：数据集只覆盖了数据收集策略产生的动作分布，而学到的策略在某些状态上可能会选择数据分布之外的动作。这些分布外（OOD）动作会导致价值函数产生外推误差，而这种误差会沿着长链的Bellman回溯不断累积放大，使得距离目标越远的状态价值估计越不可靠。

现有方法试图从两个方向缓解这一问题。一类是扁平的动作分块方法，如Q-Chunking，让评论家以整段动作序列为条件来做k步无偏回溯，从而减少自举次数。这种方法在执行层压缩了视野，但规划的视野仍然很长。另一类是分层强化学习，通过将任务分解为子目标序列，让高层规划在子目标空间操作来缓解问题。然而这些方法通常依赖以单步粒度执行的低层控制器，仍然存在短视执行的问题，而且低层评论家的价值估计同样会受到误差累积的影响。

这两种思路各有局限：扁平分块只能将视野压缩常数倍，对于需要数千步才能完成的任务仍然不够；标准分层方法虽然改变了规划空间，但低层的价值估计误差累积问题并未得到根本解决。HiQC的切入点是：如果同时在规划层和执行层都进行时序分解，能否实现更有效的视野压缩？

方法

HiQC的核心设计哲学可以用一个简洁的等式概括：$T_{\text{total}}=\frac{T}{c}\times \frac{c}{k}$ 次自举操作。这意味着总视野被分解为两个层面的压缩——高层以间隔$c$进行稀疏规划，低层以长度为$k$的动作块为单位执行。

高层设计：潜在子目标空间中的隐式规划

高层的核心任务是学习一个潜在的子目标表示空间，并在该空间中进行粗粒度的价值评估。具体来说，高层价值函数被参数化为 $V^H(s,g)\approx w(s,\varphi (g))$，其中 $\varphi :\mathcal{S}\to \mathcal{Z}$ 是将状态映射到潜在子目标空间的表示函数。学习这个价值函数时，HiQC采用了隐式V学习（Implicit Value Learning）的范式，直接对$c$步回报做期望回归：

这里使用expectile regression而非标准的均方误差，使得学到的价值函数对分布外动作更加鲁棒。高层策略${\pi }^H(z|s,g)$则通过优势加权回归（Advantage-Weighted Regression, AWR）训练，目标是$c$步后能够达到的潜在子目标$z=\varphi (s_{t+c})$。这相当于在高层面实现了"稀疏但有意义"的规划——不是每一步都做决策，而是每隔$c$步才考虑一次子目标的选择。

低层设计：条件化的无偏动作分块

低层的核心创新在于让评论家以整段动作块为条件。传统的评论家接收状态-动作对$(s,a)$作为输入，然后估计$Q(s,a)$。但HiQC的低层评论家$Q^L(s,a_{t:t+k},z)$接收的"动作"是一个长度为$k$的时间扩展序列。这样做的关键好处是：价值回溯可以在$k$步的尺度上无偏地进行，而不受off-policy偏差的困扰。

低层评论家的训练目标为：

注意到这里使用的是$s_{t+k}$而非中间的$s_{t+1}$，即评论家直接评估执行完整个动作块后的结果。相应的状态价值函数$V^L(s,z)={\mathbb{E}}_{a\sim {\pi }^L(\cdot |s,z)}[Q^L(s,a,z)]$通过下界形式学习：

低层策略${\pi }^L(a|s,z)$使用条件流匹配（Conditional Flow Matching, CFM）来参数化。流匹配方法将策略建模为向量场$v_{\omega }(t,x,s,z)$，通过优势加权训练：

这种设计相比高斯策略的优势在于：流匹配可以直接生成连续空间中的任意动作序列，而不需要在动作空间中定义均值和方差。

双重分解的理论动机

论文还给出了一个简化的理论分析来说明为什么双重分解是有效的。考虑一个有界per-backup误差模型：假设每一步Bellman回溯的误差至多为$ϵ$，那么在扁平TD学习中，总误差上界是$O(T)$；在标准分层结构中是$O(T/c)$；而在HiQC的双重分解下，误差上界压缩到$O(\sqrt{T/k})$。论文进一步推导了最优的规划间隔$c^{\ast }=\sqrt{Tk{ϵ}_H/{ϵ}_L}$，其中${ϵ}_H$和${ϵ}_L$分别代表高层和低层的per-backup误差。这个结果表明：双重分解不是简单地将两种方法叠加，而是存在一个最优的配置使得误差最小化。

实验与结果

实验设置

实验在OGBench基准套件上进行，这是一个专门为离线目标条件强化学习设计的标准化评测平台，包含9个任务，分为两类领域。运动导航类包括antmaze、humanoidmaze、pointmaze及其"giant"长视野变体——这些任务需要智能体在迷宫中导航到达指定位置，giant变体的视野可达数千步。操作类包括cube-triple、scene-play、puzzle-4x6，要求智能体操纵物体或完成拼图。实验采用稀疏奖励（成功为0，失败为-1），不使用预言机状态信息，完全依赖像素或低维观测。

对比方法涵盖三大范式：扁平方法包括GCBC、CRL、GCIQL；动作分块方法包括Q-Chunking及其解耦版本DQC；分层方法包括HGCBC、HIQL以及HGCBC+AC（带动作分块的混合版本）。所有方法使用相同的超参数配置，不针对各个任务单独调优，以保证比较的公平性。

主要发现

HiQC在总体性能上取得了OGBench上所有对比方法中的最高综合得分（53%），显著优于HIQL的42%和Q-Chunking的35%。最引人注目的是长视野导航任务上的表现：humanoid-giant从HIQL的10%提升到33%，pointmaze-giant从44%跃升至80%，antmaze-large从HIQL的88%进一步提升到93%。这些数字背后的含义是：对于需要数千步规划的任务，HiQC的双重视野压缩确实有效缓解了误差累积问题。

相比之下，操作类任务的结果则更为复杂。HiQC在cube-triple上取得最佳表现（9%），但在scene-play和puzzle-4x6上反而不如DQC。这可能是因为操作任务通常不需要那么长的视野，但需要更精细的状态表示——DQC通过解耦评论家视野（25步）与执行视野（5步）的设计在这种场景下更占优势。论文坦诚地承认了这一局限性。

消融实验进一步验证了方法设计的合理性。流匹配策略相比高斯策略在所有环境中都表现更好，验证了时序扩展动作生成中参数化选择的重要性。动作块大小$k$存在一个"甜点"——在$k=5$左右性能最优，过大的$k$反而因开环误差累积而下降。子目标间隔$c$同样需要权衡，HiQC可以从比HIQL更大的$c$中受益，但过大的$c$会损害表示学习的质量。

讨论与可借鉴点

方法论层面的启示

HiQC最值得关注的设计启示是时序分解的组合价值。过去的研究通常将动作分块和分层强化学习视为解决同一问题的不同路径，而HiQC证明了将两者有机结合可能产生"1+1>2"的效果。这提示我们，在设计算法时，问题的不同维度（如规划粒度、执行粒度）可能需要针对性地设计不同的机制，而不是用单一机制试图解决所有问题。

理论分析的价值与局限

论文提供的理论分析虽然是在高度简化的模型下得出的（bootstrap-chain model，有界per-backup误差），但其价值在于提供了设计决策的直觉引导。$O(\sqrt{T/k})$ vs $O(T)$ vs $O(T/c)$的误差界对比帮助我们理解了为什么双重分解是有效的，而最优规划间隔$c^{\ast }$的推导则给出了在实际应用中如何配置的指导。不过，这种分析没有考虑函数逼近误差、双层交互、随机动力学等实际因素，读者需要认识到这只是"存在性保证"而非"性能保证"。

当前局限与未来方向

几个关键局限值得指出。首先，固定的动作块大小$k$是一个明显的瓶颈——真实任务中不同状态可能需要不同程度的时序扩展，自适应的块大小选择可能带来进一步提升。其次，HiQC在操作任务上的劣势表明，对于需要精细状态表示的任务，潜在子目标的瓶颈可能阻碍了信息的有效传递，如何设计更好的状态表示或解耦不同层级的表示需求是值得探索的方向。此外，两层架构之外是否存在更深的层次结构能进一步压缩误差界，也是开放问题。

从实践角度看，这项工作提醒我们关注离线强化学习中误差累积这一核心挑战的不同解决路径。HiQC通过改变时序粒度来缓解问题，另一条路径是改进价值函数的学习目标（如使用更鲁棒的回归方法），两条路径的结合可能会产生更好的效果。

研究背景与动机

强化学习（RL）在机器人控制和工业自动化等领域展现出巨大潜力，但 [[样本效率]] 低下的问题一直制约着其在真实场景中的广泛应用。离线预训练结合在线微调的范式提供了一种解决思路：利用预先收集的专家演示数据提取策略先验，帮助智能体更快地学到有效策略。

然而，现有的大多数行为先验强化学习方法存在根本性局限。这些方法依赖静态离线数据集，而真实场景中的离线数据往往面临多重困境：数据多样性不足意味着先验难以覆盖充分的状态空间；轨迹质量参差不齐会引入次优甚至错误的行为模式；更关键的是，离线数据是预先收集的，无法随着在线训练进程动态调整。当智能体探索到新的状态区域时，静态先验可能完全失效，导致探索效率低下和学习动态不稳定。

针对这些局限，本文的研究切入点非常明确：能否不依赖预存的离线数据，而是直接从智能体自身的在线经验中学习和生成策略先验？这意味着先验能够随着学习进程动态演化，始终反映当前最优策略的知识。

方法

EBP的核心创新在于提出了一套从在线经验中动态生成高质量策略先验的完整方案。整体框架包含三个关键模块：Q-CVAE负责从回放池中学习生成专家动作先验，EPG从生成的支持集中选择最优专家动作，PGC则协调Q引导与专家监督以保证稳定优化。

Q引导条件变分自编码器（Q-CVAE） 是整个算法的核心组件。传统 [[变分自编码器]] 是无监督生成模型，学习重建输入数据的潜在表示。而Q-CVAE的创新之处在于引入了Q值作为条件变量，使得生成的动作分布天然带有价值信息。具体而言，编码器将状态-动作对映射到潜在空间，Q值作为额外条件输入影响潜在表示的分布参数。解码器在给定状态和潜在变量时重建对应的动作，但重建目标不仅是最小化重构误差，更重要的是让生成的动作分布与高Q值区域对齐。这种设计带来一个关键优势：随着在线训练的推进，回放池中积累的经验越来越丰富，Q-CVAE能够持续学习新出现的有效动作模式，生成的先验始终反映当前最优策略的知识。

专家策略引导（EPG） 机制进一步增强了策略利用的可靠性。直接使用Q-CVAE生成的动作作为先验存在风险：Q值估计本身可能存在偏差，过度依赖生成动作可能导致策略过早收敛。EPG的解决方案是从Q-CVAE生成的支持集中选择性地提取专家动作。这里的关键在于条件采样机制——通过精心设计的采样策略，确保生成的动作不仅与当前状态相关，还具有较高的价值估计。这种选择性利用既避免了盲目追随次优生成动作，又充分利用了生成式先验的价值信息。

策略梯度校正（PGC） 模块则引入了经典的策略优化信号来平衡Q引导的潜在偏差。虽然生成式先验能够提供有价值的动作建议，但纯粹的Q引导可能忽略策略梯度方向上的有效信息。PGC的核心思想是让策略更新同时考虑生成先验的引导和原始策略梯度的校正。形式化地，可以理解为在标准 [[策略梯度]] 基础上引入了一个校正项，该校正项来自生成先验与当前策略之间的偏离程度。当生成先验与当前策略一致时，校正项较小，策略按常规梯度更新；当两者出现显著偏差时，校正项引导策略向生成先验靠近，同时避免过大的跳跃导致学习不稳定。

这三个模块的协同工作形成了EBP的核心逻辑：Q-CVAE从在线经验中学习价值感知的动作分布，EPG从中筛选出可靠的专家动作，PGC则确保策略更新既有生成先验的引导又保持稳定的一致性改进。

实验与结果

实验在三类基准环境中系统验证了EBP的有效性：Gymnasium的经典连续控制任务、PyBullet的仿真机器人环境，以及DMControl的工业控制场景。这些环境涵盖了从低维到高维状态空间的多种任务复杂度，能够全面评估算法的泛化能力。

对比基线包括当前最先进的在线强化学习算法SAC、TD3、PPO，以及结合离线先验的DDPG+BC方法。实验结果清晰地表明，EBP在所有基准上都取得了显著的性能提升。以Gym环境的Hopper任务为例，EBP在50万步交互内达到了接近最优的奖励值，而SAC需要近百万步才能收敛相近水平。更值得注意的是，EBP的收敛曲线波动明显更小，表明学习过程更加稳定。

消融实验进一步验证了各模块的贡献。移除Q-CVAE直接使用随机采样的先验，性能大幅下降，说明价值感知的生成机制至关重要。移除EPG仅依赖Q-CVAE生成动作，性能也有明显退化，证实了选择性利用的重要性。单独移除PGC时，虽然最终性能相近，但收敛过程中的方差显著增加，说明策略梯度校正在稳定学习动态方面不可替代。

样本效率的提升是EBP最具实际价值的优势。在真实机器人控制等应用中，每一步交互都意味着时间成本和机械磨损，EBP能够让智能体从更少的在线经验中学习到有效策略，这直接拓展了强化学习在现实世界中的应用可能性。

讨论与可借鉴点

EBP为 [[样本效率]] 问题提供了一条有别于传统方法的新路径。传统的做法要么依赖大量离线数据，要么通过复杂的探索策略来弥补效率不足。EBP的思路则更为优雅：既然离线数据质量难以保证，不如直接从在线经验中提炼高质量的策略知识。Q-CVAE的引入实现了这一目标，将 [[变分自编码器]] 的生成能力与强化学习的价值评估有机结合。

EPG和PGC的协同设计也值得借鉴。生成式先验提供了一种高效的动作引导方式，但纯粹的生成模型缺乏对策略优化目标的直接感知。通过PGC引入策略梯度校正，既保留了生成先验的价值信息，又确保了策略更新方向的合理性。这种协调Q引导与专家监督的思路，为解决强化学习中探索与利用的平衡问题提供了新视角。

当前实现也存在一些局限。在极高维动作空间或极度稀疏奖励的极端场景下，Q-CVAE的生成质量可能受到影响。此外，从在线经验中学习生成先验需要额外的计算资源，在资源受限的场景中可能需要权衡。在线计算开销的优化——例如通过模型缓存或知识蒸馏——是值得探索的未来方向。

从更宏观的角度看，EBP展示了生成式模型在强化学习中除图像生成外的另一重要应用场景。将高质量动作分布的建模与价值评估相结合，可能是提升样本效率的一条有效途径。这一思路对其他依赖高质量动作先验的强化学习应用，如机器人灵巧操作和自动驾驶决策，都具有启发意义。

研究背景与动机

构建能够完成复杂长视野任务的 LLM 智能体是当前大型语言模型应用的重要方向之一。这类任务往往需要智能体在多个步骤间进行推理与决策，例如在虚拟家庭环境中执行操作指令（ALFWorld），或在电商网站中完成购物搜索（WebShop）。为了让模型学会解决此类任务，研究者普遍采用 [[强化学习与人类反馈（RLHF）]] 的范式，通过与环境交互产生的 rollout 轨迹来优化策略。

然而，这一方案在实践中面临一个核心瓶颈：当策略尚且弱小（weak policy）时，智能体容易反复执行类似的错误操作，产生的 rollout 轨迹缺乏信息量——既无法提供有效的正例指导，也会因为大量重复失败而浪费计算资源。传统的解决思路是设计[[技能库]]或[[可复用技能模块]]，通过优化、筛选或内化这些技能来改善探索效率。但论文指出，这些以技能为中心的方法存在一个根本局限：它们始终围绕"技能本身"做文章，而非针对"正在演化的策略"提供自适应支持。

PATS 的核心洞察正在于此。训练过程中，策略处于持续迭代状态——起初很弱，随后逐步变强。如果训练支架能够感知这一演化过程，在策略薄弱时给予更多具体帮助，在策略进步后逐步撤除不必要的指导，理论上既能加速早期学习，又能避免后期对显式引导的过度依赖，从而训练出真正具备独立解决问题能力的智能体。

方法

PATS 的设计围绕一个核心问题展开：如何在训练过程中让支架自适应地响应策略的演化？具体做法分为以下几个层次。

将 rollout 转化为证据卡。 每一轮训练结束后，PATS 会收集最新策略产生的若干 rollout 轨迹，按照任务评估结果将其分组。对于同一任务，通过评估的轨迹被视为成功证据，未通过的则标记为失败证据。这些轨迹随后被编码为"证据卡"（evidence cards），每张卡片记录了一条 rollout 的关键状态-动作序列及其对应的任务表现。证据卡作为上下文信息，会被注入到下一轮 rollouts 的提示中，为智能体提供来自当前策略的最新参考。

基于任务评估的上下文动态调整。 这是 PATS 实现自适应性的关键机制。具体而言，系统会检查每张证据卡在当前任务上的评估结果：如果某个子任务频繁失败，系统会在上下文中添加更具体的操作指导，帮助弱策略绕过这一障碍；反之，当某条证据已表明策略能够独立完成某一步骤时，相应的引导信息会被标记为冗余并在后续rollouts中移除。这一调整过程完全由任务特定评估驱动，无需人工干预。

从直觉上看，这一设计与人类学习中的"脚手架"（scaffolding）理论高度吻合。在认知发展的早期阶段，学习者需要大量具体的指导；随着能力提升，这些支撑应逐渐撤除，让学习者发展出独立的解决问题的能力。PATS 将这一理念迁移到了 LLM 智能体的训练过程中，使得训练支架本身成为了策略的函数——支架的存在形态取决于策略当前的能力水平。

策略优化与部署分离。 在训练阶段，PATS 采用标准的 [[RLVR]]（Reinforcement Learning with Verifiable Rewards）方式，利用环境提供的任务完成奖励来优化策略。值得注意的是，证据卡等支架信息仅在训练期间参与上下文构建，模型在推理部署时完全丢弃这些组件——这保证了部署阶段的推理开销与标准模型无异，也意味着最终产出的策略必须真正学会独立完成任务，而非依赖训练时的额外提示。

整体框架可以形式化为一个迭代过程：每一轮迭代中，策略 ${\pi }_{\theta }$ 生成 rollout 集合 $\{{\tau }_i\}$，这些轨迹经评估后转化为证据卡集合 $E$，评估函数 $f(\tau ,\text{task})$ 决定如何调整上下文中的引导强度，调整后的上下文 $c_{\text{adapted}}$ 用于生成下一轮 rollout，策略则通过奖励信号 $r(\tau ,\text{task})$ 进行更新。

实验与结果

论文在三类基准上验证了 PATS 的有效性：ALFWorld（多步家务操作）、WebShop（电商网站导航）以及七个检索增强问答基准。这些任务覆盖了长视野推理、环境交互和知识密集型问答等不同类型的挑战，能够较为全面地评估方法在不同场景下的泛化能力。

实验设置上，PATS 的对比基线包括当前最优的技能中心方法以及标准 RLVR 训练方案。在同等训练预算下，PATS 的最终任务完成率与基线相当，但在 token 消耗上实现了显著节省——具体而言，减少幅度在 25% 到 50% 之间。这意味着 PATS 不仅没有因为引入证据卡机制而增加计算开销，反而通过更高效的训练轨迹利用，降低了总体资源需求。

这一结果的深层含义值得玩味。token 消耗的节省主要来自两方面：其一，证据卡帮助策略更快找到正确解法路径，减少了因反复试错产生的无效 rollouts；其二，自适应调整机制在策略成熟后及时移除了冗余指导，避免了过度上下文带来的冗余计算。两者共同作用，使得训练效率大幅提升。

值得注意的是，论文还通过消融实验验证了证据卡机制和上下文自适应调整各自的贡献。移除证据卡直接导致性能下降，说明将 rollout 转化为结构化上下文信息确实有助于学习；移除自适应调整（即始终保持高强度引导）则导致训练后期策略能力受限，表明持续引导会阻碍独立解法能力的习得。

讨论与可借鉴点

PATS 展示了一条以策略为中心的训练思路，其核心贡献在于将训练支架从静态的技能库转化为动态的、响应策略状态的上下文机制。这一转变解决了技能中心方法的根本局限：技能库一旦构建便相对固定，难以根据训练进展灵活调整。

从更宏观的视角看，PATS 的设计呼应了[[课程学习]]（curriculum learning）中的难度递进理念——只不过它不是预设任务难度序列，而是让策略自身的能力状态来决定何时需要辅助、何时可以独立。这种"策略感知"的特性使得训练过程更加贴合学习者的实际需求，避免了过早撤除帮助导致的停滞，也避免了过晚撤除帮助导致的依赖。

当然，PATS 也存在一些局限。首先，证据卡的生成和上下文调整依赖于任务评估函数的质量，对于缺乏明确评估标准的开放性任务，这一机制的效果可能打折扣。其次，论文主要验证的是短中期训练场景下的效果，对于极长周期的持续学习，证据卡累积可能带来的上下文膨胀问题尚未充分讨论。

对于后续研究而言，PATS 提供了一个有价值的视角：训练支架的设计不应仅关注"如何提供帮助"，更应关注"何时提供帮助"以及"何时停止帮助"。将这一思想与其他方向结合——例如与模型蒸馏结合实现支架知识的隐式化，或与多任务学习结合实现跨任务证据迁移——都是值得探索的方向。

研究背景与动机

带可验证奖励的强化学习（RLVR）已成为激发大语言模型推理能力的主流范式，其核心思想是利用可精确判定的答案奖励来驱动策略优化。然而，当面对竞赛级数学任务时，这一范式遭遇严峻挑战：未经预训练的模型在难题上几乎无法给出正确答案，导致奖励信号极度稀疏，[[强化学习#策略梯度方法]]的优势被大幅削弱。

一种被广泛采用的补救策略是将原子知识点（KP）——从标准答案中提炼出的简短自然语言提示——注入到问题提示中，作为解题的"脚手架"。这些知识点承载了人类解题时需要的中间推理线索，例如"考虑使用归纳法"或"注意该函数在边界处的行为"。已有方法如 KnowRL 通过离线阶段的约束子集搜索（CSS）来确定每道题应注入哪些知识点，但这种方法存在一个根本性假设：知识点的重要性在训练过程中保持不变。

然而，这个假设是否成立值得商榷。模型在不同训练阶段拥有不同的知识储备和能力水平，对同一条知识点的依赖程度必然动态变化。论文的实验数据印证了这一直觉——在八个基准上，不同策略下选出的 top-30% 知识点集合的 Jaccard 相似度平均仅为 0.537，远低于 0.7 的阈值，证明知识点的重要性确实呈现非平稳特性。

除离线静态选择外，另一类方法试图在在线阶段调节提示词，但它们要么只调整提示的"数量"而非具体"内容"，要么仅在整题级别筛选而非在原子知识点粒度上选择。AdaKP 的切入点正是这一被忽视的决策维度：在 RL 训练过程中，应该为每道题注入哪些原子知识点子集，以及何时重新选择。

方法

AdaKP 的设计遵循一个核心原则：用轻量级的代理指标替代昂贵的真实反馈，同时通过三个配套机制确保该信号在训练中的可用性，最终在训练启动前增加一道可证伪的安全阀。

熵代理指标是整个方法的核心创新。对于候选知识点 $k$ 和问题 $q$，其代理分数定义为：

其中 $\hat{H}$ 是前 $K=50$ 个生成词元上首词元 Shannon 熵的均值，$q\oplus k$ 表示将知识点 $k$ 注入提示词的 Hint 区块。直观理解是：一个有用的知识点应该降低模型在解题起始阶段的不确定性，使其更倾向于选择某个特定的起始动作。代理指标只需一次低成本的前向传播即可计算，无需进行耗时的 rollout 和真实奖励对比。

在实际部署中，vLLM 仅返回 top-$L=20$ 的对数概率，论文给出了截断熵的归一化计算公式，并证明了一个重要的理论性质：当尾部概率质量 $\epsilon$ 较小时，截断偏差具有可证明的上界 $\Delta (p,L)\le \epsilon \log |V|+H_2(\epsilon )$。这意味着即使在有限截断条件下，代理指标对真实熵差的估计偏差也是有界的。

然而，仅有代理指标还不够。由于策略在训练过程中持续演化，单次熵评估可能包含大量噪声，论文引入动量平滑器来吸收逐步变化。其工作方式是对每个问题-知识点对的分数进行指数滑动平均：

默认 $\alpha =0.3$，使得每次重评估的分数更新都被历史平滑，而非被单次波动主导。选取时按分数排序取 top-$\lceil {\rho }_{\text{sel}}\cdot |A_q|\rceil$ 个知识点，同时保证至少保留 1 个以避免 Hint 区块为空。

淘汰-复活管理器解决了探索与利用的平衡问题。如果某个知识点连续多次未被选中（默认阈值 $n_{\text{retire}}=3$），则将其从活跃池中淘汰以节省后续计算；但为了保留探索可能性，每 $m_{\text{revive}}=5$ 次重评估会随机复活 $r_{\text{revive}}=0.1$ 的已淘汰知识点。这一机制在训练初期尤其重要——此时模型能力快速变化，某些被初期策略"否定"的知识点可能很快变得有价值。

自适应调度器则回答了"何时重选"的问题。对数回退式的重评估间隔公式为：

默认配置下产生约 7 次重评估，且由于对数回退的特性，重评估被"前置"到训练早期——此时策略变化最剧烈，重选有最多步数可发挥作用。随着训练的推进，策略逐渐收敛，重评估频率自然降低。

最后，预检验证门控是 AdaKP 的一道安全防线。在任何昂贵的训练运行启动前，方法对每个基准最多 30 个分层采样的问题（要求 $|C(q)|\ge 2$）计算熵代理与留一法（LOO）边际准确率的 Spearman 秩相关。需同时满足 $\hat{\rho }>0.6$ 且 95% 自举置信区间下界 $>0.4$，否则阻断训练。这一设计将"代理指标是否真的有效"这个方法论层面的风险转化为一个可证伪的统计检验，避免在指标失效的情况下浪费大量计算资源。

实验与结果

论文在 OpenMath-Nemotron-1.5B 基础模型上进行训练，采用 verl 框架搭配 DAPO 配方和 GRPO 优势估计，使用 8×NVIDIA H800 GPU（80GB）完成约 13 天的主训练（总计约 2500 GPU 小时）。评估覆盖八个竞赛数学基准共 1374 题，包括 AIME24、AIME25、BRUMO25、HMMT25、AMC23、CMIMC25、MATH-500 和 Olympiad-Bench。

在主对比中，AdaKP 以平均 71.93% 的通过率超越最强基线 KnowRL-Nemotron-1.5B（70.08%），提升幅度达 +1.85 个百分点。特别值得注意的是，在奖励最稀疏的 Hard-3 基准（AIME25+HMMT25+CMIMC25）上，AdaKP 的提升达到 +3.36 个百分点，呈现"在最稀疏处最大、在接近饱和处消失"的改进模式。这一特征有力地表明提升来源于"训练内容选择更优"而非"优化器变化"——正是因为难题的奖励信号本就匮乏，一条有效的知识点才能在极大程度上决定模型能否获得正向奖励。

消融实验进一步验证了各组件的必要性。关闭熵代理（用随机评分替代）导致平均性能下降 1.62 个百分点，同时知识点池的"搅动率"（churn rate）从 0.34 升至 0.72，说明随机选择引入了更多不稳定因素。关闭动量平滑器（$\alpha =1.0$）导致下降 0.91 个百分点，且搅动率升至 0.57，证明单次评估的噪声确实需要被平滑吸收。关闭淘汰-复活机制导致下降 0.73 个百分点，且知识点覆盖率从 0.86 降至 0.51，说明缺乏淘汰机制会导致大量弱知识点始终占用选择份额。固定调度器（移除自适应重评估间隔）导致下降 0.43 个百分点，表明前置重评估确实带来了额外收益。

代理对比实验（表 4）直接验证了熵代理相对于其他评分器的优越性。在 240 题上与留一法真实边际准确率的 Spearman 秩相关中，随机评分为 0.02，Max-logit 为 0.41，Perplexity 为 0.53，而论文提出的熵代理达到 0.68，是唯一通过预检验证门控（$\hat{\rho }>0.6$ 且 CI 下界 $>0.4$）的方法。这一结果不仅证明了熵代理的有效性，也说明预检验证门控确实能够过滤掉不合格的指标。

讨论与可借鉴点

AdaKP 的核心贡献在于揭示了一个此前被忽视的研究维度：在 RLVR 训练中动态选择"为每个问题注入哪些知识点"具有实际价值。这一发现的方法论启示在于：当我们讨论 RLVR 的效率问题时，目光往往聚焦于优势估计、策略约束、采样策略等优化层面的改进，而对训练内容本身的关注相对不足。AdaKP 证明，训练内容的选择本身就是一个独立且有效的改进维度。

从工程角度看，AdaKP 作为标准 DAPO+GRPO 训练器的纯加性 fork（无需修改优化器），每次重评估的开销不到主运行耗时的 1%，这种"小改动大收益"的特性使其具有很强的实用价值。预检验证门控的设计也值得借鉴——它将方法论层面的假设（"熵代理能反映知识点效用"）转化为一个可统计检验的命题，在实验早期发现失效情况，避免后期大量计算资源的浪费。

然而，AdaKP 也存在一些局限。首先，主对比仅使用单一随机种子（seed 42），缺乏多次运行的统计显著性验证，虽然论文引用了已发布检查点的数字作为基线，但这一选择本身也意味着无法隔离再训练带来的方差。其次，消融和扫描实验的 16 组配置仅训练 1500 步（主对比为 2960 步），可能遗漏了后期训练阶段的差异——尤其是在奖励逐渐变得密集的后期，在线选择的边际收益可能进一步变化。最后，熵代理的理论性质（截断偏差有界性）虽然成立，但实际超参数 $K=50$、$L=20$ 的选择缺乏系统性的敏感性分析，不同模型规模或token长度下代理指标的行为是否一致仍待探索。

未来的研究方向可以包括：扩展熵代理到其他任务类型（如代码生成、多步推理）而非仅限竞赛数学；探索知识点之间的交互效应而非独立评分；将 AdaKP 与其他 RLVR 改进（如不同优势估计器、策略约束方法）结合使用；以及在更大规模模型（如 7B、70B）上验证其有效性，因为知识点注入策略的效果可能随模型规模呈现非线性变化。

研究背景与动机

在强化学习中，智能体需要在即时奖励与未来潜在收益之间做出权衡。这一权衡通常由折扣因子 $\gamma$ 控制：它对 $k$ 步之后的奖励施加 ${\gamma }^k$ 的衰减，最终形成一条指数衰减的时间视野。这一机制的核心公式为：

问题在于，不同任务往往需要不同的时间视野。较小的 $\gamma$ 使智能体更关注眼前的反馈，适合需要快速响应的任务；较大的 $\gamma$ 则引导智能体进行更长远的规划，但可能在奖励稀疏的环境中面临探索困难。更关键的是，当任务本身的奖励结构发生变化时——比如目标位置迁移、奖励信号重新定义——一个固定的 $\gamma$ 可能从最优选择瞬间变成次优甚至糟糕的选择。

传统做法是对 $\gamma$ 进行网格搜索，但这一过程既耗时又缺乏适应性。生物智能体却展现出一种更灵活的能力：它们能够根据环境上下文自适应地调整时间折扣的方式。受这一生物学观察的启发，本文试图在人工强化学习系统中复现这种多时间尺度的规划能力，核心目标是设计一种无需手工调节折扣因子的自适应方法，使其能够在任务切换和奖励结构变化时自动调整自身的时间视野偏好。

方法

论文提出的方法包含两个核心组件：多视野 Q 学习头集合与自适应混合网络。

首先，预设一组离散的折扣因子集合，覆盖从极短视野到无折扣的完整谱系。论文选取了十个值：$\gamma \in \{1,0.998,0.996,0.992,0.984,0.969,0.938,0.875,0.75,0.5\}$，对应的有效视野 $H_{\text{eff}}=\frac{1}{1-\gamma }$ 从 2 延伸到无穷大。这种离散化设计既保证了视野覆盖的完整性，又避免了连续参数空间的优化困难。

每个折扣因子对应一个独立的 Q 学习头，学习该时间尺度下的动作价值函数 $Q_i(s,a)\approx Q_{{\gamma }_i}^{\pi }(s,a)$。论文采用 Q(λ) 框架，每个头的 TD 误差与资格迹更新都基于各自的 ${\gamma }_i$ 计算。资格迹机制在这里起到了加速学习的作用，使得各头能够更高效地传播延迟奖励的信用分配。

关键创新在于混合网络的设计。该网络以状态 $s$ 为输入，通过特征提取得到 $x=\varphi (s)$，再经线性映射和 softmax 归一化，为每个 Q 头生成一个权重：

最终混合 Q 值为各头的加权平均：

权重满足非负且和为 1 的约束，这保证了 $Q_{\text{mix}}$ 始终位于各头 Q 值构成的凸包内，是物理意义良好的混合结果。混合网络的损失函数基于 $Q_{\text{mix}}$ 计算的 TD 误差，其梯度更新倾向于让高权重的头对应更高的 Q 值、低权重的头对应更低的 Q 值。

论文进一步证明了该方法的理论性质：在固定策略下，若某个折扣因子 ${\gamma }^{\ast }$ 是性能最优的，则训练过程中对应头的权重 $w_{{\gamma }^{\ast }}$ 将趋向于 1，其他权重趋向于 0。这意味着混合网络本质上在学习为当前状态选择最合适的时间视野。

直觉上，这种设计与人类决策的双过程理论相呼应：快速的「直觉」头捕捉短视但即时的反馈，而深谋远虑的头则积累长期信号，混合网络则根据当前情境决定两者的相对话语权。

实验与结果

实验在 MiniGrid 系列的离散网格世界环境中进行，涵盖多种关卡配置以测试方法在不同任务要求下的适应性。

在标准 RL 任务中，论文对比了自适应多视野方法与固定 $\gamma$ 的多种取值。结果显示，多视野方法能够自动识别出在该环境中表现最优的时间折扣因子对应的头，并赋予其主导权重，而无需任何关于最优 $\gamma$ 的先验知识。相比之下，固定 $\gamma$ 方法需要在部署前进行耗时的网格搜索，且一旦任务变化就需要重新调参。

更具挑战性的是持续学习场景的测试。实验设置了一个包含三个顺序切换任务的序列，要求智能体在目标位置发生突变后迅速调整策略。多视野方法在此表现出显著的适应性优势：当任务切换时，混合网络的权重分布会相应地重新调整，从之前任务偏好的视野平滑过渡到新任务所需的时间尺度。这一动态调整过程本身就是对任务切换的隐性感知，可作为持续学习中任务边界检测的信号来源。

参数效率的提升也是关键发现之一。虽然多视野方法需要维护十个 Q 头，但其优势在于「一次训练、多场景适应」——同样的网络结构可以迁移到新任务而无需重新搜索 $\gamma$，这在长期来看显著降低了调参的总成本。

讨论与可借鉴点

该方法的局限性主要集中在以下几个方面。首先，实验验证目前仅限于 MiniGrid 离散环境，在连续控制任务（如 MuJoCo）或高维感知任务（如 Atari）上的表现尚待考察，这些场景可能对视野选择有不同的需求。其次，十个 Q 头的线性增长带来了相应的参数与计算开销，在极端资源受限的场景下可能成为负担。此外，混合网络本身引入的超参数（如 softmax 温度）仍需手工设定，并非完全的无参数方法。

尽管如此，这项工作为强化学习中的时间视野问题提供了一个有价值的解决思路。其核心贡献在于将「选择合适的折扣因子」从手工调参转变为自动学习的过程，这在任务切换频繁或奖励结构事先未知的场景中尤为实用。混合网络的权重分布可解释性也值得注意——它为研究者提供了一种观察智能体时间偏好随任务演化的窗口。

对于更广泛的研究社区而言，这篇论文的启示在于：单一时间尺度的假设可能限制了 RL 系统的适应性，而多尺度组合的思路或许值得在更多元的任务类型中探索。生物学中多时间尺度机制的计算建模也为本工作增添了跨学科的参考价值，提示强化学习研究可以从认知科学与神经科学的发现中汲取灵感。

研究背景与动机

异步强化学习的核心优势在于将 rollout 生成与策略优化解耦到独立的 GPU 池，通过周期性广播权重实现高吞吐与 GPU 利用率。然而这种解耦架构带来了一种固有的代价——陈旧性（staleness），它并非单一来源，而是由三类因素叠加而成。第一类是策略更新滞后，在权重广播窗口内进行的若干优化器步累积产生 log 概率差异 ${\Delta }_{b,t}^{\pi }=\log {\pi }^{(j)}-\log {\pi }^{(\ell )}$。第二类是实现失配，即使权重保持一致，训练端与推理端在算子实现、精度配置以及 MoE 路由策略上的差异仍会产生偏差 ${\Delta }_{b,t}^{\text{impl}}=\log {\pi }^{(\ell )}-\log {\mu }_{b,t}$。第三类尤其值得关注，即 MoE 架构中的路由不一致性，Top-K mask 的不连续性使得小数值扰动即可激活完全不同的专家集合。

论文将总失配分解为 $d_{b,t}=\log r_{b,t}={\Delta }_{b,t}^{\pi }+{\Delta }_{b,t}^{\text{impl}}$，并指出这种失配分布在同一 rollout 窗口内呈现高度的异质性且呈长尾分布。值得注意的是，这种异质性并非均匀分布，而是存在明显的两极分化——部分 token 的失配极小，另一部分则处于严重失配的尾部。这一现象在异步机制下被显著放大：当 lag 增大时，高失配尾部的占比也随之扩大。

从信赖域的视角审视，现有 PPO 裁剪的局限性变得清晰。PPO 裁剪仅对已采样 token 的外向更新进行门控，本质上是一种采样代理而非全策略约束。论文通过 Lemma 3.1 将全动作比与总变差距离联系起来，论证了理想的全动作比包络控制本可以直接约束有限时间界中的 TV 惩罚项。然而 PPO 只作用于采样动作而非全部动作空间，这导致在高 lag（lag = 8）场景下，高陈旧性更新仍处于弱控制状态。实验观测进一步印证了这一理论分析：GRPO 和 GSPO 在 lag 8 下分别于 step 429 和 424 发生训练崩塌，这正是高失配尾部累积引发的典型症状。

方法

SAT 的核心设计遵循一个清晰的原则：仅对当前 batch 中观察到的"高陈旧性尾部"按符号方向收缩 PPO 区间，对普通 token 和 pull-back 更新保持原 PPO 行为，并且可以作为 drop-in 替换嵌入到现有框架中。这一设计背后有两层考量：一是异质性确实存在，不应被均匀化处理；二是保守性与表达能力之间需要平衡，不能不加区分地压缩所有更新。

首先需要解决的是如何量化每个 token 的陈旧性程度。论文选择以去耦的采样对数比作为实用的陈旧性代理：

这里使用 stop-gradient 操作（sg）将代理从梯度流中隔离，仅用于决定裁剪区间而不参与优化过程。这种设计既保留了识别失配的信息，又避免了代理本身被优化目标所污染。需要特别指出的是，去耦对数比同时编码了策略更新滞后与实现失配两类信息，这使得它成为一个全面而实用的陈旧性度量。

接下来需要识别高失配尾部。论文采用基于陈旧性的核函数尺度来实现这一点。首先计算当前 batch 内失配绝对值的经验分布函数：

参考分位数 $q$ 由当前 batch 自校准得到，$\alpha =0.90$ 意味着选取第 90 百分位作为阈值。分位数的自适应性是关键设计：它允许 SAT 根据每批数据的实际失配分布动态调整，而不是依赖固定的经验阈值。

在此基础上，论文引入 Hill 核函数进行符号分离和映射：

Hill 核函数的特性值得深入理解：当 $u=0$ 时 $\psi (0;q)=1$，随着 $u$ 增大逐渐衰减至 $1/2$（当 $u=q$ 时）；其导数 $\partial \psi /\partial u\le 0$ 保证函数单调递减。这种设计使得高陈旧性 token 获得较小的收缩因子，而普通 token 几乎不受影响。

有效收缩因子的计算体现了这一机制：

当失配超过参考分位数 $q$ 时，收缩因子 $c_{\pm ,b,t}$ 小于 1；否则保持为 1（即不收缩）。随后将收缩因子应用到 PPO 的裁剪边界：

最终得到 SAT 采样目标：

这里的核心洞察是：收缩仅作用于按符号选定的一端。当 $\hat{A}>0$（正向优势）且 $d_{b,t}>q$（高陈旧性）时，仅收缩上界；当 $\hat{A}<0$（负向优势）且 $d_{b,t}<-q$ 时，仅收缩下界。这种符号感知机制确保了 pull-back 更新（有利于策略稳定回缩的更新）不会被误伤。

论文还提出了 GSPO 扩展，用长度归一化的序列级比值替换 token 级比值：

这使得 SAT 的思想可以在序列层面统一施加，为不同粒度的控制提供了灵活性。

理论保证是 SAT 设计的重要支撑。论文的命题 4.1 给出了三个关键性质。首先是区间包含：SAT 收缩区间 $I_{b,t}^{\text{SAT}}=[1-{\epsilon }_{\text{low}}{c}_{b,t}^{-},1+{\epsilon }_{\text{high}}{c}_{b,t}^{+}]$ 始终被原始 PPO 区间 $I_{\text{PPO}}=[1-{\epsilon }_{\text{low}},1+{\epsilon }_{\text{high}}]$ 所包含，门关闭时两区间重合，门开启时按符号选定的端点严格内移。其次是逐点悲观性：对于任意 $r$ 和 $\hat{A}$，有 $S^{\text{SAT}}(r,\hat{A})\le S_{\text{PPO}}(r,\hat{A})$。第三是差异精确作用域：SAT 与 PPO 的差异仅出现在新截获的外向区间上——即高陈旧性导致原本未被裁剪的外向更新现在被抑制为零梯度，而 pull-back 区间保持不变。这些性质共同刻画了 SAT 如何在保留基础 PPO 行为的同时，仅对高失配外向更新施加更保守的约束。