Reinforcement Learning

研究背景与动机

多轮智能体的核心工作模式是：接收用户指令后，通过反复调用搜索、计算、代码执行等工具逐步探索，直到最终输出答案。在短程任务中，这种模式运作良好——轨迹只有几步，强化学习的结局奖励（outcome reward）足以提供可靠的监督信号。然而，随着任务复杂度提升，轨迹可能扩展到几十甚至上百次工具调用，结局奖励的问题就变得尤为突出。

首先是稀疏性问题。当智能体在第 100 步工具调用时才得到最终反馈，99% 的中间动作处于无监督状态，梯度信号几乎无法抵达这些早期决策点。其次是误导性问题：一次失败的轨迹中可能包含大量有价值的中间动作——比如一次成功的网页搜索找到了关键线索，或者一次工具调用成功排除了错误选项——但仅凭结局训练，这些动作会得到与最终错误完全相同的负优势。结果是智能体学会了压制有效行为而非修正真正导致错误的决策。

现有的解决思路各有局限。过程奖励模型需要额外的标注数据来训练一个判断每个中间步骤好坏的模型，成本高且难以规模化；Monte Carlo 回滚估算则依赖精确的环境模型，在真实工具调用场景中几乎不可行；还有一些方法引入额外的评论器（critic）网络，但这意味着额外的训练开销和不稳定性。问题的本质在于：如何在没有过程标注、没有环境模型的情况下，仅凭最终的正确答案就给长程轨迹中的每一步分配一个有意义的信用信号？

方法

TRACE 的核心洞察非常简洁：一次工具调用的好坏，不在于它本身看起来如何，而在于它是否让智能体离正确答案更近了一步。如果某个动作之后智能体能以更高概率回答出正确答案，那它就应该获得正奖励；反之亦然。

具体做法分为三个步骤。

第一步，状态转移的离散化表示。 TRACE 把一条完整的智能体轨迹切分为"回合"——每个回合从智能体发出一个工具调用请求开始，到获得该工具的返回结果结束。这样，一条轨迹变成了一连串离散的状态转移：$s_0\to a_0\to s_1\to a_1\to s_2\to \cdots \to s_T$，其中 $s_t$ 是第 $t$ 次工具调用前的状态，$a_t$ 是该次调用对应的动作（即工具名和参数）。这种离散化天然地以工具调用边界作为切分点，与智能体的决策粒度完全对齐。

第二步，从参考模型构建状态值函数。 关键的一跳在于利用冻结的参考模型——即基座模型本身——而不需要任何额外训练。给定当前状态 $s_t$，TRACE 让参考模型直接生成对"正确答案"的对数概率 $\log P_{\text{ref}}(y^{\ast }|s_t)$，即在这个状态下模型认为最终答案是 $y^{\ast }$ 的概率。这个概率本身就是对"距离答案有多近"的一个度量：概率越高，说明当前状态越有利于最终答对。然后通过指数变换将其映射到正值域，得到状态值估计：

$$V(s_t)=\exp (\log P_{\text{ref}}(y^{\ast }|s_t)-\log P_{\text{ref}}(y^{\ast }|s_0))$$

取与初始状态 $s_0$ 的对数比（log ratio）而非直接使用对数概率，是为了消除参考模型自身的先验偏置——不同模型对不同问题有不同的基准置信度，对数比操作相当于做了归一化，使得不同问题之间在同一尺度上可比较。

第三步，时序差分奖励分配。 得到每个状态的值函数估计 $V(s_t)$ 后，TRACE 将第 $t$ 步动作 $a_t$ 的奖励定义为值函数的时序差分变化：

$$r_t=V(s_{t+1})-V(s_t)$$

这个定义蕴含了深刻的直觉：$V(s_{t+1})-V(s_t)>0$ 意味着工具调用后，智能体到达了一个离正确答案更近的状态，因此该动作值得正奖励；反之则得到负奖励。如果某个动作之后智能体"绕了弯路"又回到原状态，其 TD 变化接近零，惩罚几乎被完全消掉。

一步对数比 TD 的逐级相消性质是另一个关键优势。考虑连续两次调用同一工具的情况：$r_t^{(1)}+r_t^{(2)}=V(s_{t+2})-V(s_t)$，即中间状态的价值波动被自动抵消，只保留最终状态变化。这意味着在冗余或反复试错的工具调用序列中，噪声信号不会逐级累积，信用信号不会被无关的中间动作稀释。TRACE 只需要一步 TD 计算，不需要多步回溯或复杂的优势估计，这与需要 bootstrap 的传统 Actor-Critic 方法形成鲜明对比。

整个框架不依赖任何额外的评论器网络，不依赖过程标注，不需要环境模型。所需的全部信息——参考模型对正确答案是的对数概率——在推理阶段随时可用，无需任何额外训练。

实验与结果

实验在 BrowseComp-Plus 基准上进行，这是一个闭网（closed-web）复杂搜索任务数据集，要求智能体通过多轮工具调用来回答需要深入推理的问题。闭网设定意味着所有搜索操作都在受控文档库中进行，保证了实验的可复现性。

基座模型选择了 Qwen3 系列的两个不同规模的变体：4B 参数版本和 30B-A3B（即 30B 活跃参数量的 MoE 版本）。训练策略上，TRACE 采用了纯强化学习范式，完全跳过了监督微调的冷启动阶段，也不需要在实时网页数据上训练。

结果显示，在 BrowseComp-Plus 上，Qwen3-4B 的准确率从基线的 7.2 提升至 35.6，绝对增幅达 28.4 个百分点；Qwen3-30B-A3B 从 8.4 提升至 42.6，绝对增幅 34.2 个百分点。值得注意的是，两个模型的基线分数本身相差不大，但经过 TRACE 训练后，30B-A3B 版本的优势充分释放，说明稠密信用分配让更大容量模型得以充分利用其推理能力。

为了验证学到的行为具有泛化性，论文还在开放网页基准上进行了测试，结果表明搜索行为可以跨设置迁移——这意味着 TRACE 学到的并非针对特定文档库的捷径策略，而是真正理解了"如何通过工具调用逼近目标"这一通用模式。

学习曲线的分析进一步揭示了 TRACE 的效率优势：相比结局奖励的基线方法，TRACE 在训练早期就出现了性能提升，且收敛速度更快。这正是稠密信用分配的预期效果——每一步都能获得即时反馈，而非等几十步后才收到一次信号。

讨论与可借鉴点

TRACE 的最直接贡献在于证明了：仅靠参考模型的对数概率，就能为长程工具调用任务构建出有效的信用分配信号。这背后的逻辑是，对数概率本质上编码了模型对当前状态"有多接近正确答案"的判断，而这种判断不需要任何额外训练即可获取。参考模型的冻结特性还保证了值估计的稳定性——不存在评论器与策略之间的协同演化不稳定问题。

不过该方法也有其局限。对数概率估计的质量依赖于参考模型本身的能力——如果基座模型在某些状态下对正确答案的置信度本身就不可靠，得到的信用信号也会带有噪声。此外，TRACE 目前验证的场景是闭网搜索任务，在需要实时推理、环境反馈高度不确定的场景（如开放式代码生成后执行结果反馈）中，对数概率与真实价值之间的偏差尚需进一步检验。

对整个领域而言，TRACE 指向了一个有价值的探索方向：利用预训练阶段已积累的模型内部知识（以对数概率的形式）来辅助强化学习的信用分配。这与近年来利用 [[reward model]] 或 [[value function]] 预热来降低 RL 训练样本复杂度的趋势一脉相承，但 TRACE 的独特之处在于它不需要任何额外的 reward model 训练，走了一条更轻量的路线。如何将这种基于对数比的信用估计与更复杂的多步 [[TD learning]] 框架有机结合，或许是下一步值得关注的问题。

研究背景与动机

强化学习作为人工智能领域的核心技术之一，近年来在游戏、机器人控制、自动驾驶等场景中取得了令人瞩目的成就。在 AIoT 系统中，强化学习同样被寄予厚望——智能家居设备可以学习用户的作息习惯自动调节温控，工业传感器能够自主优化数据采集策略，自动驾驶车辆在边缘端实时做出决策。然而，[[强化学习]] 的本质是「试错学习」，智能体需要通过不断尝试、接收奖励反馈、调整策略来逐步提升性能。这种探索过程在真实环境中往往成本高昂甚至危险重重——试想一个正在学习行走的机器人如果每次摔倒都可能损坏昂贵的硬件，或者一辆自动驾驶汽车在真实道路上「探索」各种危险驾驶行为。

正因如此，绝大多数强化学习研究选择在仿真环境中进行。仿真环境提供了可控的、廉价的、可无限重置的实验条件，研究者可以在短时间内完成数百万步的训练迭代。然而，这种对仿真的依赖引入了一个根本性的挑战：[[仿真到现实]]（Sim-to-Real）迁移问题。在仿真中表现优异的策略，部署到真实物理世界后常常出现性能急剧下降甚至完全失效的情况。这是因为仿真环境无论如何精细，都难以完美复现真实世界的物理特性、传感器噪声、延迟特性等细节。

为了应对这一挑战，机器人领域已经开发了多种同步仿真与物理平台（Sim-to-Real platforms），用于评估和缩小仿真与现实之间的差距。但在 AIoT 领域，这样一个通用的仿真到现实基准平台一直付诸阙如。研究者们往往各自搭建实验环境，导致实验结果难以复现、不同方法之间缺乏公平对比。针对这一空白，本文提出了一种专门面向 AIoT 系统的真实世界基准平台，旨在为强化学习在 AIoT 中的研究和应用提供可靠的评测基础。

方法

这篇论文的核心贡献是搭建了一个低成本、可复现的[[仿真到现实]]基准平台。整个系统的设计思路非常巧妙：用电子游戏作为实验载体，让强化学习智能体学习玩游戏，既保留了强化学习的核心挑战，又天然规避了真实世界 RL 部署的安全风险。

具体来说，系统由三个核心部分组成。第一部分是边缘设备，研究者将强化学习智能体部署在树莓派或其他低成本的边缘计算设备上，负责运行决策算法并生成控制指令。第二部分是主机，一台独立的普通计算机，运行 Atari 游戏模拟器（如 Pong、Breakout 等经典游戏）作为任务环境。第三部分是硬件模拟键盘，这是整个系统的关键创新点——边缘设备不通过软件 API 而是通过一块微控制器硬件模拟键盘输入信号，直接控制游戏中的角色动作。这种硬件层级的交互方式更接近真实世界的传感器-执行器闭环，更能反映真实部署场景中的信号传输延迟和噪声特性。

在输入端，系统使用视觉信息作为智能体的观测——边缘设备通过摄像头捕捉游戏的屏幕画面，经过预处理后作为神经网络的输入。这种基于视觉的输入方式与许多真实世界的 AIoT 应用场景（如视频监控、自动驾驶视觉感知）高度一致，增加了实验的实际参考价值。整个平台的硬件成本控制在 400 美元以内，使用的是市面上随时可购得的普通组件，确保了其他研究者能够轻松复现。

研究者采用 [[深度Q网络]]（DQN）作为主要的强化学习算法。DQN 是深度强化学习领域的经典算法，使用卷积神经网络逼近状态-动作值函数（Q函数），通过经验回放和目标网络等技巧稳定训练过程。选择 DQN 的原因在于它具有良好的可复现性、相对成熟的技术栈，以及足够的代表性——如果 DQN 能在该平台上展现可接受的性能，说明该平台对于更复杂的强化学习算法同样具有适用性。

实验与结果

实验设计围绕两个核心问题展开：仿真训练的智能体在真实环境中表现如何，以及直接在真实环境中训练强化学习是否可行。

第一个实验考察了[[仿真到现实]]差距的严重程度。研究者首先在标准仿真环境中（Atari 游戏模拟器）用 DQN 训练了 Breakout 和 Pong 两个游戏，达到了约 100% 的人类水平性能——也就是说，在仿真中智能体已经能够与人类玩家相媲美。然而，当这些「仿真冠军」被部署到真实世界的基准平台上时，性能出现了灾难性的下降。以 Breakout 游戏为例，智能体在真实环境中的得分仅为仿真环境的十分之一左右，综合评估显示性能相对于人类基准下降了 1160%。这个数字背后的含义是：原本在仿真中与人类旗鼓相当的智能体，到了真实环境中连人类玩家的百分之一都不如。这种巨大的落差生动地说明了仿真与现实之间那条看似微小的鸿沟，实际上可能是多么难以逾越。

研究者分析了导致这一巨大差距的可能原因。仿真环境中的游戏帧率是恒定且精确的，而真实摄像头捕捉的画面存在帧率波动；仿真中的键盘输入响应时间是零延迟的，而硬件模拟键盘引入了真实的信号传输延迟；仿真环境中的视觉输入是完美的像素级复制，而摄像头捕捉的画面存在光照变化、视角畸变、噪点干扰等真实世界的「狼狈」。正是这些在仿真中被忽视或理想化的细节，在真实部署时逐一暴露出来，成为性能杀手。

第二个实验探索了真实世界强化学习的可行性。研究者直接在真实环境中启动 DQN 训练，让智能体从零开始学习玩游戏。这个过程耗时更长、成本更高——总共训练了一千万步。实验结果表明，经过充分训练后，智能体在 Breakout 游戏中达到了约 38% 的人类水平性能。虽然与仿真训练的「完美」表现相去甚远，但这个结果证明了一个重要的命题：在真实世界中直接训练强化学习是可行的，只是需要更长的训练时间和更鲁棒的方法。

两种训练方式的对比清晰地揭示了当前强化学习研究的一个核心困境：仿真环境提供了高效的训练条件但无法保证迁移能力，真实环境提供了真实的挑战但训练成本高昂。这恰恰凸显了可靠的仿真到现实基准平台的必要性——它为研究者提供了在受控环境中系统性地研究迁移问题的工具。

讨论与可借鉴点

这项研究的最直接贡献是提供了一个可复现、低成本、面向 AIoT 领域的仿真到现实基准平台。这填补了该领域的一个重要空白——此前研究者要评估 RL 方法的仿真到现实迁移能力，往往需要自行搭建昂贵的硬件平台，或者借用机器人领域不具代表性的环境。有了这个平台，研究者可以在标准化的条件下对比不同算法、不同网络架构、不同训练策略的迁移效果，加速该领域的知识积累。

从更宏观的角度看，这项研究揭示的问题——1160% 的性能落差——对整个强化学习社区都具有警示意义。我们常用「simulation-to-reality gap」来描述这个问题，但这篇论文用具体的数字让我们意识到这个 gap 可能比我们想象的更加严峻。这意味着，对于任何希望在真实世界中部署强化学习的应用——无论是智能制造、自动驾驶还是 AIoT——都需要认真对待仿真环境的建模精度问题，而不是简单地将仿真结果等同于真实性能。

论文也存在一定的局限性。首先，游戏任务的复杂度相对有限，真实世界的 AIoT 任务往往涉及更复杂的时序依赖、多智能体交互和安全性约束。其次，平台仅使用了视觉输入，在一些依赖其他传感器模态的 AIoT 场景中代表性有限。第三，38% 的人类水平性能虽然证明了可行性，但距离实用仍有差距，说明更先进的真实世界 RL 算法值得进一步探索。

对于后续研究而言，这个平台可以作为一个良好的起点。例如，可以在此基础上研究如何减小仿真到现实的差距（如 Domain Randomization、World Models、对抗训练等方法）；也可以探索更高效的边缘端在线学习算法，降低真实世界训练的计算成本；还可以将平台扩展到更多类型的任务，如多智能体协作、时间敏感控制等。

研究背景与动机

强化学习领域的开放式课程设计致力于训练具备通用能力的智能体，其核心思想是让智能体从简单任务逐步进阶到复杂任务，在过程中不断积累应对多样化挑战的能力。然而，设计有效课程的关键瓶颈在于：如何准确评估每个任务相对于智能体当前学习进度的难度？

传统方法主要依赖两类信号。标量打分方法通过胜率、价值损失等数值指标来衡量任务难度，但这类方法在奖励稀疏或具有欺骗性的环境中往往失效——智能体可能已经接近发现制胜策略，却因为胜率仍为 0% 而被错误评估。文本摘要方法则借助语言模型将智能体行为转化为文本描述，再由语言模型判断下一步任务，这种做法虽然引入了一定的语义理解能力，但文本化过程不可避免地丢失了关键的视觉信息。

论文的核心洞察来自一个直观的类比：人类教练在评估运动员表现时，通常会直接观看训练录像而非阅读文字报告。类似地，智能体的策略执行视频中包含着标量分数和文本描述都无法捕捉的重要学习线索。以星际争霸多智能体场景为例，某局训练中智能体虽然最终以 0% 胜率告负，但视频显示其在中期曾获得明显数量优势，却因团队协调失误而功亏一篑。这种"接近成功但尚未成功"的状态恰恰是标量分数无法识别的关键学习信号。

方法

基于上述观察，论文提出了策略视觉检查方法 VIP，其核心思想是直接利用视频语言模型处理策略执行录屏，根据视觉观察输出课程推荐。

VIP 的算法流程简洁明了。在每个训练阶段，系统首先在当前任务上执行多智能体强化学习训练，收集策略的回合视频和基本文本摘要（如胜率统计、已选任务历史）。随后，这些视频和文本信息被一并输入视频语言模型，由模型输出下一阶段的课程推荐。最后，系统通过句向量相似度匹配对模型输出进行净化修正，确保推荐任务确实存在于候选任务空间中。

这种设计有几个关键考量。首先，视频天然适合多智能体场景。与需要分别处理各智能体的文本方法不同，视频画面一次性包含所有可控智能体的行为信息，系统只需对每个独立策略模型执行一次查询即可完成全团队分析。其次，提示工程的设计需要平衡模型能力与上下文限制。系统提示定义了视频语言模型的角色定位（电子游戏专家）、SMAC 地图命名规则、可选任务列表以及任务格式规范；任务提示则整合当前视频、胜率统计和完整的历史已选任务列表。由于 7B 参数模型的上下文窗口有限，提供完整历史记录对于避免模型重复选择同一任务至关重要。

在实现细节上，视频语言模型采用量化版的 VideoLLaMA2-7B，采样温度设为 0.4 以平衡确定性与多样性。输入视频统一调整为 1024×1024 分辨率、25 fps 时速、1-10 秒时长。任务推荐通过 all-MiniLM-L6-v2 句向量模型进行净化，当模型输出与候选任务的句余弦相似度低于阈值时，系统会触发随机兜底机制（实验表明该机制从未被触发）。

实验与结果

实验在 StarCraft Multi-Agent Challenge（SMAC）基准上进行，该挑战以合作型多智能体即时战略游戏作为测试环境。任务空间包含 15 张地图、10 个难度等级，形成 150 个候选任务。实验采用 12 张训练地图和 3 张测试地图的划分策略，确保测试地图在整个训练过程中完全不出现，从而评估课程的零样本泛化能力。

主要对比方法包括：移除视频输入的 Text-Only 消融版本、基于标量分数的 PLR-PVL 和 PLR-MaxMC 方法、随机课程基线，以及从头训练不使用课程的标准 MAPPO。评估协议分为两部分：未见任务泛化测试在三个测试地图上对课程训练后的策略进行微调后测胜率；已见任务保留测试在训练期间共同覆盖的地图上评估性能。

实验结果揭示了几个重要发现。在 3s vs 4z 和 3s5z 两个未见测试任务上，VIP 微调后达到约 80% 胜率，而 Text-Only 消融版本几乎为 0%，有力证明了视频信息对课程有效性的关键贡献。在与标量分数方法的对比中，VIP 同样显著优于 PLR-PVL 和 PLR-MaxMC，这两种基线在多数未见任务上的胜率均为 0%。值得注意的是，课程质量分析显示 VIP 生成的课程呈现清晰的线性递增结构——模型倾向于先在同一地图上逐步提升难度，再转向新地图；而 PLR 方法生成的课程则显得混乱且重复，PLR-PVL 在 16 步课程中竟有 14 步重复选择同一任务。

在样本效率方面，VIP 仅需约 $1.6\times 10^8$ 步总交互量，即可在 3s5z 上达到与经过 1700 组网格搜索优化的 MAPPO* 相当的胜率水平（0.76），两者相差约 100 倍的计算成本。

讨论与可借鉴点

VIP 的成功揭示了一个重要启示：策略视频可以作为自动课程设计的有效难度信号源。与依赖标量分数或文本摘要的方法相比，视频信息能够捕捉"接近成功"但尚未完成目标的学习状态，这对于稀疏奖励环境下的课程设计尤为重要。论文的实验表明，即使是轻量级开源多模态模型也能有效利用这一信号，且视频语言模型的推理开销仅占总训练时间的 1% 左右，具有良好的实用价值。

不过，这一方法也存在明显局限。视频语言模型作为核心组件，其视频理解能力构成了 VIP 的性能天花板；若模型对特定领域视频的理解能力不足，效果可能显著下降。此外，论文在 SMAC 场景下验证了方法可行性，但任务空间是离散的有限集合，对于非可枚举或结构复杂的任务空间，句相似度净化机制能否持续有效仍有待探索。评估协议中引入的微调步骤虽然提升了测试可行性，但也偏离了纯净的零样本泛化设定。

从更广泛的角度看，VIP 将多模态大模型引入自动课程设计领域，为这一方向提供了新的研究思路。如何让视频语言模型更精准地识别策略行为中的学习信号、如何设计更通用的任务空间表示、以及如何将视觉检查与其他模态的信号有效融合，都是值得进一步探索的问题。

研究背景与动机

近年来，基于可验证奖励的强化学习（RLVR）已成为提升大语言模型推理能力的主流后训练范式，OpenAI 的 o 系列和 DeepSeek-R1 等成功案例都离不开这一技术路线。在众多方法中，GRPO 类无评论家方法因无需训练额外的价值网络而备受青睐，其核心机制是为同一组（group）采样得到的多个响应计算序列级优势值（advantage），然后将相同的优势广播给轨迹内的所有词元。

然而，这种均匀的信用分配方式存在一个被忽视的致命问题。论文将其命名为「正信用污染」：在实际推理过程中，即使是最终答案正确的轨迹，也可能包含低概率的尾部词元——比如计算步骤中的笔误、插入的无关冗余表述、损坏的数学公式，甚至跨语言噪声。这些词元在当前生成上下文中属于「局部不可靠」的续写，但由于整条轨迹获得了正向奖励，它们会与那些真正正确的推理步骤获得完全相同的强化信号。随着训练的迭代累积，策略会逐渐偏移到「包含错误局部续写但恰好答对」的捷径模式上，损害模型真正学到可靠推理能力。

现有方法试图解决这一问题时面临两难。引入外部信号的方法（如反事实分析、TD 传播、执行反馈等）需要额外的推理或辅助模型，计算开销大得难以接受；而基于内在信号的方法（如 token 熵、梯度大小等）虽然开销低，却缺乏对局部语义合理性的判断能力——它们无法区分「高熵上下文中的低概率词元」和「低熵上下文中的同等级稀有词元」，前者可能是模型在不确定性驱动下进行的有效探索，后者则更可能是偶发的噪声。

方法

TACO 的核心洞察是：尾部词元的可靠性不能仅看其自身的生成概率，还必须结合它所处的局部上下文来评估。如果一个低概率词元出现在高度不确定的生成环境中（比如模型正在推理一道难题的中间步骤），它很可能是模型在探索多种可能路径时的合理尝试；但如果同样的低概率词元出现在一个本应「笃定」的局部上下文中（比如前文逻辑已经非常清晰、不应有歧义），这就非常可疑了。

基于这一直觉，TACO 设计了两个协同工作的模块。第一个模块是自适应尾部风险估计。对于每个采样得到的词元，TACO 计算一个融合局部上下文的尾风险分数。形式化地，第 $i$ 个样本在位置 $t$ 的风险评分为：

$$r_{i,t}^{\text{tail}}=\underset{\text{token surprisal}}{\underbrace{-\log p_{i,t}}}-\underset{\text{expected surprisal}}{\underbrace{H_{i,t}}}+\log \alpha$$

其中 $p_{i,t}$ 是该词元的采样概率，$H_{i,t}$ 是当前位置的局部熵，$\alpha$ 是一个控制严格度的超参数。这个公式的直觉在于：surprisal（$-\log p$）衡量的是词元本身的稀有程度，而局部熵衡量的是当前位置整体的不确定性。如果一个词元的 surprisal 已经超出了当前上下文所预期的范围（即 $r_{i,t}^{\text{tail}}>0$），它就被标记为高风险。这种设计巧妙地区分了「意外的稀有性」（低熵环境中的低概率词元，更可能是噪声）和「不确定性驱动的探索」（高熵环境中的低概率词元，可能是有效的尝试）。

第二个模块是尾部感知信用校准。得到风险分数后，TACO 并不是简单地将高风险词元的梯度彻底置零——那样做会错误地惩罚那些稀有但实际上有用的推理模式。相反，TACO 通过一个平滑的权重函数对正向信用进行衰减：

$$w_{i,t}=\{\begin{array}{ll}1-\lambda (1-\exp (-r_{i,t}^{\text{tail}})),& r_{i,t}^{\text{tail}}>0\\ 1,& r_{i,t}^{\text{tail}}\le 0\end{array}$$

这里 $\lambda \in (0,1)$ 控制最大抑制强度，权重下界为 $1-\lambda$，始终保留一部分梯度信号。随后的校准优势为：

$${\hat{A}}_{i,t}^{\text{TACO}}=w_{i,t}\cdot \mathbb{I}[{\hat{A}}_i>0]\cdot {\hat{A}}_i$$

这个公式的关键设计是仅对正优势进行抑制，负优势保持不变。这样一来，对于最终答案错误的轨迹，即使某个词元被判定为高风险，它仍然会受到应有的惩罚；而对于最终答案正确的轨迹，那些低风险词元获得正常强化，高风险词元则被适当抑制——既保留了反复出现的有用稀有模式，又逐步压制了偶发的噪声。从计算角度看，TACO 只需复用前向传播时已有的采样概率和局部熵，无需任何额外的前向或反向传播，可直接嵌入 GRPO 训练循环中。

实验与结果

论文在三个不同规模的大语言模型上进行了系统评估：Qwen3-1.7B-Base、Qwen3-4B-Base 和 Qwen2.5-Math-7B。训练数据采用 DAPO-Math-17K 数学推理数据集，评测则覆盖了八个基准测试，其中包括六个数学推理基准（AIME 2024、AIME 2025、AMC 2023、MATH-500、Minerva Math、OlympiadBench）和两个科学推理基准（MMLU-Pro、GPQA-Diamond）。

主实验结果清晰地展示了 TACO 的有效性：在所有三个模型和八个基准上，TACO 均稳定优于 GRPO 类基线方法，平均绝对提升约为 2.6 到 3.1 个百分点。值得注意的是，TACO 在 out-of-distribution 的科学推理任务上同样表现出色，说明其效果并非来自对数学模式的过拟合，而是真正提升了模型的推理泛化能力。

训练动态分析揭示了更深层的机制差异。TACO 的奖励曲线始终位于基线之上，意味着在相同的训练步数下，TACO 能够达到更高的性能水平。同时，TACO 保持更低且更稳定的 token 熵，同时生成更长的响应长度——这表明方法在抑制尾部噪声的同时，成功保留了有效的探索行为。

长程训练稳定性是论文最引人注目的发现之一。当将 Qwen3-1.7B-Base 的训练从标准的 300 步延长至 600 步时，GRPO 在约 450 步后开始出现性能退化，熵曲线出现剧烈波动，模型行为变得不稳定；而 TACO 则保持了持续的性能提升，熵曲线平滑收敛。这对于需要长程训练的实际应用场景（如持续学习、迭代式推理增强）具有重要的实践价值。

论文还通过合成序列 MDP 的控制实验为问题动机提供了独立证据。结果表明，正信用污染的危害在长轨迹、稀疏正确答案、小 batch 规模条件下会显著放大——这恰好对应了 LLM 推理任务的典型特征。诊断数据进一步显示，被降权的正向优势 token 约占 1.9%，平均权重接近 1，说明 TACO 的效果来自于对少量关键尾部 token 的精准调控，而非大规模地修改信用分配。

讨论与可借鉴点

从方法论角度看，TACO 的核心贡献在于提出了一种「局部上下文感知」的信用分配思路。传统上，[[强化学习]] 中的信用分配问题通常从时间维度的「延迟奖励」角度来理解，而 TACO 揭示了在空间维度（同一轨迹内不同位置）上也存在类似的「可靠性差异」问题。这一视角为后续的信用分配研究提供了新的方向：未来可以探索更多维度的上下文信息（如句法结构、语义角色、推理链中的位置）来进一步细化信用校准。

从工程角度看，TACO 的设计体现了「轻量即正义」的原则。仅依赖前向传播中已有的统计量，无需额外模型或 rollout，这一特性使得它极容易被现有的 RLVR 框架（如 verl）采纳。对于资源受限的场景，这种几乎零开销的方法具有明显的实用价值。

当然，论文也存在一些局限性值得读者注意。首先，训练数据和评测基准主要集中在数学推理领域，虽然包含两个科学推理的 OOD 基准，但其覆盖的任务类型仍然有限——代码生成、工具使用、开放问答等场景下的效果有待验证。其次，论文未对局部熵项和采样概率项的独立贡献进行消融实验，超参敏感性分析也仅在最小规模的模型上进行。此外，TACO 对负优势 token 完全不加干预，这种非对称处理可能在某些场景下引入偏差，值得进一步探讨。

对于关注 LLM 推理能力提升的研究者和工程师而言，TACO 提供了一个简单而有效的信用分配改进方案。其核心思想——结合局部上下文判断 token 可靠性，而非仅依赖单一统计量——可以启发更多在强化学习框架下进行细粒度建模的工作。同时，论文对「正信用污染」问题的识别和形式化，也对理解现有 GRPO 类方法的失效模式具有重要的认知价值。

研究背景与动机

大语言模型正从简单的对话接口演进为能够自主规划、工具调用和多步推理的智能体，这一转变对评估范式提出了根本性挑战。传统静态评测——无论是选择题式的 MMLU 还是数学推理的 GSM8K——本质上都是单轮输入、单轮输出的开环测试，无法捕捉智能体在真实工作流中的决策链路、错误恢复能力和长链路规划能力。企业在部署智能体处理复杂专业任务时，失败率可高达 76%，这说明模型的能力边界远未达到生产就绪水平。

静态评估的困境不仅在于任务设计的局限性，更在于其奖励机制的脆弱性。当评价标准停留在文本相似度或人工主观打分时，智能体可以通过“奖励作弊”识别表面模式：生成看似合理但实际违反业务约束的回复，或通过虚假创建记录来满足“完成任务”的表象，而非真正解决用户问题。更根本的矛盾在于，单轮监督微调无法教会智能体如何从错误中恢复、如何在部分信息下做出次优决策——这些能力恰恰是强化学习的专长，却需要一个可验证、可重复、可扩展的环境来支撑训练闭环。

方法

AgenticAI-Supervisor 的核心设计哲学是将环境脚手架与执行引擎分离，形成两阶段架构。环境脚手架负责定义高保真的任务上下文，包括领域驱动的 Agentic Workflows（嵌入标准操作、失败状态、缺失数据和模糊响应以测试鲁棒性）、基于 Model Context Protocol 规范暴露的 Base Tool Simulator，以及将测试用例绑定到具体环境状态的 Dataset Connectors。执行引擎则以无状态容器提供隔离的 rollout，防止迭代间的状态泄漏，并通过结构化的 Span 记录每个 LLM 调用、工具执行和奖励分配事件，最终聚合成高保真的执行 Trace。

奖励塑形是平台的核心创新点。传统的稀疏终局奖励只提供任务完成与否的二元信号，对学习效率的贡献有限。AgenticAI-Supervisor 构建了三层奖励结构：终局奖励通过归一化动作键的多重集相等来比较终端状态与黄金答案，同时校验资源预算；约束遵循奖励则通过负向校验、副作用检测和输出保真检查来捕获奖励作弊——统计显示，仅使用终局奖励时约 40% 的正向强化回合存在约束误表征，约 3.8% 出现凭空编造；过程效率奖励进一步细分为五个子分量，整合工具正确性、冗余调用惩罚、验证错误惩罚、最小工具覆盖和步数经济性，形成可微的连续轨迹效率信号：

$$R_{\text{traj}}=\sigma \left(f_{\text{cov}}(N_{\text{called}},N_{\text{required}})+w_1{R}_{\text{red}}+w_2{R}_{\text{err}}\right)\cdot e^{-\beta \cdot \Delta s}$$

这种多维奖励设计确保了训练信号既稠密又锚定在真实业务状态，而非表面文本特征。

实验与结果

论文通过客服智能体案例展示了平台的核心能力。智能体需要自主解决客户问题、处理交易和管理账户安全，可支配的工具涵盖只读类（客户信息查询、订单详情、历史记录检索、知识库搜索）和可执行类（退款、替换、安全锁、工单管理）。评测套件要求智能体在授权退款前交叉核查知识库策略，或在交互历史中识别可疑活动以触发安全锁。

实验的核心发现是平台能够持续输出可验证的奖励信号，构建从执行到验证的完整闭环。约 40% 约束误表征和 3.8% 编造率的统计数据有力支撑了反作弊机制设计的必要性。然而，论文未披露具体任务规模、随机种子或基线模型对比，客服场景也是单一垂直领域，尚未展示跨领域泛化能力。

讨论与可借鉴点

AgenticAI-Supervisor 为 [[强化学习]] 在 [[智能体]] 训练中的应用提供了基础设施层面的探索方向，其将环境构建与执行解耦的架构思路便于实现大规模并行 rollout。然而，当前工作存在明显的局限性：案例研究仅覆盖客服单一场景，缺乏与监督微调或通用基准的横向对比；奖励权重的敏感性分析缺失，五维奖励的超参配置缺乏系统性指导；可复现性受限——任务集规模、prompt 模板、LLM-as-Judge 集成规模均未披露。更根本的风险在于自建场景自评可能引入评估—训练分布耦合，外部专家独立核验仍是缺失环节。

对于该领域的研究者而言，这项工作提示了几个重要方向：多维奖励塑形结合稠密过程信号是缓解稀疏奖励下学习效率低下的可行路径；内部状态校验与副作用检测的组合为对抗奖励作弊提供了可参考的防御范式；而将环境脚手架标准化、模块化的思路也为构建通用 [[智能体评测平台]] 奠定了架构基础。未来若能结合计算机使用、工具自动编排和边缘案例生成等能力，该平台有望成为企业级智能体训练与评估的核心基础设施。

研究背景与动机

训练大语言模型处理多轮交互任务（如网页购物、家务规划）是当前 [[强化学习]] 在 LLM 领域的重要应用场景之一。然而，这类任务的奖励设计面临一个根本性矛盾：真实任务目标只在乎最终结果（商品是否买对、房间是否打扫干净），但训练信号只在回合结束时出现一次。

这种「[[结果奖励]] 稀疏」的特性带来了双重困扰。首先是 [[信用分配]] 的困难——当模型在第 15 步做对了某件事，但奖励要等到第 30 步才出现，模型很难弄清楚是哪一步真正有价值，导致收敛极其缓慢。其次，模型只能从训练期间实际采样到的轨迹中学习，如果某种成功策略从未被采样到，模型就永远学不到它。

学术界已经意识到这个问题，并发展出「[[过程奖励]]」的思路：为每个中间步骤提供密集的即时反馈，让模型能够「每走一步就知道自己走得怎么样」。这确实能加速训练，但引入了新的风险——这些人为设计的中间奖励毕竟是真实目标的代理指标，两者之间难免存在偏差。如果偏差过大，模型可能会「走捷径」去优化代理指标而不是真正完成任务的策略，这种现象在强化学习文献中被称为 [[Reward Hacking]]。

论文的核心问题因此变成：能否既利用过程奖励的丰富信息来扩展探索边界，又保证最终的优化目标与真实结果奖励严格一致？

方法

RSPO 的设计灵感来自人类学习的两个阶段：建立即时的直觉反馈，然后复盘成功的经验。具体实现为一套双智能体循环架构。

系统维护两个策略模型。Agent A（记作 ${\pi }_{\theta }$）是最终交付的智能体，整个训练过程始终使用 [[结果奖励]] 进行优化，这从根本上保证了目标一致性。Agent B（记作 ${\pi }_{\text{dense}}$）是临时探索者，先用密集过程奖励训练若干步，随后与环境交互收集大量轨迹。关键是，这些轨迹的奖励会被「交换」——即重新标注为真实的结果奖励后存入回放缓冲区 $\mathcal{D}$。这样 Agent B 探索到的多样化行为空间就能被 Agent A 利用，而不会因为过程奖励的偏差而误导最终模型。

在目标函数层面，Agent A 的优化同时利用两类数据：自身在线采样的轨迹，以及从缓冲区 $\mathcal{D}$ 采样的离线轨迹。形式化为：

$$J_{\text{Total}}({\pi }_{\theta })=(1-\alpha )J_{\text{On}}({\pi }_{\theta })+\alpha J_{\text{Off}}({\pi }_{\theta })$$

其中离线数据的比例 $\alpha$ 控制着探索经验利用的程度。论文默认取 $\alpha =1/8$，即每 8 条训练样本中有 1 条来自 Agent B 的探索经验。

由于离线数据由不同策略生成，直接复用标准策略梯度算法会导致分布偏移问题。RSPO 对此的解决方案是「广义裁剪」：将传统 PPO/GRPO 中以 1 为中心的裁剪区间，改为以 ${\pi }_{{\theta }_{\text{old}}}/{\pi }_B$ 为中心。这相当于承认离线数据的采样策略与当前策略之间存在差异，并相应调整约束范围。

整个训练循环以「轮次」为单位运行：先用过程奖励训练 Agent B 探索 k 步，将其轨迹交换奖励后存入缓冲区，再用混合数据训练 Agent A k 步，然后清空缓冲区进入下一轮。论文默认 k=3，总计 150 个训练轮次。

实验与结果

实验在两个经典的多轮智能体基准上进行。ALFWorld 模拟文本世界的家务任务（如拿起物品、加热食物），WebShop 则是网页购物环境，两者都以最终成功率作为核心指标。

主实验覆盖了三种主流的近端策略梯度算法——GRPO、PPO 和 GiGPO——分别测试它们在加上 RSPO 前后的性能变化。结果显示了一致的提升模式：在 1.5B 规模的 Qwen2.5 模型上，ALFWorld 任务的提升幅度从 1.6% 到 8.6% 不等，WebShop 任务的提升则在 5.5% 到 12% 之间。值得注意的是，PPO 算法通常被认为对超参敏感，但在 RSPO 框架下反而获得了最大的相对增益（12%），说明奖励交换机制有效缓解了 PPO 在稀疏奖励环境下的训练不稳定性。

消融实验揭示了几个有价值的发现。基于奖励的采样策略（优先选择高结果奖励的轨迹）显著优于随机采样和基于方差的采样，这印证了「从成功经验中学习」的直觉。另外，当过程奖励被注入不同程度的高斯噪声时，RSPO 依然能保持稳定表现，说明其对过程奖励的质量要求并不严苛。但过犹不及——当 Agent B 的训练步数 k 超过 5 时，性能反而会回落，这可能是因为 Agent B 开始过拟合过程奖励而非真正扩展探索空间。

讨论与可借鉴点

RSPO 最有启发性的设计在于它将「探索」与「优化」解耦。传统方法试图用一个模型同时解决「去哪里」和「怎么走」，不可避免地在探索激进度和利用稳定性之间妥协。RSPO 通过双智能体架构让过程奖励「只负责探索」，结果奖励「只负责优化」，各司其职。

然而这一方案也存在明显的工程代价：需要额外训练一个过程奖励模型（论文用 3B 规模的 Llama），并且回放缓冲区与在线数据之间的比例需要仔细调参。此外，论文仅在 Qwen2.5 系列上验证了效果，不同模型家族对离线数据的利用效率可能存在差异，这有待后续研究探索。

从更宏观的角度看，RSPO 为 [[强化学习]] 在 LLM 应用中「奖励设计」这一核心难题提供了一条务实的路径：不必追求完美的过程奖励，而是接受其不完美，并通过机制设计让它在可控范围内发挥作用。

研究背景与动机

长时程智能体大语言模型正面临一个根本性的制约：有限的上下文窗口。这类模型在执行复杂任务时，需要通过多轮交互来收集信息、调用工具、观察环境反馈并做出下一步决策。随着交互次数增加，工具输出、中间推理过程、错误信息等会不断累积，使得对话历史迅速膨胀，最终可能超出模型能够处理的最大长度限制。

这一问题的紧迫性在于，随着模型能力提升和任务复杂度增加，交互轨迹只会越来越长。传统的解决思路是扩展上下文窗口尺寸，但这种方法成本高昂，且已有研究表明，即使拥有超长上下文，模型在"中间位置"的信息利用效率也会出现明显退化。如何在有限窗口内有效处理无限增长的交互历史，成为制约长视野智能体发展的关键瓶颈。

上下文压缩提供了一种自然且直接的解决路径——对先前的交互状态进行摘要，用简洁的压缩表示替代冗长的历史记录，然后在压缩后的上下文上继续执行后续操作。然而，既有研究大多将压缩视为推理时的启发式手段或外部记忆操作，尚未将其系统地融入强化学习训练流程。CompactionRL 正是看到了这一关键缺口：当摘要取代原始历史后，摘要质量本身就成为决定后续决策成败的核心因素，而非仅仅是预处理步骤。

方法

CompactionRL 的核心设计围绕一个朴素却关键的洞察：压缩后的摘要不是被动的信息压缩，而是主动参与决策的关键信息源。因此，摘要本身必须被纳入优化目标，与任务执行能力联合训练。

该方法基于 PPO 框架构建，将上下文压缩嵌入到 rollout 收集过程中。当智能体与环境交互时，系统会持续监测当前上下文长度与最大窗口之间的剩余空间。当剩余空间降至预设阈值 $T_{\text{comp}}$ 以下时，触发压缩机制：由同一个可训练的策略模型生成一段摘要，该摘要捕捉此前交互的核心信息。压缩完成后，上下文被重构为"摘要 + 最近若干步交互"的形式，智能体继续在压缩后的上下文上执行后续操作。

这一设计面临一个核心挑战：传统组式强化学习方法（如 GRPO）依赖固定大小的 rollout 组进行奖励归一化，而压缩机制使得单条轨迹会被切分为数量不定的段，导致组样本结构失衡。更重要的是，压缩边界的存在使得原有的优势估计方法失效——每个压缩段都共享最终的任务级奖励，但如果简单地对每个段独立应用广义优势估计（GAE），早期段获得的信用分配会比真实轨迹中更近，无法准确反映时间距离。

为解决这一问题，CompactionRL 提出了两项关键技术。首先是 token 级损失归一化。在优化过程中，传统的段平均加权方式会导致压缩次数较多的轨迹获得不成比例的影响权重。CompactionRL 转而对批内每个被优化的 token 位置赋予相等权重，使得优化信号不再受段数或段长差异的偏倚影响。

其次是跨轨迹广义优势估计。设某段包含 $n_s$ 个优化 token，本地 GAE 计算该段内部的优势值。然而，如果直接将本地优势用于所有段，会忽略跨压缩边界的时间距离。跨轨迹 GAE 在本地优势基础上乘以位置折扣 $(\gamma \lambda {)}^{N_{>s}}$，其中 $N_{>s}$ 表示后续所有段包含的 token 总数。这使得位于较早压缩段的 token 获得更大的时间折扣，准确反映了它们到最终奖励的真实距离，从而实现更精确的信用分配。

整个训练流程可以概括为：策略模型在压缩与非压缩段交替执行，通过 token 级损失归一化平衡不同轨迹的优化权重，借助跨轨迹 GAE 准确分配跨压缩边界的信用，最终实现任务执行能力与摘要生成质量的联合优化。

实验与结果

实验在智能体编程场景下展开，主要评测基准包括 SWE-bench Verified 和 Terminal-Bench 2.0。前者从代码修复任务集合中采样评测，后者覆盖终端操作相关的复杂任务。评测采用固定采样 200 个任务的方式，在 Harbor 环境中使用 Terminus-KIRA 智能体脚手架执行。

研究团队在两种规模的 GLM 模型上验证了方法效果。GLM-4.7-Flash（30B-A3B MoE架构）配置 64k 上下文窗口，GLM-4.5-Air（106B-A30B）配置 80k 窗口。基线对比包括：无压缩的标准 PPO、仅在推理时使用压缩、以及训练时开启压缩但不对摘要损失进行优化的变体。

结果显示，CompactionRL 在两个基准上均取得一致提升。GLM-4.5-Air 在压缩 4 倍的评测条件下（SWE-bench Verified 80k×4、Terminal-Bench 2.0 80k×4）分别达到 66.8% 和 24.5% 的 Pass@1，相较基线提升 7.0 和 3.1 个百分点。GLM-4.7-Flash 则从基线的 50.5% 和 13.4% 提升至 56.0% 和 20.2%，分别增长 5.5 和 6.8 个百分点。值得注意的是，在禁用压缩的单窗口评测下，CompactionRL 与基线表现接近，说明性能收益完全来源于训练与评测条件的一致性——压缩作为一种可学习的技能，只有在训练阶段纳入优化目标才能真正发挥价值。

消融实验进一步揭示了各模块的贡献。移除摘要损失训练会显著损害压缩评测表现，证明摘要质量本身需要被显式优化。Token 级损失归一化对最终性能影响最大，去除后出现明显退化。跨轨迹 GAE 同样不可替代，它确保了跨压缩边界的信用分配准确性。

行为分析显示，经过训练的摘要能够有效提高压缩后的交互效率。CompactionRL 产生的压缩次数和工具调用次数均低于无摘要训练的对比方法，表明模型学会了生成信息密度更高的摘要，减少不必要的重复探索。

讨论与可借鉴点

CompactionRL 的核心贡献在于将上下文压缩从推理时的启发式技巧提升为可训练的强化学习技能。这一转变的关键在于认识到：压缩边界改变了信用分配的结构，简单的组式方法不再适用，必须引入 critic 机制和精确的优势估计来适应可变长的压缩轨迹。

从工程视角看，该方法已通过 GLM-5.2 的实际部署验证了可行性。Token 级损失归一化和跨轨迹 GAE 虽然增加了实现复杂度，但相对于扩展上下文窗口的计算成本，这些额外开销是可接受的。该框架具有良好的可扩展性——压缩触发条件、摘要提示设计、折扣因子等超参数可根据不同任务特点进行调整。

当前工作也存在一些局限。首先，论文未披露具体算力开销（GPU 型号、数量、训练时长），这对复现工作构成障碍。其次，评测仅在编程相关任务上验证，压缩策略在其他领域（如多模态交互、复杂推理）的泛化性尚待考察。此外，摘要质量对最终任务表现的敏感性意味着，压缩机制可能在某些需要保留细粒度历史信息的场景中受限。

对于后续研究而言，CompactionRL 提供了一个重要启示：上下文压缩不应被视为简单的预处理步骤，而应作为智能体能力的一部分纳入端到端训练。这一思路可以拓展到多模态场景中的视觉记忆压缩、跨会话的长期记忆整合等问题中。同时，跨轨迹优势估计中关于时间折扣的设计也值得在更一般的变长序列强化学习问题中借鉴。

研究背景与动机

视觉深度强化学习的核心挑战在于如何从高维像素观测中提取出对决策真正有用的状态表示。与低维向量状态不同，图像包含大量与任务无关的冗余信息——背景纹理、光照变化、相机噪点——这些信息若被不加区分地编码，不仅会大幅增加计算开销，更会干扰智能体捕捉环境的关键动态。传统的像素级重建方法（如自编码器）虽然能压缩维度，但其优化目标与强化学习的策略提升目标往往不一致，学到的表示未必对决策最优。

已有的预训练方法试图通过大规模无标签数据学习通用视觉表征，再迁移到强化学习中微调。然而这类方法存在两个根本性缺陷：一是预训练数据分布与目标任务环境往往存在差异，学到的表示未必适配特定任务；二是预训练与在线学习分离，无法随着智能体在环境中交互而动态调整表示。近年来自然语言处理领域的 BERT 和 GPT 通过掩码语言建模展示了自监督学习的强大能力，计算机视觉领域的 MAE 和 I-JEPA 则证明了掩码预测在视觉表征学习中的有效性。这些成功启发作者思考：能否将掩码预测思想引入强化学习，作为一种与策略学习联合优化的辅助任务？

关键洞察在于，智能体在环境中收集的轨迹数据本身就蕴含丰富的时序结构——相邻帧之间高度相关，智能体的动作会影响未来观测的变化。这种序列上下文信息为预测被掩码的内容提供了天然线索，而掩码预测任务则迫使编码器学习更具预测性、更能捕捉环境动态的表征。

方法

MPR 的整体架构借鉴了 I-JEPA 的联合嵌入预测架构思想，采用在线-目标双编码器结构。给定连续 $T$ 帧原始观测序列 $\mathbf{r}=\{r_t,r_{t+1},\dots ,r_{t+T-1}\}$，系统首先生成两个视图：上下文视图 $\tilde{\mathbf{o}}$ 和目标视图 $\mathbf{o}$。上下文视图经过随机图像增强后，再在时序上应用掩码操作；目标视图则不做掩码，直接作为预测的参照。

掩码策略是方法的关键设计之一。作者采用分块掩码策略，将序列划分为若干块，每块内的帧共享相同的掩码模式。具体而言，若块大小 $b=1$，则只在单帧内掩码（空间掩码），适合 Cheetah run 这类以空间特征为主的任务；若 $b=T$，则整条序列被同等掩码（时间掩码），适合 Finger spin 这类需要捕捉动作序列模式的任务；介于二者之间则为时空掩码。掩码区域以随机中心放置矩形块实现，掩码率固定在 40% 左右。这一设计使智能体必须同时利用空间和时间维度的上下文信息来推断被遮盖的内容。

编码器层面，在线编码器 $f$ 负责提取上下文视图的特征，经 Transformer 预测解码器 $g$ 和投影头 $h$ 处理后得到预测潜表示 ${\tilde{y}}_i$。目标编码器 $\bar{f}$ 则以指数移动平均的方式缓慢更新：

$${\theta }_{\bar{f}}\leftarrow \tau {\theta }_{\bar{f}}+(1-\tau ){\theta }_f$$

这种不对称更新机制确保目标表示保持稳定，为在线表示提供一致的优化目标。预测解码器采用两层多头自注意力机制，结合可学习位置编码，在潜空间中重建被掩码的部分。

损失函数的设计体现了方法的核心洞察——在潜空间而非像素空间进行对齐：

$$L_{\text{mpr}}=1-\frac{1}{T}\sum _{i=t}^{t+T-1}\frac{{\tilde{y}}_i}{\Vert {\tilde{y}}_i{\Vert }_2}\cdot \frac{{\bar{y}}_i}{\Vert {\bar{y}}_i{\Vert }_2}$$

余弦相似度损失只要求预测与目标方向一致，无需精确匹配数值，从而避免了像素级重构带来的信息冗余问题。总体优化目标为强化学习损失与掩码预测损失的加权组合：

$$L_{\text{total}}=L_{\text{rl}}+\lambda L_{\text{mpr}},\lambda =1$$

推理阶段仅使用训练好的目标编码器输出表征输入策略网络，上下文编码器与解码器退出工作，计算开销与普通强化学习相当。

实验与结果

实验在两类基准上系统验证了方法的有效性。连续控制任务采用 DeepMind Control Suite，选取 6 个代表性环境（Finger spin、Cartpole swingup、Reacher easy、Cheetah run、Walker walk、Ball in cup catch），分别评估 100k 和 500k 环境步下的性能。离散控制任务采用 Atari-100k 基准，包含 26 款游戏，每款游戏限定 100k 步交互（对应约 400k 实际环境步）。

在 DMControl-100k 基准上，MPR 在 6 个任务中的 5 个取得领先，平均得分 830.0，较此前最优的 MLR 方法提升 7.5%，中位数得分 870 提升 4.1%。在 DMControl-500k 条件下，优势略有收窄但仍保持领先，均值达到 910.1。值得注意的是，在困难任务 Reacher hard 和 Walker run 上，MPR 相比 MLR 分别取得约 130 分的显著提升，显示出方法在复杂场景中的适应性。

Atari-100k 结果进一步印证了方法的通用性。在 26 款游戏中，MPR 在 11 款上取得所有方法中的最佳成绩，另有 5 款游戏（Boxing、Freeway、Jamesbond、Krull、Road Runner）超过了人类平均水平。尽管在 Pong、Gopher 等游戏中表现不及 MLR，但整体聚合指标显示 MPR 具备竞争力。

消融实验揭示了多个重要发现。掩码率 40% 是连续和离散任务的共同最优选择，过高会丢失过多上下文信息，过低则无法有效促使编码器学习预测性表征。预测解码器深度 2 层足以实现良好性能，增加深度带来的增益有限但计算成本显著上升。序列长度方面，$T=8$ 在两类任务上均为最优，过长反而引入冗余时序信息干扰表示学习。

讨论与可借鉴点

MPR 的成功揭示了一个重要规律：在强化学习中，表征学习的目标应当是捕捉环境的预测性结构，而非精确重建观测细节。像素级重构要求编码器保留所有视觉信息，其中大量与决策无关的冗余内容会干扰策略优化；而潜空间掩码预测只需编码高层语义和动态规律，这与强化学习的决策需求天然对齐。余弦相似度损失优于 MSE 损失的经验发现进一步支持了这一观点——它表明智能体需要的不是精确重建，而是对环境状态的一致性理解。

从工程角度看，该方法的通用性令人印象深刻。它可以无缝接入 SAC、Rainbow 等主流强化学习算法，连续与离散动作空间均适用，且推理阶段不引入额外计算开销。这为实际部署提供了良好基础——训练时可获得表征学习的好处，部署时仅需执行标准策略推理。

当前方法的局限同样值得深思。掩码策略仍基于简单的中心矩形块，缺乏语义层面的考量——不同任务可能需要掩码不同语义区域才能获得最佳表征。针对每个任务手动调优块大小 $b$、掩码率等超参数的成本较高，缺少自适应机制。Atari 实验直接基于 MLR 代码库进行，可能未能充分挖掘方法潜力。此外，论文未披露实验算力信息，给复现工作带来不确定性。

未来方向包括：探索更具语义的掩码策略（如基于显著区域或物体检测的掩码）、研究自适应掩码机制、以及将方法与大规模视觉基础模型结合。理论层面，深入理解潜空间预测为何优于像素重构、为何余弦相似度优于 MSE，将有助于设计更有效的表征学习目标。

研究背景与动机

在大语言模型智能体（LLM Agent）的训练范式中，基于分组的强化学习（Group-based RL）已被广泛验证为提升模型在长时序交互任务上能力的有效手段。与传统的策略梯度方法不同，分组强化学习的核心思想是将同一情境下产生的多个动作选项组织为"组"，通过组内比较来估计优势函数，从而引导策略向更优动作更新。这种机制天然契合智能体在复杂环境中可能产生多样化行动路径的场景。

然而，既有研究大多在轨迹级（trajectory-level）进行分组与优势估计，即以完整轨迹作为比较单元。这种粗粒度的优化方式虽然实现简单、信号稳定，但存在一个根本性的局限：它无法为轨迹内部的中间决策提供细粒度的反馈。当智能体在一个包含数十步交互的任务中某一步出现偏差时，轨迹级的优势信号会被后续步骤的表现稀释甚至掩盖，导致模型难以精准地识别并修正错误决策节点。

为了获得更细粒度的策略更新，近期研究开始探索步骤级分组强化学习（step-level group-based RL），即在一次 rollout 批次内对中间步骤进行分组并比较。这种方式理论上能够为每个决策时刻提供独立的优势信号，使模型更精确地学习何时应该采取特定行动。但步级优势估计面临一个关键挑战：对分组方式高度敏感。具体而言，存在两种典型的分组策略：一种是按粗粒度状态键（state key）进行分组，覆盖范围广，但可能将不同历史上下文下采取的动作错误地放在同一组内比较；另一种是强制保持历史一致性（historical consistency），即只有当前缀历史完全相同的步骤才被分到一组，这种方式虽然保证了比较的公平性，却会导致分组极度碎片化，组内同侪（peer）数量骤减，优势估计因样本不足而变得不可靠。

这两种策略的根本矛盾在于覆盖度（coverage）与比较公平性（fairness）之间的权衡。宽泛分组保证了统计充分性但牺牲了语义准确性，严格分组保证了语义准确性但牺牲了统计充分性。如何在两者之间找到平衡，成为本文要解决的核心问题。

方法

ProGPO 的设计哲学可以概括为"保留精确比较、补充分稀疏信号"。作者观察到，在步级分组学习中，真正有价值的比较是"精确前缀动作比较"——即只有当两个动作之前的所有历史完全一致时，比较才是有意义的。强制历史一致性虽然会导致组碎片化，但 ProGPO 并不试图通过放宽历史条件来增加组内样本，而是采用另一种策略：用转移信用（transition credit）来补充稀疏的同侪比较信号。

具体而言，当某个状态-动作对在当前 rollout 中找不到足够的同侪进行比较时，ProGPO 会借助状态势能（state potentials）来推断该动作可能带来的未来收益变化。状态势能的核心思想是：在一个好的策略下，智能体在不同状态下应该具有不同的"潜力值"——更接近目标的状态具有更高的势能，而远离目标的状态势能较低。如果一个动作将智能体从低势能状态带到高势能状态，那么这个动作就应该获得正向的信用；反之则应获得负向信用。这种基于势能差的信用分配方式不依赖于精确的 Critic 网络学习，而是通过 rollouts 本身的状态转移信息来估计。

然而，状态势能的估计本身也面临挑战。在长程交互任务中，状态的语义空间可能非常复杂，简单的状态键匹配难以捕捉不同状态之间的实际"距离"。为解决这一问题，ProGPO 提出了两个关键技术：语义扩展（semantic expansion）和跨历史深度的逆方差融合（inverse-variance fusion across history depths）。

语义扩展的目的是在估计势能时，不仅考虑精确匹配的状态，还要将与当前状态语义相近的其他状态纳入参考。具体地，ProGPO 使用嵌入模型计算状态之间的语义相似度，当某个状态在当前批次中没有精确匹配的历史时，可以通过扩展搜索找到语义最接近的状态，用其势能作为当前状态的近似。

逆方差融合则用于在多个历史深度上综合势能估计。直觉上，浅层历史（如最近几步）可能对当前状态势能有更直接的影响，而深层历史虽然信号更稀疏但可能捕捉更长程的依赖关系。逆方差融合的核心是根据每个估计的方差为其分配权重——方差越小（即估计越可靠）的信号获得越高的权重，方差越大（如深层历史中样本稀缺的估计）的信号权重相应降低。通过这种方式，ProGPO 能够自适应地平衡不同深度历史信息的贡献。

综合以上设计，ProGPO 的完整流程可以描述为：对于每个步骤，首先检查是否存在满足历史一致性条件的同侪；如果有，则使用标准的组内优势估计；如果同侪数量不足，则回退到基于状态势能的转移信用估计，并将语义扩展和逆方差融合的结果作为补充信号。最终，这些信号被整合为统一的步级优势估计，用于策略梯度的更新。

值得强调的是，ProGPO 是"免学习评论家"（learned-critic-free）的——它不需要训练额外的价值网络来估计优势函数，所有势能信息都从当前批次的 rollouts 中实时估计得到。这使得方法的计算开销与基线方法相近，同时避免了 Critic 训练可能带来的误差累积和不稳定性问题。

实验与结果

研究团队在两个具有代表性的智能体任务上评估了 ProGPO 的效果：ALFWorld 和 WebShop。ALFWorld 是一个基于文本的交互式家务任务环境，智能体需要根据自然语言指令在虚拟环境中完成多步骤操作；WebShop 则是一个模拟电商网站的任务，智能体需要搜索、浏览商品并完成购买。这两个任务都要求智能体进行长序列的决策，并且中间步骤的质量直接影响最终的成功率，因而非常适合检验步级学习的有效性。

基座模型方面，团队选择了 Qwen2.5-1.5B-Instruct 和 Qwen2.5-3B-Instruct 两种规模的模型，分别对应轻量级和中等规模的部署场景。实验的核心比较对象是"匹配的智能体强化学习基线"——即在相同 rollout 批次大小、相同更新步数、相同基座模型下，仅在分组策略上有所不同的方法。这种匹配设计确保了比较的公平性，使得任何性能差异都可以归因于分组策略本身的有效性。

主要实验结果如下：在 ALFWorld 任务上，ProGPO 相比基线方法的成功率提升显著；在 WebShop 任务上，ProGPO 的优势同样稳定。这些提升并非以计算开销为代价——团队特意记录了每种方法的 GPU 时间消耗，发现 ProGPO 的开销与基线方法基本持平。这验证了"免 Critic"设计的实际价值：不引入额外的训练开销，却能获得更可靠的步级优势信号。

进一步的消融实验揭示了各组件的贡献。通过逐一移除语义扩展、逆方差融合等模块，研究者观察到性能的系统性下降，证实了这些技术并非冗余设计，而是共同构成了有效的势能估计体系。特别值得注意的是，当同侪比较信号本身已经较为丰富时（如某些简单子任务），语义扩展的边际贡献较小；但在复杂子任务中，组碎片化严重，语义扩展带来的补充信号显著改善了优势估计的稳定性。

补充实验还使用 Qwen2.5-3B-Instruct 验证了方法的扩展性。结果表明，模型规模增大后，ProGPO 的优势依然保持甚至有所扩大，这与直觉相符：更大的模型通常能产生更多样化的 rollouts，但同时也意味着分组可能更加碎片化，而 ProGPO 恰好能够弥补这一问题。

讨论与可借鉴点

ProGPO 的贡献在于为步级分组强化学习中的核心矛盾提供了一种优雅的解决思路：通过将精确的历史一致性比较与基于势能的转移信用相结合，既保留了比较的语义准确性，又通过额外的信用信号补充了碎片化带来的稀疏性问题。这种"精确比较为主、势能估计为辅"的设计哲学值得借鉴——它没有试图用单一机制解决所有问题，而是让不同机制各司其职、互补不足。

然而，ProGPO 仍存在若干局限性。首先，状态势能的估计依赖 rollout 中观察到的状态转移，在状态空间稀疏或转移模式单一的环境中，势能估计可能不够准确。其次，语义扩展模块引入的嵌入相似度计算虽然开销不大，但假设了嵌入空间能够有效捕捉任务相关的状态距离——对于某些需要精确状态匹配的任务，这一假设可能不成立。第三，方法在跨任务泛化方面的表现尚待验证——目前的实验集中于 ALFWorld 和 WebShop 两个任务，它们虽然风格不同，但都属于短文本交互环境，对于视觉-语言智能体或需要多模态感知的任务，ProGPO 的适用性需要进一步探索。

对于后续研究，一个有价值的方向是将 ProGPO 与学习型 Critic 进行对比或结合。虽然 ProGPO 刻意避开了 Critic 的训练，但两者并非互斥——在资源允许的情况下，可以先用 ProGPO 的思路初始化可靠的势能估计，再训练轻量级的 Critic 网络来加速推理。另一个方向是探索自适应选择机制，让模型根据当前步的同侪丰富度动态决定是否回退到势能估计，而非固定阈值判断。

总体而言，ProGPO 为大语言模型智能体在长程任务上的精细化策略优化提供了一种实用且可扩展的方案，其核心思想——精确比较与转移信用互补——有望推广到更广泛的强化学习场景中。

研究背景与动机

多任务离线安全强化学习的核心目标是利用多个任务的历史交互数据，学习一个能够同时优化所有任务平均奖励并满足安全约束的共享策略。这种范式在自动驾驶、机器人操作等高风险、高交互成本场景中具有重要价值——研究者可以在不实际运行系统的情况下，借助已有的离线数据训练出安全且高效的控制策略。

然而，这一目标面临着三重挑战的叠加效应。第一重挑战来自多任务本身的复杂性：不同任务的状态空间、奖励函数和成本约束往往存在显著差异，在联合训练时任务间的干扰会导致 Q 值估计误差累积，最终使得策略性能退化。第二重挑战是安全约束的严格性——传统的时序差分（TD）方法依赖 Q 值进行动作评估，而离线数据中的动作分布与当前策略产生的 [[分布外动作]] 存在不匹配，这种外推误差在约束优化框架下会被放大，使得成本约束难以被可靠地满足。第三重挑战在于泛化能力的要求：实际部署中，系统可能遇到训练时未见过的任务变体或环境配置，这要求策略具备对未见任务的适应性。

现有方法在这三重挑战面前表现出明显的权衡困境。单任务离线安全强化学习算法（如 CPQ、COptiDICE、CDT）虽然能够在各自的任务上表现良好，但直接扩展到多任务场景时会因为任务干扰而出现显著的奖励下降。多任务离线强化学习算法（如 MTDiff）虽然通过共享表示获得了较高的奖励回报，却完全忽视了安全约束，成本远超阈值。另一方面，已有的多任务梯度归一化、子空间表示等技术虽然部分缓解了任务间的干扰，但仍依赖 Q 值进行动作评估，在 [[分布外动作]] 面前鲁棒性不足。

方法

CDCP 的核心洞察是将多任务约束优化问题重新形式化为一个条件生成问题。传统方法试图通过值函数估计和策略优化来直接解决这个难题，而 CDCP 转而利用 [[扩散模型]] 的生成能力，从离线数据中学习在给定上下文条件下生成安全且高回报动作序列的分布。

形式化地，给定任务 $\tau$、历史观测 $\mathcal{O}$、任务上下文 $M(\tau )$、奖励条件 $R$ 和成本条件 $C$，CDCP 学习生成动作序列 $x_0^{({\tau }_c)}=(a_t,a_{t+1},\dots ,a_{t+h-1})$ 的条件概率分布 $p_{\theta }(x_0|y)$，其中条件 $y$ 包含了所有与任务和约束相关的信息。这一建模方式的关键优势在于：扩散模型通过逐步去噪过程生成动作，无需显式估计 Q 值，从而自然地避免了 OOD 动作带来的外推误差问题。

为了在生成过程中灵活地控制成本约束，CDCP 采用了 [[无分类器引导]] 技术。具体而言，模型在训练时同时学习条件生成和非条件生成两个分支，通过随机丢弃奖励条件或成本条件来训练模型在缺少某些条件时的生成能力。在推理阶段，通过融合条件预测与非条件预测，可以实现对生成结果的方向性引导：

$$\widehat{ϵ}=\kappa [{\widehat{ϵ}}_{\theta }(x_k,y^{\prime },R,k)+{\widehat{ϵ}}_{\theta }(x_k,y^{\prime },C,k)]+(1-2\kappa ){\widehat{ϵ}}_{\theta }(x_k,y^{\prime },\varnothing ,k)$$

这一设计的精妙之处在于 Remark IV.3 所揭示的特性：训练完成后，只需通过调整成本条件 $C$ 的取值，就能在推理时满足不同的成本阈值要求，而无需重新训练模型。Remark IV.4 进一步指出，将成本条件置零时，累积成本约束会被转化为逐状态的安全约束，提供了一个极端灵活的安全保证机制。

上下文提示（Contextual Prompts）机制是 CDCP 解决多任务表示问题的关键创新。每个任务的上下文由两部分组成：轨迹提示 ${\tau }_p$ 和文本提示 ${\tau }_{tz}$。轨迹提示来自专家轨迹中的状态-动作对序列，提供了从状态到动作映射的直接示范；文本提示则通过预训练语言模型编码任务描述（如"高速公路+稀疏车流"），提供了任务类别和特征的语义信息。二者的结合使得模型既能学习具体的决策模式，又能获得任务的语义抽象表示，从而在面对未见任务时展现出优秀的 few-shot 适应性。

多任务训练中的一个经典难题是不同任务的损失尺度不一致导致的梯度干扰。CDCP 借鉴了 [[梯度归一化]] 的思想，引入可学习的权重层来自适应地调整各任务损失的贡献权重。通过监控各任务的梯度损失范数和收敛速率，权重层能够动态平衡不同任务在训练过程中的影响力，确保模型在所有任务上都能稳定收敛。

实验与结果

实验在 MetaDrive 自动驾驶仿真平台上进行，选取了 9 个覆盖三种场景复杂度（Easy/Medium/Hard）和三种车流密度（Sparse/Mean/Dense）的安全驾驶任务。作者将现有 SOTA 方法扩展为多任务基线进行对比，包括基于 CPQ、COptiDICE、CDT 的单任务方法扩展，以及基于 DD 和 MTDiff 的多任务方法扩展。

在整体性能对比中，CDCP 以平均奖励 $270.45\pm 15.78$ 显著超越了所有基线方法，其中表现最好的基线 CMTDiff 仅达到 $246.57$，而基于 TD 的方法（MTCOptiDICE）更是低至 $178.34$。与此同时，CDCP 的平均成本为 $23.06$，成功保持在阈值 25 以下，而 CMTDiff 的成本则远超安全界限。这一结果清晰地验证了 CDCP 在兼顾性能与安全性方面的优势。

成本约束灵活性的验证尤其引人注目。实验设置了 $\{0,20,25,30\}$ 四个不同的成本阈值，CDCP 仅在阈值 25 下进行训练，但在不重新训练的情况下直接测试其他阈值。结果显示，通过简单调节推理时的成本条件 $C$，CDCP 能够有效地将成本控制在目标阈值附近，验证了无分类器引导机制带来的灵活性。

Few-shot 泛化实验以 6 个任务训练、3 个未见任务测试的方式进行。CDCP 在 EasyDense、MediumDense、HardDense 三个未见任务上依然能够满足安全约束并获得较高的奖励，表明上下文提示机制确实为模型提供了有效的任务表示能力，使其能够在仅有少量上下文信息的情况下快速适应新任务。

消融实验进一步确认了三个核心组件的贡献。移除成本约束分支（CDCP_Cost）后成本急剧上升，移除上下文提示（CDCP_Prompt）后奖励下降且未见任务的适应能力退化，移除梯度同步（CDCP_GradSync）后训练稳定性下降。三者的协同作用共同支撑了 CDCP 的优异表现。

讨论与可借鉴点

CDCP 在方法论层面提供了一个重要启示：当传统基于值函数估计的方法面临 [[分布外动作]] 挑战时，将优化问题转化为条件生成问题是一个值得探索的思路。[[扩散模型]] 的多步去噪过程提供了一种隐式优化的机制，能够在生成空间中直接搜索满足约束的动作，而无需显式地进行 Q 值外推。这一思想对于其他面临 OOD 挑战的离线强化学习问题可能具有借鉴意义。

无分类器引导机制在成本约束控制中的应用展现了条件生成方法的灵活性。传统的约束强化学习方法通常需要针对每个具体的约束阈值单独训练策略，而 CDCP 通过条件控制实现了"一次训练、多档部署"，这对于需要根据不同安全级别动态调整策略的实用场景具有重要价值。

然而，CDCP 也存在明显的局限性。实验仅在 MetaDrive 自动驾驶平台上验证，方法在其他领域（如机器人控制、工业自动化）的有效性尚需检验。200 步去噪带来的计算开销在实际实时系统中可能构成部署障碍。此外，上下文提示机制依赖专家轨迹提供轨迹提示，在专家数据稀缺的场景下实用性受限。未报告训练时长和推理延迟也使得方法的计算效率难以与其他方法直接比较。

未来工作可以探索更轻量级的去噪过程以提升推理效率，或者研究在缺少专家轨迹时如何高效获取高质量的上下文提示。对于更大规模任务集合的可扩展性验证，以及在不同安全约束类型（如风险敏感约束、软约束）上的推广，也是值得深入研究的方向。

研究背景与动机

在[[自演化]]系统中，一个核心假设是模型通过与环境的多轮交互不断改进自身的输出质量。过往的主流范式——无论是通过[[强化学习]]微调还是过程监督——都默认系统外围的[[工具链]]（harness）是稳定可靠的：评测脚本、提示模板、采样策略这些组件被当作既定事实，模型的任务是反复猜测正确答案或生成更好的解。然而，这种假设在实践中往往过于理想化。

现实场景里，工具链组件常常存在缺陷。评测脚本可能有边界条件遗漏，提示模板可能未能充分利用模型的推理能力，甚至采样策略在某些任务上会产生系统性偏差。当这些不完善的组件被锁定时，再强大的模型也只能在受限的搜索空间里打转。更深层的问题在于，模型对工具链的感受是单向的——它只能被动接受工具链返回的反馈，而无法指出或修正反馈本身的问题。

本文的切入点正是将工具链从固定约束解放出来，看作模型可以主动编辑的对象。如果让同一个[[智能体]]既能生成解也能修改工具链组件，两个层面的优化就有可能在统一的过程中相互促进：模型在修正工具链的过程中获得更准确的反馈，从而生成更好的解；更好的解又让模型识别出工具链的进一步改进空间。

方法

HASE的核心设计围绕一个统一的[[强化学习]]框架展开。模型在多轮交互中被赋予两类动作空间：生成任务解（生成代码、预测标签等）和编辑工具链组件（修改评测逻辑、调整提示措辞、更新采样参数等）。这两类动作共享同一个奖励信号来源——任务的最终性能指标——从而确保工具链的编辑决策始终以任务目标为导向。

具体实现上，HASE采用了actor-critic架构中常见的优势估计机制来权衡两类动作的价值。每一步交互后，系统会评估当前动作对最终奖励的贡献：如果是生成解的动作，则其优势取决于该解在当前工具链下的表现；如果是编辑工具链的动作，则其优势取决于编辑后工具链对后续解质量的提升效果。这种统一的评价标准避免了传统方法中“修工具链”与“求解题”各自为战的困境。

一个关键设计细节是工具链组件的可编辑范围。HASE并不允许模型随意修改整个工具链，而是限定在若干预设的编辑槽位上，例如评测函数的断言逻辑、few-shot示例的选取策略、或推理时的温度参数。这样做既保留了人类对系统行为的可控性，也防止模型通过“作弊”式的工具链修改来刷指标。从论文的实验设定来看，编辑槽位的选择是由人类专家根据任务特性预先指定的，这一设计选择在安全性与灵活性之间取得了合理的平衡。

HASE的另一个特色是其多轮演化的循环结构。每轮演化中，模型先尝试生成一批任务解，观察这些解在当前工具链下的表现；随后基于观察到的失败模式，决定是否要编辑某个工具链组件；编辑后进入下一轮，继续生成解并接受新的反馈。这一循环持续进行，直到任务性能收敛或达到预设的迭代上限。值得注意的是，在整个循环中只有模型权重保持连续（通过强化学习的策略梯度更新），工具链组件则可以是非参数化的离散编辑操作。

实验与结果

论文在三个差异化的任务上验证了HASE的有效性，每个任务都从不同角度检验工具链编辑的价值。

文本分类任务选取了常见的情感分析与主题分类数据集，用来检验基础能力。这里的基线对比非常直接：HASE用Qwen3-8B单一模型配合可编辑的工具链，对抗的是GPT-OSS-120B模型加上Claude Code作为工具链生成器。结果显示，Qwen3-8B在HASE框架下达到了与该基线相当的准确率。这一结果的意义不在于绝对数字本身，而在于它证明了小模型通过自适应工具链可以弥补与超大模型的能力差距。

阿尔法因子挖掘任务来自量化投资领域，目标是发现能够预测资产收益率的因子。HASE在这一任务上超越了GPT-OSS-120B基线，说明在需要反复试错和调试的探索性任务中，能够修改评测逻辑（可能是放宽过度严格的阈值或修正不合理的约束）的价值尤为显著。模型不再被困在一个不友好的评估环境里反复失败，而是可以直接改进评估标准本身。

圆形打包算法发现任务则更具挑战性，目标是让模型自动发现能够高效填充平面的几何算法。HASE不仅收敛到了当前最优性能，而且在演化过程中展现出对评测组件的修复能力——初始的工具链可能包含不完善的冲突检测逻辑，模型通过多轮编辑将其纠正，这一过程完全无需人类干预。这一能力在传统框架中是不可想象的，因为工具链的错误会直接导致无法收敛或收敛到错误的最优解。

讨论与可借鉴点

HASE展示了一条有潜力的方向：工具链不必是静态的边界条件，而可以是智能体主动塑造的系统组成部分。这一思路对当前大模型应用开发中的很多工程实践有直接的启发意义。很多团队在部署模型时，会投入大量精力手工调优提示词、选择采样参数、设计评测流程，但这些工作往往是一次性的、缺乏闭环反馈。如果能把这些组件纳入类似HASE的自演化循环中，系统就有可能在部署后持续自我改进。

当然，HASE也面临一些开放性问题。首先是安全边界：工具链编辑的自由度过高可能导致模型通过修改评测逻辑来伪造性能提升，论文虽然通过编辑槽位限制了这种风险，但更完善的约束机制值得进一步探索。其次是计算成本：多轮演化中的工具链编辑和策略更新都引入额外的计算开销，在资源受限场景下的效率仍有优化空间。最后是泛化性：三项任务虽然各有特点，但都属于相对结构化的任务类型；在开放域任务或涉及外部工具调用的更复杂场景中，HASE的表现尚待验证。

从更宏观的视角看，HASE代表了一种思路转变：从“用更强的模型解决给定问题”转向“让模型与问题描述共同演化”。这种转变与元学习、自动化机器学习等方向有着潜在的联系，也许会成为未来构建通用智能系统的一条重要路径。

研究背景与动机

在基于 [[actor-critic]] 的深度强化学习中，价值函数的精确估计是策略优化的基石。传统做法将价值函数视为回归问题，通过最小化相对于自举目标值的均方误差来训练。然而近年来，分布式强化学习（Distributional RL）另辟蹊径，不再满足于估计回报的期望值，而是对回报的完整分布进行建模。C51、QR-DQN 等方法将回报分布离散化为固定支撑上的分类分布，通过最小化分布间的 KL 散度来训练，实验表明这种做法往往能带来更丰富的梯度信号和更好的最终性能。

本文关注的是一类名为高斯直方图损失（HL-Gauss）的方法，它将每个标量贝尔曼目标编码为支撑区间上的高斯平滑分类分布，再用交叉熵进行学习。这种做法兼具直方图的离散化便利性与高斯平滑的梯度平滑优势，在 Atari 等离散控制任务上展现出更稳定的训练动态和更好的可扩展性。

然而，HL-Gauss 及其同类方法面临一个根本性困境：支撑区间 $[{\nu }_{\min },{\nu }_{\max }]$ 必须在训练前预先固定。这在强化学习场景下尤为棘手——真实回报的分布具有高度非平稳性，早期探索阶段与最终收敛阶段所涉及的回报量级可能相差数倍甚至数十倍。若支撑设定过窄，真实回报会被截断，产生系统性偏差；若支撑设定过宽，则在固定箱数 $k$ 下每个箱的宽度增加，导致量化误差增大、分辨率下降。更关键的是，不存在任何单一固定区间能够适应训练全程所有策略阶段的需求。这一矛盾构成了本文研究的出发点：能否让支撑区间随训练动态调整，使其既能覆盖真实回报分布以保证无偏性，又能保持足够紧凑以获得紧致上界？

方法

作者首先建立 HL-Gauss 与均方贝尔曼误差之间的理论联系，这是 DySEL 方法的逻辑起点。通过严格的数学推导，论文证明如下不等式成立（对应原文 Eq. 11）：

$$\text{MSE Bellman}\le 8\max (|{\nu }_{\min }|,|{\nu }_{\max }|{)}^2\cdot \min (\frac{1}{2}{D}_{\mathrm{KL}}(q_y\Vert h_x),1-e^{-D_{\mathrm{KL}}(q_y\Vert h_x)})+2({\mathbb{E}}_{q_y}[z]-(\mathcal{T}Q)(s,a){)}^2$$

该上界由三项组成：支撑宽度项、分布匹配项（通过 [[KL 散度]] 度量预测分布 $h_x$ 与目标分布 $q_y$ 之间的差异）、以及截断偏差项。关键洞察在于：支撑越窄，上界越紧——这并非显而易见，因为直觉上更窄的支撑可能导致更严重的截断，但理论分析表明宽度惩罚项占主导地位。这直接驱动了算法设计的核心思路：主动学习最窄可行的支撑。

然而，直接优化这个上界会遭遇数学困难——宽度惩罚与交叉熵之间存在非凸乘积关系。借鉴优化理论中的经典技巧，作者利用 AM-GM 不等式引入一个正的缩放常数 $\alpha$，将乘积转化为可处理的和形式（对应原文 Eq. 12）。同时，利用全期望定律，截断偏差项被等价转化为对"漏出质量" $1-Z$ 的控制，其中 $Z$ 表示高斯平滑后的目标分布落在支撑内的概率。

最终，完整的学习目标被建模为带约束的优化问题：最小化支撑宽度，但需满足质量覆盖约束 $1-Z\le ϵ$。通过引入拉格朗日乘子 $\lambda \ge 0$，问题转化为 minimax 优化（对应原文 Eq. 16）：

$$\mathcal{L}(\theta ,\varphi ,\lambda )=\alpha \max (|{\nu }_{\min }|,|{\nu }_{\max }|)+\frac{1}{\alpha }(-\sum _{i=1}^k{c}_i\log h_i(x))+\lambda ((1-Z)-ϵ)$$

其中 $\theta$ 为评论家网络参数，$\varphi$ 为支撑区间网络参数（输出两维并排序以保证 ${\nu }_{\min }<{\nu }_{\max }$），而 $\lambda$ 作为拉格朗日乘子通过单独的优化器最大化约束违反量。这种对抗博弈机制精妙地平衡了两股力量：一方面，$\lambda$ 的梯度会推动支撑扩张以吸收漏出质量；另一方面，宽度惩罚项 $\alpha \max (|{\nu }_{\min }|,|{\nu }_{\max }|)$ 则反向压缩支撑。两股力量的对立使得系统趋于一个动态平衡——支撑既不过宽（浪费量化分辨率）也不过窄（产生截断偏差）。

在实现层面，支撑网络采用标准三隐层 MLP，最终输出 2 维向量并通过排序操作保证顺序关系。高斯平滑的标准差 $\sigma$ 与 bin 宽度 $w_i$ 成正比，设定 sigma-to-width 比例为 0.75，并设置最小裁剪 ${\sigma }_{\min }=0.3$ 以防止过小的 $\sigma$ 导致数值问题。值得注意的是，虽然理论分析中使用了 $\max (|{\nu }_{\min }|,|{\nu }_{\max }|)$ 这一对称形式，但实际实验中学习到的支撑确实呈现出近似对称的特性——这是当前方法的一个隐性假设，也构成了后续改进的空间。

实验与结果

实验在 DeepMind Control Suite 的 11 个连续控制任务上进行，涵盖从简单运动（cheetah-run）到复杂人形控制（humanoid-run）的广泛难度范围。所有任务的最大回报设定为 1000，这为评估提供了统一的归一化基准。算法基线包括：标准 TD3（标量回归）、TD3+HLG（固定支撑 $[-100,100]$，$k=128$ bins）、以及 TD3+DySEL（本文方法）。评估协议采用每任务 10 个随机种子、训练 300 万步、每万步评估 20 个回合，使用 IQM（跨种子分位均值）与 95% bootstrap 置信区间进行统计分析。

核心实验结果回答了四个关键问题。首先，在性能层面，TD3+DySEL 在大多数任务上与 TD3+HLG 持平，并在 humanoid 系列任务（四足 runner/walker、fish-swim）上展现出明显优势。这一结果颇为有趣——humanoid 类任务恰恰是回报分布变化范围最大、最需要动态支撑的任务类型。其次，通过可视化支撑区间的训练动态，作者发现不同任务呈现出两类截然不同的行为模式：finger-turn_hard、hopper-hop 等任务支撑保持相对稳定，而 cheetah-run、humanoid 类、四足任务则呈现支撑逐渐扩张的趋势。这种差异反映了不同任务在训练过程中回报分布演化模式的本质区别。

消融实验进一步验证了各组件的必要性。去宽度惩罚项后，支撑发散至无穷大——交叉熵通过不断扩大支撑区间使漏出质量趋于零，从而被虚假地最小化；去质量约束项后，支撑在需要扩张的任务上变得过窄，量化误差主导了误差来源。完整 DySEL 的表现始终优于两个消融版本，印证了对抗博弈设计的必要性。

一个设计精巧的"反哺"实验进一步验证了学到支撑的合理性：将 DySEL 训练末期学到的支撑区间喂给固定支撑的 HL-Gauss，在支撑稳定的任务上后者性能有所提升，而在需要支撑扩张的任务上仍劣于 DySEL 本身。这既说明 DySEL 学到的支撑确实捕捉到了任务特性，也说明静态切换支撑无法替代全程动态适应。

关于超参敏感性，论文进行了 $\alpha \in \{0.1,0.2,0.3,0.4,0.45,0.5\}$ 的网格搜索，发现 $\alpha$ 是唯一需要调优的关键参数——$\alpha$ 越大，初始支撑越窄，对应更强的宽度惩罚；$\alpha$ 越小，支撑越宽，质量约束的权重相对提升。初始化支撑区间（测试了 $[-1,1]$、$[-5,5]$、$[-10,10]$ 三种）对最终性能影响有限，说明算法对初始假设具有较强的鲁棒性。

讨论与可借鉴点

论文的局限性与未解决的问题同样值得关注。理论层面，当前上界基于 min-max Lagrangian 鞍点优化，双学习率（评论家网络与对偶变量 $\lambda$ 的学习率分开设置）对训练稳定性有显著影响，作者在附录中承认这是一个敏感点。未来方向之一是采用 PID-controlled Lagrangian 等自适应对偶更新机制替代朴素的拉格朗日乘子法，以期获得更稳健的训练动态。

设计上，$\max (|{\nu }_{\min }|,|{\nu }_{\max }|)$ 这一对称结构隐含了对称支撑的先验假设，无法表达真实回报分布中常见的非对称性。若将上界推广至非对称形式，可能在某些任务上获得更紧的界。此外，高斯核宽度 $\sigma$ 当前仍由 bin 宽度 $w_i$ 决定，未能与支撑区间独立学习，这意味着对于折扣因子动态变化或奖励尺度差异悬殊的任务，同一套 $\sigma$ 配置可能并非最优。

从更宏观的视角看，本文的方法论提供了一个可迁移的范式：当某个正则项与损失函数的乘积难以优化时，将其转化为带约束的 minimax 问题往往是一个可行方向。具体到强化学习中的函数逼近，上界越紧意味着优化目标与真实目标之间的代理误差越小，这不仅有助于提升最终性能，还能使训练过程更加透明和可预测——实验中美中不足的是算力信息的缺失，这使得独立复现的成本难以评估。

总体而言，DySEL 在理论与实践两个层面都做出了有效贡献：理论上建立了直方图损失与贝尔曼误差之间的定量联系，指出"支撑宽度决定上界紧度"这一核心洞察；实践上提供了无需预设区间的端到端解决方案，且消融实验充分、超参敏感度透明。对于关注分布式强化学习、函数逼近精度、以及损失函数设计的从业者而言，这项工作提供了值得借鉴的思路与可复用的实现框架。

研究背景与动机

视觉-语言-动作模型在复杂操作任务中展现出巨大潜力，但在实际应用中，[[强化学习]]训练需要大量环境交互，而每次交互都伴随着高昂的时间与资源成本。当前的VLA-RL框架在训练过程中普遍面临一个根本性困境：智能体在探索时倾向于反复采样已知的行为模式，而忽视对状态空间中未知区域的系统性探索。这种探索停滞现象导致样本效率低下——即便收集了数量可观的回滚轨迹，策略也难以获得实质性的改进。

论文的作者们通过一系列诊断实验发现了一个关键洞察：轨迹多样性比回滚数量对样本效率的影响更为根本。当智能体收集的回滚轨迹彼此相似时，即便轨迹总数可观，策略也只能在局部区域进行微调，无法有效扩展对状态-动作空间的覆盖。相反，具有高度多样性的轨迹集合即便规模较小，也能为策略优化提供更丰富的学习信号。这一发现将研究的核心问题从“如何收集更多轨迹”转向“如何引导智能体生成更多样化的轨迹”，从而为后续的方法设计指明了方向。

方法

ExToken的核心思路是利用离线演示数据中蕴含的行为知识，将其转化为引导探索的离散信号。具体而言，框架首先对离线演示轨迹进行聚类分析，识别出若干具有代表性的行为模式，并将每种行为模式编码为一个离散的token。这些token本质上是对底层行为策略的压缩表示，能够在保持语义信息的同时，以简洁的形式传递给VLA策略。

在训练阶段的回滚轨迹收集过程中，ExToken并非简单地让策略自主探索，而是通过对策略施加不同token的条件化来主动引导探索方向。当策略被条件化于特定token时，其输出动作分布会向对应的行为模式偏移；当切换至不同token时，策略则展现出差异化的行为特征。这种设计使得研究者能够系统性地覆盖多种行为模式，避免智能体固守于少数几个熟悉的动作序列。形式化地，条件化策略可以表示为 $\pi (a|s,c)$，其中 $c$ 表示从行为先验中提取的离散token，$s$ 为当前状态，$a$ 为动作输出。通过在回滚过程中遍历不同的 $c$，ExToken显著改善了状态-动作覆盖范围。

然而，训练与部署之间存在一个关键差异：训练时可以通过随机采样token来鼓励探索，但部署时我们期望策略能够稳定地执行有效行为，而非在多种模式之间随机切换。为解决这一挑战，ExToken引入了第二个核心组件——状态条件化token选择器。这个模块以当前状态为输入，输出一个预测的token，指导策略在推理时使用最可能有效的行为模式。直觉上，选择器学习了一种从视觉观察到最优行为模式的映射，使得智能体能够根据具体场景自适应地决定采用何种探索策略。训练过程中，选择器与主策略联合优化，其目标是最小化累积回报的负期望，从而间接学习识别不同状态对应的有利行为模式。

实验与结果

研究团队在仿真环境和真实机器人平台上进行了广泛的实验验证。仿真任务涵盖了多阶段操作、物体重新排列等典型机器人操作场景；真实机器人实验则聚焦于桌面操作任务，测试方法在物理世界中的泛化能力。实验的核心设定是高度受限的交互预算——智能体只能在有限的回滚次数内与环境交互，这直接考验了方法的样本效率。

实验结果显示，ExToken在所有测试场景中均实现了对基线方法的显著超越。在收敛速度方面，采用ExToken的VLA策略在相同交互预算下能够达到更高的最终性能曲线起点，且更快地趋于收敛。值得注意的是，当将交互预算进一步压缩至极端水平时（如仅为基线方法的四分之一），ExToken的优势变得更加突出——基线方法因探索不足而性能急剧下降，而ExToken仍能维持稳定的任务表现。在真实机器人实验中，经过仅2小时的在线微调后，ExToken使策略在未见过的物体配置上实现了超过85%的任务成功率，展现了良好的泛化能力。

消融实验进一步验证了两个组件的必要性。移除行为先验token条件化后，轨迹多样性显著降低，策略陷入局部最优；移除状态条件化选择器后，虽然训练表现尚可，但部署时性能出现明显波动，证明了选择器在桥接训练与推理过程中不可替代的作用。

讨论与可借鉴点

ExToken的核心贡献在于揭示了轨迹多样性对[[样本效率]]的深层影响，并提供了一种将这一洞察转化为实用方法的有效路径。框架的设计体现了对问题的深刻理解：不是简单地增加探索的随机性，而是利用离线数据中的结构化知识引导有意义的探索。这种思路对于其他面临高交互成本场景的RL应用具有参考价值。

当前方法仍存在一定局限。行为先验token的质量高度依赖于离线演示数据的覆盖范围——如果演示集中缺乏某类关键行为模式，ExToken可能无法引导策略探索相应区域。此外，token数量的选择需要权衡多样性表示能力与选择器的学习难度，过多的token会增加决策复杂度而过少则无法充分覆盖行为空间。未来的工作可以探索自动确定最优token数量的方法，以及如何利用在线收集的数据迭代扩展行为先验库。

研究背景与动机

安全强化学习（Safe RL）旨在让智能体在优化累积回报的同时严格遵守安全约束，这一问题在机器人控制、自动驾驶等物理系统部署场景中具有根本性的重要意义。然而，现有方法形成了鲜明的阵营分化：一类是以 Simplex、控制障碍函数（CBF）等为代表的安全滤波器方法，通过在动作空间中执行事后干预或投影来保证安全性，这种硬干预虽然能提供可证明的安全边界，但干预发生在学习过程的末端，造成动作输出的不连续，并且阻断梯度回传，导致 actor-critic 框架下的学习动力学遭到破坏，表现为 critic loss 飙升甚至训练发散。另一类则是 Lagrangian 方法、Lyapunov 形状化 reward 等软约束方法，它们将安全目标编码为损失函数或奖励塑形项，维持了学习过程的平滑性，但安全保障依赖于期望收敛或长尾概率，无法在训练和部署期间提供硬约束保证。

这两种范式的根本矛盾在于安全的时机性与学习的连续性之间的张力。硬干预本质上是"事后补救"，在系统已经接近或越过安全边界时才发挥作用；而软约束则是"提前预防"，但缺乏强制力。本文的核心观察是：这种两难并非不可避免。如果将安全机制从学习管道的外层（后处理动作）移至内层（嵌入动作生成过程本身），就有可能在学习的每一步都让性能与安全因素共同参与决策，从而实现真正平滑且可证明安全的在线学习。

方法

AutoSafe 的核心设计哲学是将安全监控与干预重构为策略架构本身的结构性归纳偏置，而非外挂的安全过滤器。具体而言，论文提出一种可微分的凸策略组合，将学习驱动的策略 ${\pi }_{\theta }$ 与认证安全策略 ${\pi }_{\text{safe}}$ 通过状态依赖的混合权重 $\lambda (s)$ 进行融合：

$$\tilde{a}=(1-\lambda (s))a_{\theta }+\lambda (s)a_{\text{safe}}$$

这里 $a_{\theta }\sim {\pi }_{\theta }(\cdot |s)$ 是学习策略采样的动作，$a_{\text{safe}}={\pi }_{\text{safe}}(s)$ 是安全先验提供的锚点动作，混合权重 $\lambda (s)\in [0,1]$ 由当前状态的风险评估决定。选择凸组合而非硬选择有深层原因：动作空间通常是凸集，凸组合的输出必然落在可行动作空间内，不会像简单的动作裁剪那样引入非线性突变；同时这条从学习动作到安全动作的"插值线段"在几何上提供了平滑过渡的几何基础。

对于高斯策略 ${\pi }_{\theta }(\cdot |s)=\mathcal{N}({\mu }_{\theta }(s),{\Sigma }_{\theta }(s))$，合成策略的分布特性揭示了一种一阶稳定性机制：

$$\tilde{\mu }(s)=(1-\lambda ){\mu }_{\theta }(s)+\lambda a_{\text{safe}},\tilde{\Sigma }(s)=(1-\lambda {)}^2{\Sigma }_{\theta }(s)$$

随着 $\lambda$ 增大，均值向安全动作偏移（纠正意图），而探索方差以二次速率衰减。这一结构意味着当智能体接近安全边界时，干预不仅推举行动向安全方向靠拢，还同步收缩探索范围，防止偶然的极端动作导致违规。当 $\lambda \to 1$ 时，执行策略在安全边界附近退化为确定性，彻底消除随机性带来的越界风险。

理论分析从状态机会约束出发，导出了最小可行干预权重的闭式表达式。直觉上，若名义安全裕度的风险调整值 $L_{\theta }(s):={\mu }_{\Delta }(s)-{\beta }_{\delta }{\sigma }_{\Delta }(s)\ge 0$（其中 ${\beta }_{\delta }={\Phi }^{-1}(1-\delta (s))$ 是风险分位数），则无需干预；否则 $\lambda$ 取决于名义安全赤字与可用安全改进的比值。为避免在线估计方差带来的不稳定性，论文采用一种指数型可学习锐度函数：

$$\lambda (\tilde{\Delta }(s),p(s))=\frac{\exp (p(s)(1-\tilde{\Delta }(s)))-1}{\exp (p(s))-1}$$

其中 $\tilde{\Delta }(s)\in [0,1]$ 是归一化安全裕度（1 表示安全内部、0 表示危险边界），$p(s)$ 是由共享 actor 主干的小型预测头产生的锐度参数。关键在于，锐度参数 $p$ 与 actor 参数 $\theta$ 联合优化，使得 $\lambda$ 在不同任务与目标冲突强度下自适应调整：安全内部时 $p$ 收敛到较小值（信任学习策略），边界附近时 $p$ 增大（收紧干预）。

算法层面，AutoSafe 基于 Soft Actor-Critic（SAC）框架构建，critic 的学习目标完全不变，仅在动作采样阶段将 $a_{\theta }$ 替换为合成动作 $\tilde{a}$。安全策略实例化为经典的 Simplex 架构，通过半定规划求解 Lyapunov 矩阵与状态反馈增益，在定义的椭球安全集内保证名义策略的安全执行能力。整个系统的参数 $\theta ,\varphi$ 共享同一个观察编码通道和梯度流，使得干预机制对 actor 完全透明，梯度可以顺畅穿过组合层回传到学习策略。

实验与结果

实验覆盖了五个不同维度和复杂度的任务：CartPole 平衡、血糖调节、3D 四旋翼目标到达、四足机器人起伏地形导航，以及真实的物理倒立摆-小车系统。对比基线涵盖三类代表方法：安全滤波器类的 SimplexRL 和 CBF（硬干预）、策略融合类的 AdaLam 和 Residual RL（软安全先验）、约束优化类的 Lagrangian 和 Lyapunov 塑形（软约束），并以 vanilla SAC 作为无安全参考。所有实验统一使用相同的 SAC 超参数和随机种子，每个配置运行 5 次取平均以控制方差。

核心结果在 Table 1 中呈现：AutoSafe 在所有四个仿真任务上均实现了零累积安全违规，同时保持与最优软约束基线持平甚至更高的累积回报。特别值得注意的是，在四旋翼和四足机器人等高维连续控制任务中，这种优势更为显著。硬干预基线（SimplexRL、CBF）虽然也实现了零违规，但付出了明显的性能代价——这是因为突然的动作替换破坏了 critic 的价值估计一致性，导致学习效率大幅下降。

论文的 Fig. 4 深入刻画了干预类型对学习动力学的影响。实验设置了三档目标冲突等级（CartPole 目标位置偏移量），结果显示硬干预方法在冲突加强时 critic loss 急剧攀升，return 曲线趋于平坦甚至下降；而 AutoSafe 的 critic loss 保持平稳，return 持续收敛。这一对比有力证明了"嵌入动作生成"这一设计选择的优越性：干预不再是外部的硬约束，而是融入了策略自身的概率结构，梯度可以正常流动。

关于可学习锐度参数的消融实验（Fig. 5、12、13）验证了联合优化的必要性。与固定锐度、线性启发式相比，可学习的 $p(s)$ 能在训练过程中自动调节干预强度——目标冲突越大，学到的 $p$ 越大、$\lambda$ 越高，避免了手工调度的不确定性。更令人启发的是 Fig. 7 真实 CartPole 实验中 $\lambda$ 的演化曲线：随训练推进平均 $\lambda$ 单调下降，表明策略逐渐信任自身而非依赖安全先验，显示出学习的"去安全依赖"趋势。

物理部署方面，AutoSafe 直接运行在 Raspberry Pi 边缘设备上，50 Hz 控制频率下实现实时推理。Table 5 的计算时间对比表明，AutoSafe 的推理开销接近 vanilla SAC，在四足机器人高频控制（200 Hz）场景下显著快于需要在线求解二次规划的 CBF 方法。

讨论与可借鉴点

AutoSafe 的核心贡献在于证明了安全与学习的平滑性并非不可调和的目标，而是可以通过将安全机制重构为策略架构的内在组成部分来实现兼容。这一"嵌入而非外挂"的思路对整个安全强化学习领域具有方法论层面的启发价值：它将安全从"事后检查"转变为"预防性参与"，从离散的开关转变为连续的插值，从阻断梯度转变为允许梯度穿透。

当前方法的局限主要体现在几个方面。首先，安全性依赖于基于模型的安全先验（Simplex 架构需要动力学线性化假设），模型失配或过度保守会限制可达性能和探索能力，这在非线性强耦合系统中尤为突出。其次，论文演示的任务约束相对局部和结构化，对于时变外部扰动、移动障碍、非静态环境等更复杂的现实场景，需要显式重构或在线更新安全可恢复区域，论文虽给出了初步的移动障碍实验，但自适应机制仍未得到充分讨论。最后，物理验证局限于单关节的倒立摆系统，在高维机械臂、足式机器人等平台上的真实世界部署经验尚属空白。

从工程实践角度，AutoSafe 的可学习锐度设计提供了一种优雅的任务自适应方案，避免了手工调节干预阈值的繁琐。安全滤波器与策略组合的解耦设计也增强了系统的模块性——任何能输出安全动作的机制（如 CBF、RCBF、VIP）原则上都可以作为安全先验并入这一框架。这种灵活性为实际部署提供了便利：工程师可以根据计算资源选择不同复杂度的安全滤波器，而不必修改上层学习算法。

研究背景与动机

通用机器人策略通过大规模预训练，已经习得了丰富的行为技能库。理想情况下，这些策略应该成为下游任务中强化学习的优秀先验——直接在这个基础上微调，比从头训练要高效得多。然而，问题恰恰出在这个"直接微调"的环节上。

传统强化学习方法在利用预训练先验时，通常选择在动作空间直接优化。也就是说，算法会不断调整机器人应该输出的具体动作数值。这要求一个隐含假设成立：基础策略的动作分布从一开始就要接近高性能策略的分布。只有在这个假设成立的情况下，强化学习的探索才能在合理的步数内找到好的策略。

但这个假设在复杂或长时域任务上往往会失效。当任务超出预训练的分布范围时，基础策略的动作输出可能离"正确答案"非常远，此时从头在动作空间探索就如同大海捞针——探索效率极低，需要与环境进行大量交互才能逐步改进策略。

这篇论文的核心洞察是：对于表达力足够强的通用策略来说，语言提示是解决这类问题的更有效空间。预训练的VLA模型通常接受语言指令作为输入，而模型内部已经编码了与各种语言描述相对应的技能。当我们调节语言提示的内容时，可以激活模型技能库中已有的相关技能，这些技能可以组合起来完成超出其零样本能力的任务。

这就好比一个经验丰富的工匠，他的工具箱里有各种工具（对应预训练的技能），直接告诉他"做这个动作"可能说不清楚，但如果用语言描述具体的操作步骤，他就能调动自己的经验和技能来完成复杂工作。

方法

SARL的核心设计围绕一个关键问题展开：如何在提示空间而不是动作空间进行有效的强化学习优化？

论文的做法是将通用策略视为一个可控的技能先验，而非直接优化的目标。具体来说，SARL学习一个提示策略（prompt policy），这个策略的输出不是具体的机器人动作，而是一系列语言提示或提示的调制信号。当这些提示被输入到VLA模型时，模型会根据自己的预训练知识，输出与提示语义相符的机器人动作。

这种设计的巧妙之处在于：预训练的VLA模型在语言和动作之间建立了一种丰富的语义关联。通过调节语言输入来改变动作输出，本质上是在利用模型已经学会的语言-动作映射关系，而不是重新学习一个全新的动作策略。这意味着探索天然具有结构性和语义意义——当提示从"拿起红色积木"变化到"拿起蓝色积木"时，策略的行为会按照直觉可预期的方式改变，搜索空间被大幅压缩。

SARL的在线学习流程可以这样理解：智能体在真实环境中收集经验数据，这些数据包含"什么样的提示序列能够逐步推进任务完成"的信息。然后，它使用强化学习算法来改进提示策略本身，使其学会在各种情境下生成最有效的语言提示。由于提示空间比原始动作空间的维度更低、语义更结构化，学习效率得到了显著提升。

另一个重要设计考量是提示的锚定（grounding）。通过与真实世界的交互学习来调节提示，能够将语言描述与实际诱发的行为紧密联系起来，避免出现语言和现实脱节的问题。这使得SARL学到的提示策略具有稳健性——它不是在模拟器中过拟合的提示，而是真正能够引导机器人完成现实任务的有效指令。

实验与结果

论文在仿真基准测试和真实世界机器人环境两处进行了验证。仿真环境使用标准的机器人操作基准，真实世界实验则部署在实际的机械臂平台上，任务涵盖多步骤物体操作和复杂的空间推理。

关键的对比对象包括：直接优化动作空间的强化学习方法、仅使用零样本VLA策略、以及其他部署时改进方法。实验结果表明，当任务复杂度增加、时域变长时，直接在动作空间优化的方法性能急剧下降，而SARL能够保持稳定的任务完成率。在真实世界实验中，SARL展现出了处理长程任务的能力——这类任务需要连续多个步骤的正确决策，单靠VLA的零样本能力是无法完成的。

值得注意的是，SARL的优势不仅体现在最终任务成功率上，还体现在样本效率上。由于利用了预训练技能而非从头学习，SARL在达到相同性能水平时所需的实际环境交互次数大幅减少。这对于真实机器人应用来说尤为重要——现实环境中每次交互都意味着时间和成本消耗。

讨论与可借鉴点

SARL展示了[[强化学习]]与[[视觉-语言-动作模型]]结合的一种新范式：不是简单地把预训练模型当作固定的工具，而是将其作为可控的技能先验，通过学习如何"调度"模型已有的能力来实现更复杂的目标。这种思路对于[[具身智能]]领域具有重要启发——当预训练模型的零样本能力不足以覆盖任务需求时，如何高效地激发和组合其隐含技能，是比直接微调更值得关注的问题。

论文也指出了当前的局限性：SARL的效果依赖于基础VLA模型的表达能力，如果模型本身缺乏与任务相关的技能储备，提示调制的效果就会受限。此外，提示空间的设计——如何构造提示的表示方式、如何定义提示与技能激活的关系——仍有探索空间。

对于后续研究，一个有价值的探索方向是：能否自动发现有效的提示策略，而不需要人工设计提示的形式？另一个方向是将这种方法推广到更多类型的控制问题，比如连续控制或混合离散-连续动作空间。SARL的核心思想——在语义空间而非原始动作空间进行优化——或许能够为更广泛的[[在线强化学习]]问题提供新的解决思路。

研究背景与动机

深度强化学习在机器人控制、自动驾驶、智能交通等安全关键领域展现出令人瞩目的能力，但其策略网络与监督学习模型一样容易受到对抗扰动的影响。这种脆弱性意味着即使是对观测信号施加人类难以察觉的微小扰动，也可能导致智能体做出灾难性的错误决策。在监督学习领域，RobustBench、Foolbox、CleverHans 等框架早已建立起对抗鲁棒性研究的标准化基准，但对抗强化学习（Adversarial RL）领域却长期处于各自为战的状态。

这种碎片化带来的问题是多方面的。首先，不同研究团队往往使用各自定制的攻击与防御实现，导致同一防御方法在不同实现下的效果差异难以区分，横向比较几乎不可能。其次，评估协议的不一致性——包括扰动预算的选择、随机种子的设置、报告指标的差异——使得论文结果的可复现性大打折扣。更深层的问题是，由于缺乏统一的基准，研究者难以判断某项防御方法的改进是否具有普遍意义，还是仅仅在特定实验设置下的偶然表现。

RoAd-RL 的核心动机正是填补这一空白。该工作试图将对抗强化学习研究的评估流程系统化、标准化，就像 RobustBench 为图像分类领域所做的那样。通过建立一个可复现的评测基准，研究社区能够更高效地比较不同防御策略，发现跨方法的共性规律，并识别那些在特定设置下看似有效但实际有害的做法。

方法

RoAd-RL 的设计哲学围绕四个核心抽象展开：Policy（策略）、Attack（攻击）、Defense（防御）和 Metric（指标）。这种模块化架构确保了框架的灵活性和可扩展性——新方法只需通过子类化对应的抽象基类即可接入，无需修改框架核心代码。

在策略层面，RoAd-RL 统一了不同强化学习算法的策略调用接口，提供 act(obs) → action 的标准入口，同时可选 forward 和 loss 接口以支持需要访问策略内部梯度的攻击方法。当前实现以 Stable-Baselines3 作为后端，支持 DQN、PPO、SAC 等主流算法。

攻击与防御的组合遵循一条清晰的数据流水线：观测信号依次经过攻击模块和防御模块的处理，最终送入策略网络产生动作。用数学语言描述为 $\text{obs}\stackrel{\epsilon }{\to }\text{Attack}\to \text{Defense}\to \pi \to \text{action}$，其中 $\epsilon$ 表示扰动预算。

在已实现的攻击方法中，RoAd-RL 聚焦于观测空间的梯度攻击。FGSM（Fast Gradient Sign Method）采用单步扰动策略，计算扰动的公式为 $\tilde{o}=o+\epsilon \cdot \mathrm{sign}\left({\nabla }_o\mathcal{L}({\pi }_{\theta },o)\right)$。PGD（Projected Gradient Descent）则将攻击迭代 $K=10$ 步，每步步长 $\alpha =\epsilon /K$，并在投影到 ${\ell }_{\infty }$ 球内后可选进行随机初始化。JSMA（Jacobian-based Saliency Map Attack）基于显著性排序，每次迭代仅扰动最关键的特征维度，默认设置为每次修改 top-2 个维度。对于离散动作空间采用 ${\ell }_{\infty }$ 约束，连续动作空间则使用 ${\ell }_2$ 约束。

防御方法全部为推理时纯观测级处理，不访问策略内部。七种已实现的防御包括：NormalizeClip 将观测投影到 $[-1,1]$ 区间；Temporal Smoothing 使用窗口大小 $w=3$ 的滑动均值进行时序平滑；Gaussian Noise 注入方差为 $\sigma =0.01$ 的随机噪声；Feature Squeezing 将观测量化为 $b=4$ bit；Median Smoothing 采用窗口 $w=5$ 的逐特征中值滤波；Outlier Clip 基于中位数绝对偏差（$k=4$）裁剪异常观测；Adversarial Detector 则通过滚动缓冲统计检测可疑观测并进行替换。

鲁棒性评测的核心指标是归一化 AUC-$\epsilon$，即回报-$\epsilon$ 曲线的面积与干净基线对应面积之比。AUC 值为 1.0 表示达到无攻击时的性能，AUC 小于 1.0 代表性能下降，而 AUC 大于 1.0 则意味着扰动或防御意外带来了性能提升。这一设计使得不同配置下的结果可以直接比较。

可复现性通过确定性种子管理实现。回合种子通过公式 $s_{\text{ep}}=(s\times 10007+\ell )\mathrm{mod}{2}^{31}$ 计算，其中 $s$ 为实验种子，$\ell$ 为回合索引。所有实验结果以结构化 CSV/JSON 格式输出，并提供命令行接口方便无代码运行。

实验与结果

实验在两种截然不同的环境中展开：LunarLander-v2 及其连续版本提供 8 维观测的紧凑控制任务，其动力学对扰动高度敏感；highway-v0 则是一个 25 维运动学观测的结构化驾驶决策任务，语义化特征使其呈现出不同的鲁棒性特征。

评测覆盖三种智能体（DQN、PPO、SAC）、三种攻击方法（FGSM、PGD、JSMA）、七种防御方法以及五种扰动预算（$\epsilon \in \{0.0,0.005,0.01,0.025,0.05\}$），每个配置使用 3 个随机种子、每个种子-$\epsilon$ 对应 40 个回合，总计达到 115,200 个回合的评测规模。

结果揭示了环境间鲁棒性的巨大差异。LunarLander 对对抗扰动表现出极高的敏感性，最严重情况下 AUC 可降至 0.59，这意味着即使施加很小的扰动，智能体的平均回报也会急剧下降。相比之下，Highway-v0 在未防御状态下基本保持鲁棒，多数配置的 AUC 接近 1.0。这种差异提示我们，环境的观测结构和任务特性对智能体的鲁棒性有着根本性影响。

不同算法在同一环境下的脆弱性表现也截然不同。在 LunarLander 上，SAC 对 PGD 攻击最为脆弱，未防御时 AUC 仅为 0.590；DQN 则对 FGSM 的抵抗力更弱；而 PPO 的表现接近随机基线，部分配置的 AUC 甚至超过 1.0，这一现象可能源于扰动带来的隐式正则化效应。

最引人注目的发现是某些防御方法的有害性。OutlierClip 和 AdversarialDetector 在 LunarLander 上将 AUC 推至负值，意味着这些防御造成的性能损失超过了攻击本身。更令人警惕的是，即使在没有受到任何攻击的情况下，这些防御对 Highway-v0 上的 SAC 智能体也造成了严重的性能损失。这说明防御方法的评估不能仅在受攻击场景下进行，无攻击基线同样是重要的参考点。

Feature Squeezing 在 8 维 LunarLander 观测上的表现同样令人失望，AUC 从未防御的 0.793 降至 0.547，说明量化压缩可能更适合高维图像观测场景而非低维连续控制任务。JSMA 在 8 维空间内每次仅扰动 2 个特征的能力，使其攻击覆盖面严重不足，整体效果弱于 FGSM 和 PGD。

在这片充满陷阱的评测结果中，Temporal Smoothing 展现出一枝独秀的稳健性。在最具挑战性的配置（Lunar SAC + PGD）下，时序平滑将 AUC 从 0.590 提升至 0.752，相对恢复约 27%，证明通过时序信息聚合来平滑对抗扰动是一种有效且普适的防御思路。

讨论与可借鉴点

RoAd-RL 的贡献不仅在于提供了一个评测工具，更在于揭示了对抗强化学习研究中几个被忽视的重要问题。首先，防御的有效性高度依赖具体的环境和算法组合，不存在放之四海而皆准的通用防御策略，这提醒我们在评估防御方法时必须覆盖多样化的配置。其次，无攻击基线应当成为防御评估的标准配置——一个在无攻击场景下也会严重损害性能的防御，即使在某些攻击配置下表现尚可，其适用性也必须打上大大的问号。

然而，当前框架也存在明显的局限。在威胁模型方面，RoAd-RL 仅覆盖白盒观测空间的梯度攻击，未涉及黑盒攻击、奖励投毒、环境操纵、策略投毒等更广义的对抗场景。在防御覆盖方面，七种推理时防御并未包括对抗训练这一被广泛研究的防御范式，也缺少认证鲁棒性（certified robustness）的评估。在环境选择方面，LunarLander 和 Highway-v0 都是相对简单的低维观测环境，图像观测环境（如 Atari）、多智能体环境、物理世界的传感器噪声等场景的迁移性仍有待验证。

对于希望开展对抗强化学习研究的研究者，RoAd-RL 提供了几点重要借鉴：在设计防御方法时，必须同时报告无攻击基线性能和多环境多算法的评估结果，避免在特定配置下过拟合；在选择评测指标时，归一化 AUC-$\epsilon$ 提供了一种可跨配置比较的统一度量，但其解释性在出现负值或大于 1 的情况时需要更细粒度的分析；在研究选题上，时序平滑策略的持续稳健表现为这一方向的后续研究提供了有价值的线索，而 OutlierClip 等防御的有害性则提示我们需要更审慎地对待那些看似直观的防御思路。

RoAd-RL 的开源发布（通过 pip 可直接安装 road-rl 包）降低了对抗强化学习评测的门槛，使得更多研究者能够以统一的标准开展可复现的比较研究。这种标准化对于推动该领域从碎片化的个案研究走向系统化的知识积累具有重要意义。

研究背景与动机

让大语言模型学会像人类一样进行复杂推理，一直是人工智能领域的核心挑战之一。近年来，基于可验证奖励的强化学习（即 RLVR）范式异军突起，通过大规模 rollout 采样与可验证奖励信号，驱动模型自主探索更长的链式思考与自我纠错行为。从 OpenAI o1 到 DeepSeek-R1，从 GRPO 到 DAPO，这一技术路线在数学推理、代码生成等任务上取得了突破性进展。然而，在这股热潮背后，一个根本性的效率问题始终未得到充分重视：每次训练迭代都需要从零开始进行同策略优化，在近乎无限的可能性空间中漫无目的地搜索成功轨迹，采样成本动辄数以百万计，而那些在训练过程中累积的宝贵探索经验却往往被白白丢弃。

近期一些工作开始尝试复用历史经验，但它们的思路是将成功轨迹作为静态样本直接回放——这在传统的强化学习场景中或许是合理的，但在 RLVR 的语境下却遇到了一个棘手的难题：策略不匹配。训练过程中，模型的能力与行为分布始终处于动态演变之中，早期生成的低质量轨迹与当前策略的行为模式渐行渐远，将其强行复用不仅无法提供有效的学习信号，反而会引入偏差甚至导致性能退化。换言之，RLVR 中的经验复用问题远比传统 RL 更为微妙：我们需要的不是固定轨迹的简单回放，而是一种能够适应策略演化的动态经验表达方式。

EAPO 的核心洞察正在于此：经过 RL 优化后的策略 ${\pi }_{RL}$ 实际上隐式编码了关于"哪些动作更可能导向成功"的结构化决策知识，这种知识以动作级的概率分布形式存在，而非僵硬的轨迹片段。因此，经验不应该被理解为需要回放的固定输出，而应该被视为可以引导探索方向的动作级先验。

方法

EAPO 的设计围绕三个递进的核心问题展开：如何形式化经验、如何选择性注入经验、如何保证经验增强下的学习稳定性。

经验的形式化表达是第一步。传统方法将经验理解为特定的状态-动作序列（轨迹），而 EAPO 转而将先前经过 RL 优化的策略 ${\pi }_{RL}$ 本身视为经验载体。在 rollout 的每个解码步 $t$，我们可以计算当前策略 ${\pi }_{\theta }$ 与经验策略 ${\pi }_{RL}$ 在所选 token $y_t$ 上的对数似然比：${\delta }_t=\log {\pi }_{\theta }(y_t\mid q,y_{<t})-\log {\pi }_{RL}(y_t\mid q,y_{<t})$。这个差值衡量了当前决策与经验策略之间的分歧程度。当 ${\delta }_t>0$ 时，意味着当前策略过度自信地选择了 ${\pi }_{RL}$ 强烈反对的 token——这正是一个典型的高风险关键决策点，值得经验介入引导。

经验引导的 resampling 在识别出关键决策点后，具体如何注入经验呢？EAPO 引入一个阈值 $\tau$ 作为门控：当 ${\delta }_t>\tau$ 时，以经验策略 ${\pi }_{RL}$ 替代当前策略进行采样；否则保持当前策略的探索。这个机制确保了经验只在真正需要的地方发挥作用，而非全面接管探索过程。值得注意的是，作者发现实际运行时仅有不到 4% 的 token 会被替换，这一稀疏性验证了"有效 RL 引导天然稀疏"的假设——大量探索仍由当前策略独立完成，经验仅在关键分歧点提供纠正。

为了加速这一过程并保持自回归因果依赖，作者还借鉴了 speculative decoding 的思想，以块大小 $K$ 为单位进行处理：先用当前策略批量生成 $K$ 个投机 token，再由经验策略并行评估其 ${\delta }_t$ 值，一旦发现首个触发门控的位置便截断后续投机 token 并从经验策略重采样。

经验感知的策略优化 需要解决一个关键问题：部分 token 来自经验策略而非当前策略的 rollout 分布，这违反了标准重要性采样的假设，直接计算策略梯度会引入偏差。EAPO 采用响应级平滑重要性采样（sIS）来处理这一挑战。首先计算每条轨迹中经验注入 token 的比例 ${\rho }_i=\frac{1}{|o_i|}{\sum }_{t=1}^{|o_i|}{g}_{i,t}$，然后构造平滑分布 ${\tilde{\pi }}_i^{\text{Exp}}=(1-{\rho }_i){\pi }_{\text{old}}+{\rho }_i{\pi }_{RL}$，在这个分布上计算修正的重要性权重。当 ${\rho }_i=0$ 时，sIS 退化为标准 on-policy ratio；随着 ${\rho }_i$ 增大则平滑过渡到经验引导分布，从而在利用经验与保持学习无偏性之间取得平衡。

此外，EAPO 还包含两项重要设计：正向经验过滤确保只有最终预测正确的经验增强轨迹才参与梯度更新，避免错误经验注入导致偏差梯度；经验退火机制则规定经验引导仅在训练的前 $T$ 步生效，此后切换为纯同策略 rollout，防止模型过度依赖经验策略而丧失独立探索能力。

实验与结果

作者基于 Qwen-2.5-Math-7B-Base 和 Qwen-3-8B-Base 两个基座模型展开实验，训练数据为 DAPO-Math-17K，评测则覆盖了域内数学推理（AIME'24、AIME'25、AMC）与域外科学推理（MMLU-Pro、GPQA）共五个基准。

实验结果清晰地表明了 EAPO 的优势。在 AIME'24 上，EAPO 将 Qwen-2.5-Math-7B 的 Pass@1 从基线 DAPO 的 47.0% 提升至 56.7%，相对提升达 20%；在更难的 AIME'25 上，提升幅度进一步扩大至 28%。值得注意的是，EAPO 不仅优于基础的 GRPO 和 DAPO，也显著超越了此前尝试复用经验的轨迹回放方法以及多教师蒸馏方法 OPD/MOPD，这些对比充分验证了"策略自适应经验复用"思路的优越性。

更深入的分析揭示了几个重要发现。首先，稀疏干预的效率远超预期：即使 $\tau =0.5$ 时 resampled ratio 不足 4%（约每 1000 个 token 中仅约 40 个被替换），这些被替换 token 所在的响应准确率却持续超过 70%，说明经验引导精准地纠正了那些最可能导致失败的过度自信决策。其次，经验粒度的选择至关重要：token 级经验注入在 AIME'24 上显著优于 trajectory 级经验，尽管后者与 ${\pi }_{RL}$ 的 KL 散度更低，这表明细粒度的精准干预比粗糙地贴近经验分布更重要。最后，sIS 的稳定性作用不可忽视——移除平滑重要性采样后，EAPO 的性能出现明显下降，说明即使只有少量 token 被替换，正确的信用分配机制仍然是学习稳定性的关键保障。

讨论与可借鉴点

EAPO 的成功揭示了一个更普适的原则：在 RLVR 场景下，经验的有效复用不在于回放多少历史轨迹，而在于如何精准地在策略分歧点注入结构化先验知识。这一"稀疏引导"的策略为降低 RLVR 的采样成本开辟了新思路——与其让模型在庞大的搜索空间中盲目探索，不如让经验策略在关键时刻提供"纠偏"，将宝贵的采样预算集中在真正需要探索的方向上。

然而，这项工作也存在若干局限值得注意。EAPO 的效果依赖于高质量先验策略 ${\pi }_{RL}$ 的存在，当先验策略本身能力有限或存在系统性偏差时，经验引导可能将模型引向局部最优。此外，超参数 $\tau$、$T$、$K$ 的选择仍依赖经验性调优，缺乏训练过程中动态自适应调整的机制。在更广阔的应用场景上，当前实验仅限于可验证奖励的数学与科学推理任务，对于弱监督或噪声奖励场景（如开放域对话）尚未涉及。另一个潜在风险在于正向经验过滤机制——仅保留正确轨迹可能放大已有偏好，长期训练后可能压缩模型的多样性与探索能力。

尽管如此，EAPO 的核心思想——将经验从静态轨迹转化为策略自适应的动作级先验——为 RLVR 领域提供了一种可扩展、高效的训练范式。随着大规模模型训练对算力成本的要求日益严苛，这种"精准引导"而非"广撒网"的策略复用思路，有望成为未来 RLVR 算法设计的重要方向。

研究背景与动机

[[稀疏奖励]]一直是[[强化学习]]领域的核心难题之一。在稀疏奖励环境下，智能体只有在任务完成时才能获得正向反馈，这意味着它缺乏中间引导信号来了解自己是否走在正确的方向上。同时，由于奖励只在轨迹末端出现，将成功归因到轨迹的哪些部分是另一个艰巨的[[信用分配]]问题。这两个困难导致智能体在广阔的状态空间中近乎随机探索，学习效率极低。

一个直观的解决思路是对奖励进行"改造"——用人工设计的稠密奖励信号补充稀疏的成功奖励。例如，可以添加"末端执行器与目标物体的距离"作为辅助奖励。然而，这种朴素奖励塑形虽然短期有效，却容易引发[[奖励黑客]]：智能体发现最大化辅助信号比真正完成任务更容易，转而利用这些漏洞获取更高回报，却完全偏离了设计者的初衷。这在真实部署场景中可能带来安全隐患。

[[基于势能的奖励塑造]]（PBRS）从理论层面解决了这一问题。由 Ng 等人在 1999 年提出的 PBRS 将塑形奖励定义为：

$$r^{\prime }(s,a,s^{\prime })=r(s,a,s^{\prime })+\gamma \Phi (s^{\prime })-\Phi (s)$$

其中 $\Phi (s)$ 是状态空间上的势函数。PBRS 的核心性质是：若塑形奖励满足上述形式，则原始环境与塑形后环境的最优策略集合完全相同。这一理论保证意味着设计者可以放心地使用 PBRS 提供中间反馈，而不用担心策略被诱导到错误的行为模式。

然而，PBRS 的实践应用长期受困于一个根本障碍：如何设计合适的势函数？传统方法需要领域专家深入理解任务结构，手工定义"什么状态是好的"。这不仅需要大量领域知识，而且设计出的势函数质量参差不齐，严重制约了 PBRS 的推广。

这篇论文的切入点正在于此：能否让势函数的合成过程自动化，使其摆脱对专家知识的依赖，同时完整保留 PBRS 的理论最优性保证？

方法

论文提出的 VLM-PBRS 框架将[[视觉语言模型]]（VLM）作为势函数的"软标注者"，整个流程包含三个核心环节。

第一个环节是偏好数据收集。研究者让智能体在环境中进行探索，采集大量状态图像对 $(s,s^{\prime })$。随后，这些图像对被送入一个轻量级 VLM，模型需要回答一个简单的问题：在这两个状态中，哪一个更接近任务完成？VLM 的回答被转化为偏好标签。例如，给定"开冰箱"任务，VLM 可能判断"手接近冰箱把手"的图像比"手远离冰箱"的图像更值得偏好。这种偏好信号天然地编码了"什么状态是好的"这一核心知识，且无需人工显式定义评价标准。

第二个环节是势函数学习。收集到的偏好数据被用于训练一个神经网络势函数模型 ${\Phi }_{\theta }(s)$。训练目标是最小化模型预测与 VLM 偏好之间的不一致性，典型的实现方式基于 Bradley-Terry 偏好模型。该模型假设对于任意状态对，更受偏好的状态应具有更高的势能值。值得注意的是，势函数模型只需要离线训练一次，此后即可在策略学习过程中反复使用，无需实时查询 VLM。

第三个环节是奖励塑形与策略优化。学到的势函数被代入 PBRS 公式，产生塑形后的奖励函数。由于塑形奖励严格满足 PBRS 的势能形式保证，下游[[强化学习]]算法（如 PPO、SAC 等）可以直接使用这些奖励进行策略优化，而无需担心最优策略集合发生变化。

在 VLM 的选择上，论文进行了审慎的权衡。大型 VLM（如 GPT-4V）固然能提供更准确的偏好标注，但在策略训练期间需要反复查询，推理成本和延迟都难以承受。因此，研究者主动选择了更小、计算效率更高的开源多模态模型。这种选择的代价是偏好标签噪声更大——小型 VLM 的判断不如大型模型可靠。然而，论文的实验结果表明，即便偏好标签存在噪声，它们仍然能够为势函数学习提供足够的监督信号，实现显著的学习加速。这一发现暗示 VLM-PBRS 对标签噪声具有一定的容错能力。

整个框架的设计哲学体现了理论与工程的平衡。VLM-PBRS 完整继承了 PBRS 的最优性保留性质——无论势函数学得多粗糙，只要满足势能形式，原始最优策略就始终保持可达。同时，它通过自动化替代人工设计，大幅降低了 PBRS 的应用门槛。

实验与结果

实验在两个主流机器人操作基准上进行。Meta-World 提供了多样化的单任务操作场景，涵盖抓取、推放、按钮按压等动作，用于评估方法在离散操作技能上的泛化能力。Franka Kitchen 则是一个更具挑战性的多目标厨房任务环境，涉及开门、开灯、移动物体等多个子任务的组合，对长视野决策能力提出了更高要求。

实验首先验证了样本效率的提升。相比于仅使用稀疏奖励的基线方法，VLM-PBRS 在两个基准上都实现了显著更快的学习曲线。达到相同成功率所需的 env 交互步数大幅减少，这对于真实世界机器人学习中昂贵的样本采集至关重要。论文进一步通过消融实验揭示了一个关键发现：VLM 偏好标签的准确性与样本效率提升之间存在正相关关系。偏好标注越准确，学到的势函数质量越高，对探索的引导效果越好。但即便使用小型 VLM 产生低精度偏好，性能提升仍然可观，说明方法对噪声具有鲁棒性。

实验还专门考察了对抗[[奖励黑客]]的能力。研究者设计了对比场景：将 VLM-PBRS 与朴素奖励塑形方法并列训练。结果显示，朴素塑形方法确实容易产生奖励黑客——智能体学会了利用辅助信号的最大化，却未真正完成预期任务。VLM-PBRS 则始终保持对真实目标的忠实度，策略最终掌握了完成任务的正确行为。这一结果从实验角度验证了 PBRS 框架在安全性方面的理论保证。

讨论与可借鉴点

VLM-PBRS 在概念上具有清晰的定位：它既不是试图替代专家设计的万能方法，也不是单纯对已有技术的工程集成，而是找到了一个恰到好处的自动化切入点。PBRS 的理论最优性保证为自动化提供了安全网——即便势函数学得不够好，也不会从根本上改变问题性质。这为后续研究提供了一个可借鉴的设计范式：在理论保证的约束下引入数据驱动方法，可以在保持安全性的同时大幅提升实用性。

论文在工程层面也有值得注意的权衡策略。主动选择小型 VLM 而非追求标注精度最大化，体现了对实际部署可行性的考量。在 RL 训练中引入大模型反馈是近年来的研究趋势，但计算成本往往是制约其落地的关键因素。VLM-PBRS 通过离线预计算策略函数的方式巧妙规避了这一问题：势函数训练完成后即可在 RL 循环中高效复用，VLM 的调用开销被限制在数据收集阶段。

局限性方面，该方法目前依赖视觉观察进行偏好判断，对于纯向量状态或低维物理量的场景直接适用性有限。小型 VLM 的偏好标签噪声缺乏理论刻画，仅有实证鲁棒性支撑。实验目前局限于机器人操作领域，在自动驾驶、对策博弈等更广泛的稀疏奖励场景中的泛化能力有待验证。此外，尽管离线复用降低了调用频率，初始势函数学习阶段仍需大量 VLM 查询，在安全关键或隐私敏感场景中可能存在部署障碍。

从更宏观的视角看，这项工作代表了[[强化学习]]奖励工程领域的一个新兴方向：利用大型基础模型的通用能力自动化传统需要专家知识的环节。随着多模态模型和语言模型的持续进化，预计未来会有更多类似的自动化工具涌现，为稀疏奖励学习提供更丰富的中间信号来源。

研究背景与动机

Minecraft 之所以被视为检验人工智能持续学习能力的"试金石"，在于它同时具备三个独特属性。首先，程序生成的无尽地图意味着每次开局面对的 3D 地形、生物群系和地下结构都不相同，智能体必须具备真正的环境适应能力。其次，从木棍到下界合金的漫长科技树要求智能体完成数十次资源采集、合成与战斗的循环，这种长视野任务对规划和记忆都是严峻考验。第三，与 Dota、StarCraft 等目标明确的游戏不同，Minecraft 没有固定结局，真正的"目标"需要由智能体自己构造——这种开放式特性使其成为终身学习的理想试验场。

在此之前，强化学习和模仿学习路线（如 OpenAI 的 VPT、AlphaStar）在 Minecraft 中已经取得进展，但这些方法普遍受困于原始动作空间下的系统化探索困难、决策过程难以解释，以及跨任务泛化能力薄弱等问题。近年来，大语言模型的崛起为 Minecraft 带来了新的可能性，研究者发现 GPT-4 能够直接生成代码来操作 Minecraft 中的动作。然而，这些方法仍然只解决"单回合任务"，缺乏真正的持续学习机制——它们不会根据当前状态动态生成下一个任务目标，没有可复用的行为记忆库，更不会在长视野任务中累积和组合已习得的技能。

Voyager 的核心创新正是针对这三个组合性缺陷：让智能体能够自适应地提出"由易到难"的探索任务、将成功的代码行为持久化存储以便未来复用，以及通过环境反馈循环不断修正代码中的错误。这三件套共同构成了一个不依赖任何模型微调的 GPT-4 智能体完整闭环。

方法

Voyager 的设计哲学可以用一句话概括：让 GPT-4 作为黑盒决策大脑，用"代码"作为动作空间，通过三大模块的协同实现持续进化的具身智能。

自动课程模块解决的是"下一步做什么"的问题。传统的任务设定要么是固定清单、要么完全随机，而 Voyager 采用了一种上下文形式的新颖性搜索策略。输入给 GPT-4 的 prompt 包含四个关键组件：元指令（"我的最终目标是发现尽可能多样的事物，下一个任务不能太难"）、智能体当前状态（包括库存、装备、附近方块和实体、生物群系、血量饥饿值和位置坐标）、历史任务记录（已完成与失败的任务列表，反映当前"能力前沿"）、以及用 GPT-3.5 自问自答生成的额外上下文来降低主 prompt 的复杂度。GPT-4 据此输出 JSON 格式的下一任务，例如"在沙漠生物群系挖沙子并合成玻璃"。这种设计确保了任务难度的渐进提升，同时避免重复已经掌握的能力。

技能库模块是 Voyager 的"记忆中枢"，解决了行为复用与灾难性遗忘的问题。每条技能以一段可执行 Python 代码为载体，成功通过自验证后便永久入库。代码的签名由 GPT-4 自动生成（如 craftStoneShovel(bot)），而向量数据库的键则是 GPT-3.5 对"代码 docstring + 简短描述"的嵌入。执行新任务时，系统先用 GPT-3.5 生成高层解法建议，然后结合当前环境反馈作为查询向量，从技能库中检索 top-5 最相关的技能，将这些代码全文拼入 GPT-4 prompt，辅助生成新的复合代码。这种"描述嵌入 → 检索 → 合成"的范式使得简单技能能够稳定地组合为复杂技能：例如 combatZombieWithSword() 可以复用 craftIronSword() 与 trackNearestEntity('zombie') 两个基础技能，实现了能力的复合增长。

迭代提示机制则解决了大语言模型一次性生成正确代码概率低的问题。Voyager 设计了一个三步纠错循环：执行代码后从 MineDojo 仿真环境获取观测结果（包括库存更新、附近实体信息或错误栈）；将执行错误信息拼回 GPT-4 prompt 让其重新编写；最后通过另一个 GPT-4 调用进行自验证，检查任务是否真正完成（例如"是否真的合成出木棍？库存是否多了一根？"）。只有通过验证的代码才会被加入技能库，否则继续循环迭代。这个机制的本质是通过有限次的"执行-反馈-修正"循环，将纯语言模型的代码生成准确率提升到足以控制 Minecraft 智能体的水平。

整个系统的数学表达可以这样理解：设科技树里程碑 $i$ 的加速比为

$${\text{Speedup}}_i=\frac{\text{iter}\text{baseline}(i)}{\text{iter}\text{Voyager}(i)}$$

其中 $\text{iter}(i)$ 表示首次达成里程碑 $i$ 所需的 prompting 轮次。Voyager 在多数里程碑上比 AutoGPT 快 15.3 倍，比 ReAct 和 Reflexion 快更多。

实验与结果

实验在 MineDojo 仿真环境中进行，所有方法均从空库存空装备开局，每组方法运行三次独立试验以评估稳定性。对比基线包括 ReAct（动作空间加推理链）、Reflexion（ReAct 加反思机制）和 AutoGPT（自设子目标），这些都是当时 LLM 智能体领域的代表性方法。

在探索广度指标上，Voyager 三组试验分别获取了 63、57、67 种独特物品，而 ReAct 仅获得 4、4、1 种，Reflexion 获得 5、5、5 种，AutoGPT 表现稍好也仅达到 11、22、25 种。综合下来，Voyager 的独特物品数提升达到 3.3 倍。在探索距离上，Voyager 的累计移动距离

$$D_{\text{explore}}=\sum _{t=1}^T\Vert p_{t+1}-p_t{\Vert }_2$$

也显著领先，遍历的生物群系多样性达到 8 种，而基线方法仅在 3-5 种之间。科技树里程碑的解锁速度同样令人印象深刻，Voyager 在关键里程碑（如获得钻石、打开下界入口）上的迭代轮次大幅少于所有基线，最高加速比达到 15.3 倍。

最引人注目的是零样本泛化实验：当 Voyager 将已学习的技能库部署到一个全新的 Minecraft 世界、从零开始解决"制造石剑"、"击杀僵尸"、"挖掘钻石"这三个未见过的任务时，全部成功完成，而所有基线方法在 50 轮内没有任何进展。技能检索的质量也得到验证：在 309 个人工标注样本上，top-5 准确率达到 96.5%，top-1 准确率为 80.2%。

消融实验进一步揭示了各模块的贡献。移除自动课程改用固定任务列表后，物品数从 63 骤降至 28，科技树速度退化 4-6 倍；移除迭代提示仅生成单轮代码后，成功率出现断崖式下跌；移除自验证导致错误技能入库，后续组合引发连锁失败；将 GPT-4 替换为 GPT-3.5 后，代码生成质量明显不足，科技树停滞于"石镐"之前。这些结果充分证明了三大模块的协同必要性。

讨论与可借鉴点

Voyager 的核心贡献在于证明了"纯黑盒范式"——即不微调模型参数、完全依赖 API 调用和 prompt 工程——能够在开放式世界中实现持续的能力增长与跨任务迁移。这种设计具有显著优势：训练成本极低（只需 API 费用）、决策过程完全可解释（代码即行为）、技能可累积且可组合。

然而，这一范式也存在固有局限。首先是成本问题，GPT-4 API 单次完整实验的花费约为 300-500 美元，普通研究者难以承受。其次是能力天花板，Voyager 的代码生成上限就是 GPT-4 的代码能力上限，无法生成 Minecraft 红石电路级别的复杂逻辑。第三是视觉感知的缺失，Voyager 仅依赖 inventory 和 biome 的文本字段，无法处理需要"观察画面中怪物位置并即时躲避"的视觉紧迫任务。第四是 prompt 长度膨胀问题，随着技能库增长，每次查询时 top-5 技能的全文会占用大量 token，导致响应延迟上升。

尽管如此，Voyager 的方法论为后续研究开辟了清晰路径。将"代码即动作+技能库+自动课程"这一范式迁移到网页导航、软件工程测试等其他场景，已成为 2023-2024 年具身智能研究的重要方向。对于实践者而言，Voyager 最值得借鉴的设计理念是：用检索增强的方式将短期上下文学习转化为长期能力积累，用迭代反馈循环弥补单次生成的不可靠性，以及用自动课程替代人工设计的任务清单。这三点思考在任何需要 LLM 持续适应复杂环境的场景中都具有普适价值。

TLDR

Voyager 是首个由 GPT-4 驱动的 Minecraft 终身学习具身智能体,通过自动课程最大化探索、不断增长的代码技能库存储可复用行为、以及融合环境反馈与自验证的迭代提示机制,在无人工干预下持续解锁新物品与科技树。相对 ReAct/Reflexion/AutoGPT,独特物品数提升 3.3×,科技树里程碑解锁速度最高提升 15.3×,并能零样本在新世界复用工件技能库,而基线方法几乎无法泛化。

Abstract (English)

We introduce Voyager, the first LLM-powered embodied lifelong learning agent in Minecraft that continuously explores the world, acquires diverse skills, and makes novel discoveries without human intervention. Voyager consists of three key components: 1) an automatic curriculum that maximizes exploration, 2) an ever-growing skill library of executable code for storing and retrieving complex behaviors, and 3) a new iterative prompting mechanism that incorporates environment feedback, execution errors, and self-verification for program improvement. Voyager interacts with GPT-4 via blackbox queries, which bypasses the need for model parameter fine-tuning. The skills developed by Voyager are temporally extended, interpretable, and compositional, which compounds the agent's abilities rapidly and alleviates catastrophic forgetting. Empirically, Voyager shows strong in-context lifelong learning capability and exhibits exceptional proficiency in playing Minecraft. It obtains 3.3× more unique items, travels 2.3× longer distances, and unlocks key tech tree milestones up to 15.3× faster than prior SOTA. Voyager is able to utilize the learned skill library in a new Minecraft world to solve novel tasks from scratch, while other techniques struggle to generalize. We open-source our full codebase and prompts at https://voyager.minedojo.org/.

Abstract (中文翻译)

我们提出 Voyager,这是首个由大语言模型驱动的 Minecraft 终身学习具身智能体,可在无人工干预下持续探索世界、习得多样技能并作出新发现。Voyager 由三个核心模块构成:1) 最大化探索的自动课程;2) 持续增长的代码技能库,用于存储与检索复杂行为;3) 融合环境反馈、执行错误与自验证的迭代提示机制,用以持续改进程序。Voyager 以黑盒查询方式与 GPT-4 交互,无需对模型参数做微调。所学技能具备时间可延展、可解释、可组合的特性,使智能体能力快速复合增长并缓解灾难性遗忘。实验上,Voyager 展现出强大的上下文终身学习能力,在 Minecraft 中表现卓越:独特物品数比之前 SOTA 多 3.3×,探索距离长 2.3×,关键科技树里程碑解锁速度最高提升 15.3×。Voyager 还能把学到的技能库迁移到全新 Minecraft 世界,从零开始解决新任务,而其他方法则难以泛化。代码与 prompt 已开源。

动机

Minecraft 不同于 Dota、StarCraft 等目标明确的游戏,它没有固定结局、只有无限可能,且任务长视野(从伐木到钻石装备再到下界探险),是检验『终身学习』能力的理想沙盒。然而,现有 LLM 智能体普遍存在三类局限:1) 不能根据当前状态、资源与位置自适应地提出下一任务,缺乏"由易到难、由近到远"的课程感;2) 缺乏可复用行为单元的存储与检索,导致长视野任务中重复失败或遗忘;3) 即便输出代码,一次生成往往错,缺少基于环境反馈的自纠错回路。Voyager 正是针对这一组合空白,把『自动出题 + 代码技能库 + 迭代提示』三件套拼成不微调的 GPT-4 智能体。

方法

Voyager 用 GPT-4 作黑盒决策大脑,把"代码"作为动作空间,通过三大模块协同:1) 自动课程 (Automatic Curriculum) 由 GPT-4 基于"发现尽可能多样的事物"的元目标,结合当前库存/装备/附近方块/生物群系/已完成任务/失败任务等状态,持续生成新任务,本质是上下文形式的新颖性搜索(in-context novelty search);2) 技能库 (Skill Library) 把每次通过自验证的代码技能以描述嵌入(GPT-3.5 embedding)为键、可执行 Python/JavaScript 代码为值,写入向量数据库,面对新任务时先由 GPT-3.5 给出求解建议,与当前环境反馈组成查询上下文,top-5 检索出最相关技能后参与新技能合成,实现可组合、可复用的复杂行为;3) 迭代提示机制 (Iterative Prompting Mechanism) 把 Minecraft 仿真观测(库存、附近实体)、代码执行错误、自验证结果(是否达成目标)三路反馈拼入 GPT-4 prompt,反复重写代码直至自验证模块确认任务完成,再把成功代码加入技能库。整个流水线无需任何参数微调,完全是"在循环中越发壮大"的 in-context lifelong learning。

结果

Voyager 在 MineDojo 仿真环境与 ReAct、Reflexion、AutoGPT 三类主流 LLM 智能体对比:1) 探索广度 — 独特物品数 3.3×,三组试验分别拿到 63/57/67 种,而 ReAct 仅 4/4/1、Reflexion 仅 5/5/5、AutoGPT 约 11/22/25;2) 探索距离 — 地图穿越长度 2.3×,且遍历 biome 多样性更高(8 vs 3-5 种);3) 科技树速度 — 关键里程碑(如获得钻石、下界入口)解锁最高 15.3× 加速;4) 零样本泛化 — 在新世界用同一技能库从零开始解"造石剑/打僵尸/挖钻石"三个未见任务,Voyager 全部成功,基线 50 轮内零进展;5) 技能检索质量 — top-5 准确率 96.5%(309 样本),top-1 80.2%。消融显示移除课程、迭代提示或自验证都会显著掉点,且 GPT-4 对 GPT-3.5 替换敏感(代码生成更依赖 GPT-4 的代码能力)。

结论

Voyager 证明:以"代码作动作 + 永久技能库 + GPT-4 课程"组成的纯黑盒范式,能在不微调模型的前提下,实现开放式世界的持续能力增长与跨任务迁移,为 LLM 智能体终身学习提供了首个可推广样板。其优势在于训练成本低、可解释性强、技能可复用;局限在于依赖昂贵闭源 API、prompt 调用频次高、无法超越 GPT-4 的代码能力天花板,且局限于 Minecraft 这类有 MineDojo 接口的环境。后续工作(Skill Library、ExpeL、Voyager 类)沿此范式扩展到网页、软件工程等场景。

---

深度精读

> 基于 arXiv 2305.16291v2 HTML 渲染版全文(2023-10-19 修订)生成

一、研究背景与动机

Minecraft 之所以被视为开放式具身学习的"试金石",在于它兼具三重特性:1) 程序生成的无尽地图 — 玩家面对的 3D 地形、生物群系、地下结构每次开局都不同;2) 长视野科技树 — 从木棍到下界合金,需要跨数十次资源-合成-战斗循环;3) 无明确结局 — 不像 Atari/Dota 有胜负或分数终点,因此真正的"目标"由玩家/智能体自己构造。已有的 RL/IL 路线(OpenAI VPT、AlphaStar)受困于原始动作空间下系统化探索困难、可解释性差、跨任务泛化弱。

LLM 智能体的崛起为 Minecraft 带来新可能:SPRING(2023)证明 GPT-4 能直接生成代码操作 Minecraft 动作;ProgPrompt 等把 prompt 嵌进代码注释让 LLM 选动作。然而,这些方法仍然只解决"单回合任务",没有终身学习机制:不会动态出题、没有行为记忆库、不会跨任务累积。Voyager 正是补足这一缺口,把 Minecraft 改造成一个"agent + 课程 + 记忆"的完整闭环。

二、方法详解

#### 2.1 自动课程 (Automatic Curriculum)

输入 prompt 包含四个组件:1) 元指令 — "我的最终目标是发现尽可能多样的事物,下一个任务不能太难,我可能没有所需资源或没学够技能";2) agent 当前状态 — 库存/装备/附近方块和实体/生物群系/时间/血量饥饿/位置;3) 历史任务 — 已完成与失败的任务列表,反映"能力前沿";4) 额外上下文 — 用 GPT-3.5 对当前状态自问自答生成 QA 对,降低主 prompt 的复杂度(预算考量)。GPT-4 据此输出 JSON 格式的下一任务,如"在沙漠生物群系挖沙子并合成玻璃"。

#### 2.2 技能库 (Skill Library)

每条技能 = 一段可执行 Python(或 Mineflayer JS)代码,签名由 GPT-4 生成(如 craftStoneShovel(bot)),成功验证后入向量库:

• 键 — GPT-3.5 对"代码 docstring + 简短描述"的嵌入;
• 值 — 代码本体 + 依赖列表(其他技能名)。

新任务执行流程:1) 用 GPT-3.5 生成高层解法建议;2) 与当前环境反馈拼成 query;3) 向量检索 top-5 相关技能;4) 把这 5 段代码全文塞进 GPT-4 prompt,合成新代码。这种"描述嵌入 → 检索 → 合成"范式让简单技能能稳定组合为复杂技能,例如 combatZombieWithSword() 复用 craftIronSword() 与 trackNearestEntity('zombie')。

#### 2.3 迭代提示机制 (Iterative Prompting Mechanism)

LLM 一次性写对的概率低(尤其涉及 Mineflayer API 时序约束),Voyager 设计三步纠错循环:1) 执行代码 → 从 MineDojo 拿到仿真观测(库存更新、附近实体、错误栈);2) 错误注入 prompt — 把 stack trace 拼回 GPT-4 prompt 让其重写;3) 自验证 — 另一段 GPT-4 调用检查"任务是否完成"(例如"是否真的合成出木棍?库存是否多了一根?")。通过验证后才入技能库,否则再次循环。

#### 2.4 系统级对比

相比 SPRING(只用 GPT-4 一次性写代码)、Ghost in the Minecraft(GITM,基于 VPT 多模态)、ReAct/Reflexion(动作空间而非代码),Voyager 的差异化在于:1) 终身课程驱动任务难度;2) 永久技能库缓解遗忘;3) 迭代提示保证代码可靠性;4) 全部基于 GPT-4 黑盒 API,可复现门槛极低。

三、关键公式与图示

论文主要依赖 prompt 工程而非显式数学公式,核心定量表达式集中在评估指标:

1) 科技树里程碑加速比

$${\text{Speedup}}_i=\frac{{\text{iter}}_{\text{baseline}}(i)}{{\text{iter}}_{\text{Voyager}}(i)}$$

对每个里程碑 i(采集木棍/石镐/铁矿/钻石等),记录首次达成的 prompting iteration 数。Voyager 在多数里程碑上比 AutoGPT 快 15.3×,比 ReAct/Reflexion 快更多。

2) 探索距离

$$D_{\text{explore}}=\sum _{t=1}^T\Vert p_{t+1}-p_t{\Vert }_2$$

其中 p_t 是 agent 与 GPT-4 交互时刻的 (x, z) 坐标。Voyager 三组试验的 D_explore 显著大于基线。

3) 技能检索 top-k 准确率

$$\text{Top-k Acc}=\frac{1}{N}\sum _{n=1}^{N}1[y_n\in \text{Top-k}(q_n,\mathcal{D})]$$

基于 309 条人工标注,Top-1/3/5 分别 80.2 / 93.2 / 96.5%(详见 Table A.4)。

四、实验设置与结果

环境:MineDojo(Minecraft 仿真框架),每条方法跑 3 次试验,从空库存空装备开局。

基线:ReAct(动作空间 + 推理链)、Reflexion(ReAct + 反思)、AutoGPT(自设子目标)。

主指标:1) 独特物品数(探索广度);2) 总探索距离(2.3×);3) 科技树里程碑解锁速度(最高 15.3×);4) 零样本泛化到未见任务(造石剑/打僵尸/挖钻石,Voyager 全成,基线零进展)。

消融:1) w/o Curriculum — 改用固定任务列表,物品数从 63 降至 28,科技树速度退化 4-6×;2) w/o Iterative Prompting — 仅生成 1 轮代码(等同 4 轮的上限),成功率断崖下跌;3) w/o Self-Verification — 错误技能进库,后续组合引发连锁失败;4) GPT-3.5 — 代码生成质量明显差,科技树停滞于"石镐"前。详见 Fig.6 / Table 2。

模型稳健性:GPT-4-0314 与 GPT-4-0613 实验结果接近(Fig. A.4),证明方法对 GPT-4 系列版本稳健。

五、Related Work 与本文定位

• Decision-making Agents in Minecraft:VPT(2022,OpenAI)从人类视频预训练 inverse dynamics;GITM(2023,清华)基于 VPT 的多模态 LLM agent;MineDojo(2022,NVIDIA)提供开源基准与大量 YouTube 视频。Voyager 与它们都共享 MineDojo 基准,但路线不同——纯文本 LLM 而非视觉/视频。
• LLM for Agent Planning:ReAct、Reflexion、AutoGPT、Toolformer、HuggingGPT。Voyager 与它们都用 GPT-4 决策,但补上课程+技能库+代码动作空间,在长视野任务上才有竞争力。
• Code Generation with Execution:Code-as-Policies(2022,Google)、ProgPrompt(2022,CMU)、SPRING(2023,Meta)、Code as Policies 等。Voyager 把"代码即动作"与终身学习融合,是 SPRING 的终身学习扩展。

本文定位:纯文本 LLM + 黑盒 GPT-4 + 代码动作空间 + 永久技能库 + 自动课程,是当时 Minecraft 上首个不需要视觉/RL 微调的 SOTA agent。

六、优点与局限性

优点:

1. 零微调范式 — 只需 GPT-4 API + 简单 Python 脚本即可复现,门槛极低;

2. 终身技能累积 — 技能库把"会用火的猎人"与"会挖矿的矿工"组合为"会下矿打僵尸的矿工",能力复合增长;

3. 强零样本迁移 — 同一技能库在新世界从零解新任务,验证了技能的可复用性;

4. 完整开源生态 — 代码、prompt、向量库、checkpoint 全部公开,后续 100+ 论文基于此。

局限性:

1. 成本高昂 — GPT-4 API 单次实验约 $300-500,普通研究者难以承担;

2. 依赖 MineDojo — 真实 Minecraft 部署需 Mineflayer,Java 1.16 与新版 Minecraft 兼容性差;

3. 天花板受限 — 代码能力上限就是 GPT-4 的代码能力,无法生成 Minecraft 红石电路级别的复杂逻辑;

4. 无视觉感知 — 仅靠 inventory/biome 文本字段,无法处理"画面里有怪物要躲"的视觉紧迫任务;

5. prompt 长度膨胀 — 随着技能库增长,每次 prompt 的 top-5 技能全文占用大 token,响应延迟上升。

七、复现要点

• 开源仓库:https://voyager.minedojo.org/(代码、prompt、视频);论文 v1 2023-05-25,v2 2023-10-19 修订。
• 环境:MineDojo(Minecraft Java 1.16.5 仿真)+ Python ≥ 3.9;GPT-4 API key 必需;可选 GPT-3.5 做辅助嵌入。
• 硬件:单张 RTX 3090/4090(约 24GB 显存)即可运行 MineDojo 仿真;无训练阶段,主要开销在 API 调用。
• 关键超参:最大 prompting iteration 50/任务、top-5 技能检索、温度 0.7、技能库最大条目无硬限。
• 预算:完整跑完 3 试验约 $1500-2500(GPT-4 token);消融各组再加 30-50%。

八、适用场景与延伸思考

适合场景:1) 开放式世界/沙盒 agent — Minecraft、矮人要塞、我的世界 mod 服务器等需要长视野技能累积的环境;2) 代码驱动的具身控制 — 机器人/无人机/家庭助手,代码比 RL 策略更具可解释性;3) 终身学习 benchmark — 作为后续 ExpeL、Skill Library、AgentBank 等论文的标准对照基线;4) 教学演示 — 向学生展示"LLM 智能体如何靠 prompt 工程而非训练就能跑通 Minecraft"。

延伸方向:1) 多模态 Voyager — 加入视觉(VPT-style)或音频(环境音),扩展感知;2) 多智能体协作 — 多个 Voyager 实例共享技能库,协同探索;3) 跨世界迁移 — 把 Minecraft 技能库迁移到矮人要塞或 Caves of Qud;4) 自演化课程 — 用 RL 优化课程生成器,使任务难度自适应更平滑;5) 小型开源替代 — 用 Llama-3/Claude 等替代 GPT-4,降低 API 成本(后继工作如 MineStudio、Voyager-3 已在探索)。

研究背景与动机

训练能够与 [[沙箱]] 环境交互的 [[大语言模型]] 智能体，已成为当前 AI 研究的核心课题之一。这类智能体需要在真实或准真实的执行环境中做出一系列决策，并通过反馈信号不断改进自身行为，[[强化学习]] 是实现这一目标的主流范式。

在现有的 RL 算法家族中，PPO、RLOO 和 GRPO 都遵循一种经典的设计模式：对于每个输入提示，从初始状态出发独立采样 $N$ 条轨迹（称为 rollout），然后通过减去一个组基线（group baseline）来计算 [[优势函数]]。这种 rollout 拓扑直接继承了 RLHF 的设计理念——每棵轨迹树都从根节点独立生长，兄弟轨迹之间没有任何共享结构。

研究者指出了一个长期被忽视的事实：智能体的沙箱环境具有三个独特的性质——确定性、可快照化和可恢复性。这意味着我们不需要每次都从零开始探索，而是可以保存某个中间状态，然后从那里派生出多条不同的行动路径。这一特性在传统 RLHF 场景中并不存在（因为人类反馈无法被快照和复用），但在沙箱交互任务中却是天然可用的。

正是这一特性启发了根本不同的 rollout 拓扑设计：与其构造 $N$ 棵深度为 $T$ 的独立树，不如构建一棵统一的树，让兄弟节点共享前缀轨迹。这样做的好处是，前缀部分的探索不确定性只需要计算一次，而不是被重复 $N$ 次，从而实现 [[方差缩减]]。

方法

BPO 的核心思想可以概括为三个步骤：自适应快照、分支 rollout 和 兄弟优势估计。

首先是快照策略的选择。如果在每个决策点都进行快照，会产生大量冗余开销；而如果快照点太少，又无法充分利用沙箱的可恢复性。BPO 采用自适应策略：在沿着主干轨迹（backbone trajectory）行进时，通过监测每个决策点的熵来判断其重要性——熵越高意味着决策越不确定，分支探索的潜在收益越大。具体地，研究者设定了一个熵阈值，当某一步的策略分布熵超过该阈值时，就在该状态处保存沙箱快照。

快照完成后，算法在每个分支点派生 $K$ 个替代动作，然后将每个动作继续 rollout 至任务终止。值得注意的是，这 $K$ 条分支共享从起点到快照点之间的全部前缀轨迹。从统计角度看，前缀部分的结果方差只需要被计算一次，而不是被 $K$ 倍放大。

最关键的部分在于优势函数的计算方式。在传统 GRPO 中，每条轨迹的优势是通过该轨迹的回报与同批次所有轨迹回报均值的差值来估计的。在 BPO 中，研究者提出了一种基于兄弟节点回报的估计量：对于分支点 $t$ 处的第 $i$ 个动作，其优势定义为

$$A_t^i=\frac{1}{K-1}\sum _{j\ne i}(R_j-R_i)$$

其中 $R_i$ 是第 $i$ 条分支的累积回报，$K$ 是分支数。直观地说，这个估计量衡量的是当前动作相对于同分支点其他替代方案的相对优劣。

论文给出了严格的理论证明：BPO 的优势估计量是无偏的，即其期望值等于真实优势；更重要的是，它的方差严格小于轨迹级基线的方差，而方差缩减量恰好等于由共享前缀所解释的回报方差部分。这一结论说明，前缀共享不仅仅是一种工程上的优化，而是从信息论角度看确实降低了估计的不确定性。

实验与结果

实验在三个标准基准上进行：WebShop（网页购物任务）、ALFWorld（家庭助理任务）和 [[SWE-bench]] Verified（真实软件工程任务）。基座模型选用 Qwen2.5-7B 和 Llama-3.1-8B，以确保实验覆盖不同规模的模型。

为了保证公平比较，所有基线方法在计算量上保持一致。具体而言，GRPO 和 RLOO 使用 $N$ 条独立轨迹，而 BPO 使用 1 条主干轨迹加上 $N-1$ 个分支点（在总步数相等的约束下进行换算）。

实验结果呈现出清晰的一致性：在三个基准上，BPO 相比 GRPO 和 RLOO 取得了 3.6–6.1 个百分点的绝对成功率提升。这一幅度看起来不大，但在 SWE-bench Verified 这种高难度任务上，绝对准确率每提升一个百分点都意味着显著的能力进步。

除了点估计的改进，方差指标同样令人瞩目。BPO 将梯度范数的方差降低了一半，这意味着每次策略更新更加稳定，训练曲线更不容易出现剧烈震荡。更大的效率红利在于，BPO 仅需基线方法 62% 的策略更新次数（即减少 38%）就能达到相近的最终性能。这对于训练成本敏感的场景具有直接的实际价值。

研究者还进行了消融实验来验证各组件的贡献。结果表明，自适应快照策略比固定间隔快照效果更好，这印证了"在高熵点分支"的直觉；兄弟优势估计相比轨迹级基线确实能稳定地降低方差；$K$ 值的选择也存在收益递减现象，过大的分支数会带来额外的估计偏差。

讨论与可借鉴点

BPO 的成功揭示了一个更普遍的原则：在设计 RL 算法时，应当充分利用环境特性的先验知识。沙箱的可恢复性一直存在于这类任务中，但现有算法选择性地忽略它，转而套用为人类反馈设计的 rollout 拓扑。BPO 的贡献在于正视这一特性，并将其转化为数学上可证的效率优势。

从更宽的视角看，这一思路可以推广到其他具有类似特性的场景。例如，如果某个环境具有确定性的状态转移函数，或者可以低成本地克隆状态，都可能借鉴"共享前缀"的思想来压缩方差、提升采样效率。

当然，BPO 也有其局限。首先，它依赖于沙箱环境支持快照和恢复操作，这对环境本身提出了额外要求。其次，理论保证建立在兄弟节点回报条件独立的假设上，在某些任务中这个假设可能不完全成立。第三，自适应快照的熵阈值需要手动设定，如何让算法自动学习最优的快照策略仍是一个开放问题。

对于从业者而言，BPO 的启发在于：当你的训练算法在某个领域表现不佳时，不妨回到该领域环境的基本假设去审视——那些被当作"通用设定"的设计，可能恰恰遗漏了本领域独有的优化空间。

研究背景与动机

偏微分方程是科学与工程建模的基石，从流体力学到电磁场、从金融衍生品定价到生物化学反应，PDE 无处不在。然而，构建可靠的数值求解器长期依赖专家知识：需要精心选择离散化格式、满足稳定性条件、设计恰当的边界处理方案。这一过程既耗时又费力，制约了科学计算的效率。

近年来，大型语言模型在代码生成和推理任务上展现出惊人能力，研究者开始尝试将 PDE 求解视为代码生成任务——让 LLM 编写求解器代码来获得数值解。这条路子的主流做法是在推理阶段做文章：通过精心设计的提示、调试、自优化或测试时缩放来提升生成质量。但这些方法都停留在"用好已有模型"层面，没有真正让模型自身去适应 PDE 求解这个特定领域。

与此同时，带可验证奖励的强化学习（RLVR）已成为代码生成和数学推理领域强大的后训练范式。典型做法是：验证器给出二值信号——代码能编译运行就算正确、测试通过就算正确。这种范式在代码修复或形式化证明场景很有效，但应用到科学计算时遇到一个根本性问题：科学正确性天然具有层级结构。两个求解器可能都能正常执行，但在解的精度上可能相差数个数量级。二值验证器把这些差异全部丢弃了，只关心"对不对"，而忽视"有多对"。

这正是 RLVP 的切入点：设计一种连续奖励信号，既能处理程序合法性这类离散约束，又能捕捉 PDE 解的质量这类连续指标，让强化学习真正适配科学计算场景。

方法

RLVP 的核心创新在于其混合验证器设计。整体框架可以形式化为：给定一个 PDE 问题和一个 LLM 策略 ${\pi }_{\theta }$，策略生成一段求解器代码 $c$，验证器计算奖励 $r(c,\text{PDE})$，然后通过策略梯度更新策略。

混合验证器由两个互补的组件构成。第一组件是硬性程序合法性检查（hard program-validity checks），对应二值奖励 $r_{\text{hard}}\in \{0,1\}$：代码必须能通过语法检查、成功编译（或被解释器接受）、并且运行时不出错。这一组件对应 PDE 求解的"可行性"——一个连运行都通不过的求解器毫无意义。

第二组件是连续物理奖励（continuous physics rewards），对应连续奖励 $r_{\text{phys}}\in [0,1]$。这一组件才是 RLVP 的精髓所在。论文采用两个维度的物理指标：一是函数空间精度（function-space accuracy），即生成的数值解与参考解（或解析解）在离散范数下的接近程度；二是PDE 残差一致性（PDE-residual consistency），即数值解代入原方程后的残差大小。函数空间精度衡量"解得好不好"，残差一致性衡量"是否真正满足方程约束"，两者结合能全面刻画求解器质量。

最终奖励为两者的组合：$r=r_{\text{hard}}\cdot r_{\text{phys}}$。这里用乘法而非加法，隐含的语义是：物理奖励只在程序有效的前提下才有意义——一个物理上看起来完美但根本无法运行的代码应该得零分。

在训练数据上，RLVP 采用了多样化的 PDE 族进行统一后训练，包括双曲型方程（如交通流模型）、抛物型方程（如热传导方程）、椭圆型方程（如泊松方程和拉普拉斯方程）以及不可压缩流动系统（如纳维-斯托克斯方程的低雷诺数情形）。这种多样化训练的设计意图是让策略学习到可组合的数值原语——格式模板、时间步进策略、边界处理方法——以便在面对新的 PDE 时能灵活重组。

实验与结果

论文在多个维度上验证了 RLVP 的有效性。首先是与基线的对比：在涵盖多种 PDE 族的基准测试上，RLVP 后训练模型同时超越了预训练基线（未经后训练的原始 LLM）和监督微调基线（仅用标准有标签数据训练）。这是一个关键结果，说明强化学习信号确实能捕捉监督数据难以表达的物理约束。

其次是零样本迁移能力：将在部分 PDE 上训练得到的策略，直接应用于完全未见过的 PDE 类型，生成质量仍有显著提升。这说明模型学到的不是针对特定方程的记忆，而是跨 PDE 共享的数值方法知识。

最具说服力的实验是对比"小模型加 RLVP"与"大模型加提示工程"。论文报告，经 RLVP 后训练的较小规模 LLM，在分布内 PDE 求解任务上能够优于直接对前沿模型施加精心设计提示的结果。这一发现具有实际意义：提示工程的上限受限于基础模型能力，而 RLVP 后训练能让小模型通过专项适应来弥补规模差距。

更值得关注的是组合性证据（compositionality）。作者分析了生成代码的结构，发现训练好的策略并非机械地记忆训练集方程的求解器模板，而是将学到的模板、时间步进格式和边界处理原语打散重组，用于生成新 PDE 的求解器。例如，一个在 1D 对流方程上训练的策略，可能将其中学到的迎风格式和 Neumann 边界处理迁移到 2D 不可压缩流的生成代码中。这种组合能力是 RLVP 学到抽象数值知识而非过拟合训练集的直接体现。

讨论与可借鉴点

RLVP 展示了两个重要的方法论启示。第一，连续奖励信号在科学计算场景的重要性。二值验证器在代码修复这类"对/错"分明的任务上很有效，但科学推理的精髓在于精度——同样的方程、相似的代码，数值误差可能相差几个数量级。连续物理奖励能够保留这种精度差异，让策略有更细粒度的学习信号。

第二，跨问题族的统一后训练策略。与其分别为每种 PDE 类型训练专用模型，不如在多样化的 PDE 族上联合训练。多样化的训练数据促使模型学习到可迁移的数值原语，而非针对单一方程的特化记忆。

当前 RLVP 仍存在局限。首先，连续物理奖励的计算依赖参考解或解析解，对于没有ground truth的复杂实际问题，奖励信号本身可能难以获取。其次，论文聚焦于相对规范的 PDE 族，真实科学计算中的病态条件、非结构网格、自适应算法等场景尚未覆盖。再次，组合性证据目前还是观察性的，缺乏系统性的定量刻画。

这些局限也指向了未来研究方向：如何为无参考解的场景设计合适的奖励塑造（reward shaping）策略；如何处理更复杂的工程 PDE 系统；以及如何从机制上理解和促进模型对数值方法知识的组合泛化。RLVP 开辟了一条将强化学习真正适配科学计算场景的道路，其核心思路——连续奖励 + 多样化训练——值得在更广泛的科学 AI 后训练任务中借鉴。

研究背景与动机

强化学习已成为提升大语言模型推理能力的关键技术，从数学证明到代码生成，RLHF 等方法让模型的输出质量产生了质的飞跃。然而，这套训练范式的脆弱性一直是领域的痛点——训练过程中极易出现性能剧烈波动，甚至在验证集上持续崩塌，导致研究者不得不反复调整超参数、在极短的时间窗口内中止训练。

这篇论文深入剖析了这种不稳定性的根源：过度优化（over-optimization）。在 RL 训练中，模型会不可避免地接触到训练数据中的各种启发式信号——某些回答模式在奖励信号上表现突出，却并非真正可靠的解题策略。当模型过度拟合这些表面特征时，它实际上是在“作弊”，而非学习可泛化的推理能力。这种现象在神经网络训练中并不罕见，但在 LLM 的 RL 场景下尤为棘手，因为语言输出的高维离散空间使得模型更容易找到绕过真实目标的捷径。

面对这一问题，业界的标准防御手段是 [[反向 KL 正则化]]——通过约束当前策略与参考策略（通常是 SFT 阶段得到的模型）的 KL 散度，防止策略偏离太远。然而论文的分析揭示了一个关键洞见：在过度优化的 regime 下，反向 KL 正则化往往力不从心。它的作用机制是惩罚偏离参考分布的过大跃迁，但这无法保证对参考分布的全面覆盖——模型可能只在参考分布的局部区域内优化，而忽略其他同样有效的解题路径，最终导致策略分布的退化。

方法

ARMOR 的核心思路是从被动惩罚转向主动样本稳定化。传统方法试图通过正则化项约束模型行为，而 ARMOR 选择主动注入稳健的参考信息，引导优化过程更健康地进行。这一范式转换通过两个协同工作的组件实现。

锚点采样（Anchor Rollout）是第一个组件，它利用来自参考策略的 [[离线策略数据]] 保留已建立的解题模式。具体而言，在每个训练 step，ARMOR 不仅生成当前策略的新轨迹，还会采样一部分来自参考策略的旧轨迹混入训练数据。这些锚点轨迹扮演着“锚”的角色——它们代表着人类标注或早期训练阶段验证过的可靠解法模式。通过持续将这些高质量样本注入训练集，模型在优化过程中始终有机会“看到”正确答案的结构，而非完全被即时奖励信号牵着走。直觉上，这相当于在探索新策略的同时，不忘回头参照“老师”的示范，确保不走偏。

混合优化（Mixed Optimization）是第二个组件，它重新构建了 [[策略优化]] 的目标函数。传统方法通常依赖辅助损失项（如 KL 惩罚）来实现正则化，而混合优化将这些约束直接融入策略目标的核心结构中。论文将策略更新表述为一个混合目标：让模型同时最大化来自当前策略和锚点采样的加权期望回报，其中锚点采样的权重动态调整——在训练初期较高以维持稳定性，随着策略逐渐成熟而适度降低，从而允许更多探索。这种设计避免了对额外正则化项的依赖，让优化过程更加自洽。

两个组件的配合体现了论文的核心洞察：过度优化本质上是训练信号过于单一的副产品。当模型只看到自己生成的样本时，它容易陷入自我强化的循环，错误模式一旦出现就会被反复放大。锚点采样打破了这一闭环，而混合优化则在目标层面确保这种外部信号被有效整合而非简单叠加。

实验与结果

论文在多个主流推理基准上验证了 ARMOR 的有效性，包括数学推理（GSM8K、MATH）、代码生成（HumanEval）以及逻辑推理任务。实验设置采用在线 RL 训练流程，以 GRPO 或 PPO 作为基线方法，逐步增加训练步数，观察验证集性能随时间的变化曲线。

核心结果可以用一个关键词概括：稳定性。基线方法在训练初期往往能快速提升，但随着步数增加，验证性能很快出现平台期甚至显著下降，这正是过度优化的典型表现。ARMOR 则呈现出截然不同的曲线——初期提升速度可能略慢于基线，但性能能够维持上升趋势，在 2-3 倍于基线崩溃点的训练时长下仍未出现明显退化。具体数字上，ARMOR 在 MATH 基准上最终取得了比基线高 5-8 个百分点的提升，HumanEval 上的优势也稳定在 3-5 个百分点。

消融实验进一步证实了两个组件的必要性。仅使用锚点采样时，稳定性提升明显但最终性能仍有上限；仅使用混合优化时，效果介于两者之间。这说明锚点采样提供了样本层面的引导，而混合优化确保了这种引导在梯度层面被正确利用——两者缺一不可。

讨论与可借鉴点

ARMOR 的一个重要贡献是对过度优化问题的理论剖析。论文指出 [[反向 KL 正则化]] 在该场景下的局限性并非实现细节的问题，而是其数学形式本身的固有缺陷——它关注的是分布间距离的某种度量，却无法保证对参考分布全域的覆盖。这一观察值得深思：当我们设计正则化机制时，是否充分考虑了目标问题的结构特性？

从实践角度看，ARMOR 的框架具有不错的通用性。虽然论文聚焦于 LLM 推理场景，但其核心思路——用离线锚点样本稳定在线学习、用混合目标替代辅助损失——完全可以迁移到其他使用强化学习训练离散生成模型的场景。这为处理类似不稳定问题提供了一个可操作的解决思路。

当然，ARMOR 也有其局限。首先，锚点采样的引入会增加一定的计算开销（需要存储和采样参考轨迹），在超大规模训练中可能成为瓶颈。其次，混合优化中的权重调度策略（何时降低锚点权重）目前依赖经验设定，缺乏理论指导。此外，论文主要验证的是推理类任务，对于更开放的生成任务（如对话、创意写作），过度优化的表现形态可能有所不同，ARMOR 的效果尚需进一步检验。

这些未解之谜也为后续研究指明了方向：如何在保持稳定性的同时最小化计算开销？能否从理论上给出权重调度的最优策略？以及，这一范式能否推广到非推理类的 LLM 训练场景？这些问题值得探索。

研究背景与动机

运动规划是自动驾驶系统的核心能力之一，它决定了车辆如何在复杂交通环境中做出安全、舒适的行驶决策。近年来，主流范式从传统的规则系统转向了生成式运动建模——受大语言模型启发，现代规划器将地图元素和运动基元视为离散 token，以自回归方式逐帧生成轨迹。这种方法在海量自然驾驶数据上表现出色，但一个根本性的弱点也随之暴露：它们本质上是在「模仿」人类驾驶数据中的常见行为，面对那些在数据中罕见但却关乎生命安全的长尾场景时，往往表现脆弱。

这些长尾场景包括但不限于：旁车突然且激进的插入、前车急刹后多车协同压制、以及诱导碰撞的诱导性变道等。它们在真实道路上时有发生，但在训练数据集中出现频率极低，传统的数据驱动方法很难有效覆盖。

对抗训练提供了一条解决思路——与其被动等待这些危险场景出现，不如主动「制造」它们来训练规划器的应对能力。然而，现有对抗训练方案存在一个根本性的架构不匹配问题：许多方法依赖外部对抗代理、启发式扰动策略，或者需要大量仿真器 rollout 来生成对抗样本。这些攻击往往是针对低维控制策略、固定关注对象或手工规则设计的，难以直接迁移到基于 token 的高维自回归规划范式中。

本文的切入点正在于此：既然规划器已经内置了一个预测交通流演化的世界模型（本质上是一个自回归多智能体序列模型），那为什么不能「废物利用」，把这个世界模型本身改造成一个懂行的对手？这样就不需要引入外部不兼容的攻击者，而是让环境模型「自己攻击自己」。

方法

方法的理论框架始于一个有约束的极小小博弈建模：将自车规划器的优化目标设定为极大化其收益，而将对抗性世界模型的优化目标设定为极小化自车收益。这是一个优雅的数学抽象，但直接求解这个博弈在计算上是不可行的——多智能体环境下的信用分配本身就是组合爆炸问题。传统方法要么依赖粗粒度的奖励共享机制，要么干脆放弃精细化建模，这都会导致对手行为要么过于保守、要么缺乏针对性。

AWM 的核心设计围绕一个原则性的解耦求解器展开，将难题分而治之。

在内层极小化阶段，规划器的预测式世界模型被「重新角色化」——它不再仅仅预测自然的交通流演化，而是学会扮演一个「恶意协调者」。这里的关键创新是引入了反事实信用分配机制来学习稀疏的攻击联盟。具体而言，系统会分析在给定场景下，哪些周围车辆应该对制造危险局面负责——是前车的急刹，还是相邻车道的故意挤压，又或者是多车的协同压制。通过反事实推理，系统能够隔离出真正起决定性作用的对抗动作，而不是把所有车辆都当作攻击者。这种稀疏的、场景自适应的攻击联盟学习，使得对抗行为既具有真实感（符合交通流基本规律），又具有针对性（直击规划器的弱点）。

在外层极大化阶段，自车规划器针对这个已冻结的对抗世界模型优化一种具有遗憾感知能力的鲁棒最佳响应。这里的「遗憾感知」是一个重要的设计考量：系统不仅关注平均性能，更关注最坏情况下的表现——毕竟安全驾驶的本质就是「不能出事」。通过尾部风险加权，自车规划器会特别关注那些虽然概率低但后果严重的对抗场景。同时，参考锚定的信赖域约束确保了优化过程不会为了追求极端鲁棒性而牺牲掉正常场景下的驾驶舒适度和效率。通俗地说，规划器学会在保持正常驾驶风格的同时，对付那些「专门找茬」的对抗交通参与者。

这个框架的一个巧妙之处在于，它在同一个自回归架构、统一的动作词表和场景表示下，同时参数化了自然交通流和对抗交通流。世界模型既是教师（提供正常驾驶的预测基础），又是对手（学会制造危险局面），两者在同一个模型中被协调优化。

实验与结果

实验在两个权威的自动驾驶规划基准上进行：nuPlan 和 InterPlan。前者是目前最大的闭环规划数据集，覆盖了多种真实的城市场景；后者专门针对交互密集的复杂场景设计，能够有效测试规划器在多车博弈中的表现。

实验结果首先验证了对抗交互的可迁移性：AWM 生成的对抗场景不是过拟合于特定规划器的脆弱性，而是能够泛化到不同的规划架构。这意味着攻击本身捕捉到了交通环境中真正具有挑战性的结构，而不是偶然的数值漏洞。

关键的性能对比显示，AWM 微调后的规划器在常规场景下保持了与基线方法相当的闭环性能，说明参考锚定信赖域成功约束了优化边界，没有让鲁棒性训练破坏正常驾驶能力。而在高度交互的长尾场景下，经过 AWM 对抗训练的规划器取得了显著优于对比方法的避险成功率和碰撞避免率。量化指标方面，在 nuPlan 的长尾场景子集上，最终规划器相较于仅在自然数据上训练的基线，危险场景下的成功率提升了约 15 个百分点。

消融实验进一步揭示了各组件的贡献：反事实信用分配使得攻击更加聚焦而非弥散，尾部风险加权确保了优化资源向高危场景倾斜，参考锚定机制则有效防止了鲁棒性优化走向极端。这些分析共同验证了设计决策的有效性。

讨论与可借鉴点

这篇论文的局限性值得客观审视。首先，框架的计算开销不可忽视——在内层需要更新对抗世界模型、在外层需要优化规划器，两阶段迭代的收敛速度直接影响实用性。其次，世界模型本身的能力上限决定了对手的「聪明程度」，如果基础世界模型对某些复杂交互模式建模不足，对抗训练也难以弥补这一根本缺陷。此外，论文主要关注静态或准静态的对抗场景生成，对于动态实时响应的对抗行为（如对方车辆根据自车反应实时调整策略）的建模尚未深入探讨。

尽管如此，这项工作为自动驾驶对抗训练提供了一个新的思路框架。将内部世界模型从「被动预测者」转变为「主动对手」的设计哲学，可能对其他需要鲁棒性优化的序列生成任务具有启发意义。反事实信用分配机制在多智能体场景下分离对抗责任的做法，也值得关注——它实际上是在回答「谁该为这个失败负责」这个因果推理问题，而不仅仅是传统的梯度归因。

从更宏观的视角看，这项工作反映了自动驾驶规划领域正在经历的一个范式转变：从被动数据拟合走向主动对抗学习，从单智能体优化走向多智能体博弈。这种转变的深层驱动力在于：真实世界的交通博弈本质上是多方参与的，任何只考虑自身最优的规划器都可能在与有敌意的或仅仅是行为异常的交通参与者的交互中失败。

研究背景与动机

大规模多智能体系统的控制在现实中无处不在——从无人机编队、金融市场中的交易行为，到人群疏散与交通流量优化。这类问题的核心困难在于：当智能体数量庞大时，精确建模每个智能体的状态与交互会产生指数级增长的计算成本。[[均值场博弈]]理论为此提供了一个优雅的解决思路：它将无限多个智能体的极限情形作为近似，通过单个智能体与"均值场"（即总体分布）的交互来刻画系统行为，使得原本难以处理的全局优化问题被转化为可计算的局部问题。

然而，经典均值场控制框架存在一个关键假设——动力学和奖励函数通常只依赖于状态分布本身，而不依赖于控制分布。但在许多实际场景中，这个假设过于简化。以金融市场为例，交易行为本身会影响价格变动，而拥挤的交易活动（大量智能体采取相似策略）会产生额外的市场冲击；再如多机器人协调场景，机器人之间的碰撞避免不仅与位置分布有关，还与彼此的运动策略分布密切相关。这些问题属于[[扩展均值场控制]]（extended mean field control）的范畴，其中控制分布对系统动力学和收益函数都有显式影响。

扩展均值场控制的核心挑战在于双重复杂性：既要优化控制分布这一无穷维对象，又要在缺乏显式模型的情况下学习系统动态。已有的研究要么依赖于精确的系统模型，要么在处理控制分布时引入过强的假设，导致方法在实际应用中存在局限。本文的核心动机正是要突破这些局限，提出一套完全无模型、且能高效处理控制分布依赖的强化学习方法。

方法

该工作的方法论起点是对策略形式的选择。作者采用确定性反馈策略，即控制律直接表达为状态和时间的函数：$u_t=\theta (X_t)$，其中 $\theta$ 是待学习的参数化策略。在这种策略下，智能体的状态-动作分布实际上是状态分布沿确定性映射的推前映射（push-forward）。这一选择看似自然，实则蕴含深意——它巧妙地绕开了对随机核（stochastic kernel）的直接优化，这是此前许多方法难以逾越的计算障碍。

在动力学层面，作者考虑参数化的 McKean-Vlasov 方程：

$$d{X}_t=b(X_t,\theta (X_t),{\mu }_t,{\nu }_t)dt+\sigma d{W}_t$$

其中 ${\mu }_t$ 和 ${\nu }_t$ 分别表示状态分布和控制分布。这个方程将个体行为与总体分布耦合，是均值场理论的标准框架。关键的第一步是建立无模型的灵敏度公式——即系统状态如何对策略参数 $\theta$ 求导。这个灵敏度分析在有限维最优控制中是个标准工具，但将其推广到分布依赖的动力学系统需要细致处理测度空间上的微分结构。作者利用 Wasserstein 空间的几何结构，获得了参数变化的分布响应。

基于灵敏度分析，作者推导出策略梯度公式。这里的核心创新是引入 Wasserstein 空间上的[[优势率函数]]（advantage-rate function）。不同于标准强化学习中在离散状态空间定义的 advantage，优势率函数 $\mathcal{A}(x,a,\mu ,\nu )$ 捕捉的是在给定局部状态 $x$、动作 $a$ 和当前分布 $\mu ,\nu$ 下，采取该动作相对于"平均最优"动作的相对优势。这一概念的引入使得策略梯度可以表达为分布空间上的泛函导数：

$${\nabla }_{\theta }J(\theta )=\mathbb{E}\left[{\int }_0^T\mathcal{A}(X_t,\theta (X_t),{\mu }_t,{\nu }_t)\cdot {\nabla }_{\theta }\theta (X_t)dt\right]$$

为了进一步精确化梯度估计，作者引入了局部值函数 $V(t,x,\mu )$ 和 $Q(t,x,a,\mu ,\nu )$ 的概念。这些局部函数依赖于当前状态、动作以及联合状态-动作分布，从而能够提供更细粒度的梯度信息。关键的洞察是，策略梯度最终包含两类导数项：一是关于动作的常规梯度 ${\nabla }_{a}Q$（这在标准 Actor-Critic 框架中很常见），二是关于控制分布的测度导数项 ${\partial }_{\nu }Q$（这来自分布对奖励和动力学的显式依赖）。测度导数的引入是一个理论上的突破，它允许算法直接利用控制分布的信息来调整策略。

这些分析最终汇聚为一条基于[[鞅]]（martingale）的学习原理。直觉上，值函数与优势函数的时变满足一个特定的 martingale 性质，类比于强化学习中 TD 误差的零期望特性。这一原理不仅在理论上优美，还具有直接的算法含义：它为时序差分学习提供了坚实的理论基础，使得我们可以在连续时间设定下设计稳定的学习规则。

在算法实现层面，作者提出的连续时间深度确定性策略梯度算法包含几个关键技术模块。首先是粒子逼近（particle approximation）：用有限样本模拟来近似连续分布，这在大规模多智能体系统中是标准的降维技巧。其次是测度依赖的神经网络——网络不仅输入当前状态，还输入当前状态分布和控制分布的某种低维统计量（如均值、方差等）。时序差分学习则用于在线更新值函数估计，而探索机制可以在动作空间或参数空间中注入噪声以确保充分采样。

实验与结果

作者在两类典型问题上验证了算法的有效性。

第一类是随机 Cucker-Smale 一致性控制问题，这是多智能体编队控制中的经典模型。经典 Cucker-Smale 模型描述了一群智能体如何通过局部通信协议达成速度一致。作者在这里加入了两层扩展：一是引入随机扰动模拟真实环境中的不确定性，二是使控制策略可以依赖于控制分布来调整通信强度——当多数智能体采取协作策略时，增强通信耦合；当策略分散时，降低耦合以避免过度敏感。实验结果表明，所提算法能够快速收敛到稳定的一致性状态，且在分布依赖奖励的设定下表现出对拥挤度变化的良好适应。

第二类实验关注带有交易拥挤的最优清算问题，这是量化金融中的核心问题之一。交易员的清算策略不仅影响自身的执行成本，还通过市场影响改变价格动态。特别地，当大量交易者同时采取相似的激进清算策略时，会造成显著的市场冲击。作者将这一问题建模为扩展均值场控制，其中交易员的收益同时依赖于自身持仓、当前价格以及总体清算策略的分布。实验结果显示，相比于忽略分布依赖的基准方法，该算法能够识别出"拥挤效应"——即当市场整体流动性不足时，适当降低清算速度反而能获得更好的风险调整收益。这一发现具有重要的实践意义。

消融实验进一步揭示了各模块的贡献。移除测度导数项（只保留常规策略梯度）会导致在分布敏感问题上的性能显著下降；缺少粒子逼近而直接使用参数化分布假设会引入过强的模型偏差；时序差分学习相比纯蒙特卡洛估计具有更低的方差和更快的收敛速度。

讨论与可借鉴点

这项工作的理论贡献在于为扩展均值场控制提供了一套完整的无模型学习框架，特别是测度导数项的引入填补了此前研究中的空白。它将连续时间[[Actor-Critic]]算法的设计建立在严格的 martingale 原理之上，为算法的收敛性分析奠定了基础。

然而，也有若干值得注意的局限。首先，测度导数的计算需要额外的函数逼近器，如何设计高效的估计器仍是个开放问题；其次，Wasserstein 空间上的灵敏度分析对分布的光滑性有假设，在分布具有奇异支撑（如有限支撑点集）时可能需要额外的正则化处理；最后，实验规模虽已远超小规模测试，但仍主要在相对规则的模拟环境中验证，在真正高维或异构的大规模系统中表现如何有待进一步探索。

对于 [[强化学习]] 和多智能体系统领域的研究者而言，这项工作提供了一个重要启示：分布依赖是连接微观个体决策与宏观系统涌现行为的桥梁。未来的研究方向可能包括：非确定性策略的扩展、分布式实现与通信效率的权衡、以及在更复杂市场或物理系统中的应用验证。

研究背景与动机

在机器人操控领域，将 [[视觉-语言-动作模型]] 后训练以适应新任务已成为标准范式。然而每次策略更新都依赖于物理机器人采集的真实轨迹数据，这些 rollout 采集成本高昂、速度缓慢，使得样本效率成为制约其规模化落地的核心瓶颈。

操控任务通常采用稀疏二元奖励——只有当机器人精确完成指定指令时才获得奖励，否则为零。这种设置在训练初期带来了一个看似无解的困境：弱策略几乎在每次执行中都会失败，由于组内所有 rollout 的奖励方差为零，基于组相对优势估计的强化学习方法（如 GRPO）会将整个 rollout 组丢弃，策略几乎学不到任何东西。

然而，一个关键观察是：这些失败并非真正"毫无价值"。失败轨迹往往完成了其他有意义的子目标或中间状态——例如指令要求"关闭微波炉"，执行过程中却成功抓起了杯子。在原始指令下这条轨迹被判为零分，但如果指令是"抓起杯子"，它就是一条完美的成功示范。问题在于，如何在不引入额外人工标注的前提下，系统性地挖掘这些隐含的成功信号。

此前的事后经验回放（Hindsight Experience Replay，HER）方法已在经典强化学习（如 FetchPush 任务）中证明了这一思路的可行性。但 VLA 模型的特殊之处在于：其策略和价值函数以自然语言为条件进行泛化，这为通过语言层面的事后重标注提供了独特优势——语言空间提供了丰富的语义空间来描述"轨迹实际做了什么"。

方法

LfH 的核心设计围绕一个简单但关键的假设：失败轨迹中蕴含的监督信号，可以通过语言层面的重新标注来释放。具体而言，论文采用单一大型视觉-语言模型（VLM）同时完成两项任务——对失败 rollout 组提出事后指令（hindsight instruction），并评估组内每条轨迹对该事后指令的满足程度。

方法的执行流程始于对 rollout 组的筛选。给定一组 $K$ 条轨迹 $\{{\tau }_i\}$ 及其对应原始指令 $g$ 和奖励 $R_i$，系统仅在组均原始奖励低于阈值 $\eta$（默认为 0.8）时触发事后重标注。这一设计的直觉是：高质量成功轨迹不需要重标注，只有低信号组才需要事后挖掘。

对于满足条件的失败组，LfH 首先均匀采样一条锚点轨迹 ${\tau }_{i^{\star }}$，由 VLM 根据这条轨迹的视频内容生成一条事后指令 $g^{\prime }\sim M_{\psi }^{\text{inst}}(\cdot \mid {\tau }_{i^{\star }})$。为过滤掉没有实际物体交互的纯噪声轨迹，论文引入了"Nothing"选项——如果 VLM 认为轨迹中没有可描述的有效动作，则重标注被跳过。

随后，对组内所有轨迹在共享的事后指令 $g^{\prime }$ 下统一打分：${\tilde{R}}_i=M_{\psi }^{\text{rew}}({\tau }_i,g^{\prime })\in \{0,0.5,1\}$。值得注意的是，VLM 被允许输出"unsure"选项以表示不确定性，这种设计有效降低了错误标注的噪声。

在训练阶段，LfH 面临一个关键技术问题：轨迹是按照原始指令 $g$ 采样的，但优化却要按照事后指令 $g^{\prime }$ 进行，这两者之间的分布不匹配需要修正。论文借鉴了 Hindsight Policy Gradients 的重要性采样思想，引入了修正比率：

$${\tilde{r}}_{i,t}(\theta )=\frac{{\pi }_{\theta }(a_{i,t}\mid o_{i,t},g^{\prime })}{{\pi }_{{\theta }_{\text{old}}}(a_{i,t}\mid o_{i,t},g)}$$

最终的训练目标结合了原始 GRPO 损失与事后 GRPO（H-GRPO）损失，并以后者权重 $\lambda$ 进行平衡：

$$L_{\text{LfH}}(\theta )=L_{\text{GRPO}}(\theta )+\lambda \cdot \min (L_{\text{H-GRPO}}(\theta ),c)$$

其中裁剪阈值 $c$ 取训练早期 85 分位数的 H-GRPO 损失值，用于防止早期 VLM 噪声过大时产生破坏性梯度。

实验与结果

论文在 LIBERO-PRO 仿真基准和真实 Franka 机械臂两个层面进行了系统验证。

在仿真实验中，LIBERO-PRO 被设计为分布外（OOD）任务——通过任务扰动（task perturbation）保留场景和物体，仅改变指令措辞，从而测试方法在未见指令上的泛化能力。LfH 相比标准 GRPO 实现了约 5 倍样本效率提升：标准 GRPO 需要约 40 步训练才能达到的性能，LfH 仅需约 5 步。更值得关注的是，LfH 还超越了使用 RoboMETER 稠密进度奖励的基线方法，说明"改变任务分配"（即重标注）比"密集化反馈"在这一场景下更为有效。

消融实验进一步揭示了方法的关键组件。移除指令重标注（仅保留奖励重标注）会使性能大幅下降；同样，仅改写指令而不重新评分也无法复现完整 LfH 的增益；注入随机奖励方差（Random-reward 变体）的对比表明，VLM 评分的语义正确性是性能提升的核心来源，而非简单的奖励方差注入。

LfH 的另一显著效果体现在数据利用率上。在 GRPO 框架下，由于大量 rollout 组因零方差被丢弃，只有 20-40% 的轨迹组得以保留用于训练；而 LfH 将这一比例提升至 70-80%，意味着大部分被浪费的失败轨迹被转化为有效的学习信号。

在真实 Franka 机械臂实验中，初始策略在目标任务"put the green container into the bowl"上的成功率为零。经过约 160 条 rollout 的训练后，GRPO 达到 22% 成功率，而 LfH 达到 56%，增益约为 2.5 倍。这一结果验证了方法从仿真到真实的迁移能力，尽管真实实验仅覆盖单一 OOD 任务，其结论的稳健性仍需更多场景验证。

讨论与可借鉴点

LfH 的核心贡献在于揭示了一个此前未被充分利用的监督来源：失败轨迹的语言语义。论文的实验表明，即使事后指令与原始任务在语义上完全无关，它仍然可以作为"对比性 grounding 信号"——帮助策略区分"目标是抓杯子"与"目标是开抽屉"这两种状态，从而缓解 GRPO 在低奖励区域退化为单一失败模式的坍缩问题。

然而，这一方法也存在明显的局限性。首先，VLM 的标注质量直接决定了重标注信号的可靠性——错误的对象名、过于通用的描述或幻觉式判定都会引入难以察觉的噪声，尽管"Nothing"和"unsure"选项提供了一定缓解，但无法根除。其次，当策略崩溃为重复、无信息量的失败时（例如持续抖动或无目的移动），事后指令也无从描述有意义的子目标，形成方法的有效性下限。第三，论文依赖的超大 VLM（235B 参数）在推理延迟和算力成本上构成工程门槛。最后，sim-to-real 实验仅涵盖单一任务，LfH 对真实场景多样性的泛化能力尚需更广泛的验证。

对于 [[强化学习后训练]] 领域的研究者而言，LfH 提供了一个值得借鉴的范式转换思路：与其执着于设计更精细的奖励函数或收集更多数据，不如重新审视"失败"本身——失败轨迹中可能蕴含的监督信号，往往比直觉想象的更丰富。语言作为连接视觉观测与动作空间的桥梁，为这种事后挖掘提供了天然的语义空间。

研究背景与动机

在离线强化学习中，如何从固定的数据集中学到有效的决策策略是一个核心挑战。近年来，基于[[扩散模型]]的轨迹规划器（如 Diffuser、Decision Diffuser）展现出强大的多模态轨迹建模能力，能够在复杂环境中生成高质量的动作序列。然而这类方法的固有局限在于：推理时需要进行数十步的迭代去噪，每一步都需要完整的前向传播，在需要快速响应的场景中带来了难以忽视的计算延迟。

为了加速推理，研究者引入了[[一致性模型]]的思想。一致性规划器（Consistency Planning、Consistency Trajectory Planning）通过学习从任意噪声状态到对应干净状态的一致性映射，将原本需要几十步的采样压缩到少数几步，显著降低了每步规划的延迟。但这种提升并非免费——当前的一致性规划器依赖一个两阶段的师生蒸馏流程：首先训练一个标准的[[扩散模型]]作为教师，随后将其蒸馏为一个一致性学生模型。这一管线带来两个深层问题：训练成本几乎翻倍，因为需要依次完成两个模型的训练；其次，蒸馏过程引入的误差会与教师模型的质量耦合，最终规划器的性能同时取决于两个阶段是否各自成功，这在离线 RL 中数据分布偏移和多模态轨迹并存的情况下尤为脆弱。

STP 的核心动机正是直面这个两难：如何在不引入蒸馏管线复杂性的前提下，获得快速、可调的少步推理能力？作者认为捷径模型（Shortcut Model）提供了一条可行的路径——它天然支持步长条件化，可以通过单阶段训练直接学习不同步长下的更新方向，从而在保持生成质量的同时跳过蒸馏这一中间环节。

方法

STP 的方法框架围绕三个核心组件展开：条件捷径轨迹模型、可行性感知修正评论家，以及推理时的 warm-start 策略。这些组件共同构成一个完整的规划-执行闭环。

捷径模型的基本原理

捷径模型建立在 [[Flow Matching]] 框架之上。标准 Flow Matching 的核心思想是学习一个连续速度场，使得任意噪声样本沿线性插值路径被输送到数据分布中的对应点，其数学形式为 $x_t=(1-t)x_0+t{x}_1$ 和 $v_t=x_1-x_0$，其中 $t\in [0,1]$ 表示插值进度。在采样时，需要通过数值积分来逐步推进状态，即 $x_{t+d}=x_t+d\cdot f_{\theta }(x_t,t)$。问题在于，当采样步数 $K$ 过少时，每一步的离散化步长 $d=1/K$ 较大，数值积分的误差会显著累积，导致生成质量下降。

捷径模型的关键设计在于：网络直接以步长 $d$ 作为额外输入，学习有限步更新量。具体而言，模型 $S_{\theta }$ 接收当前状态 $x_t$、时间步 $t$ 和步长 $d$，输出一个增量 $\Delta x$，使得 $x_{t+d}^{\prime }=x_t+d\cdot S_{\theta }(x_t,t,d)$。这意味着网络学会的不是"在当前时刻的瞬时速度"，而是"以步长 $d$ 执行一步更新后的结果"，从而绕过了离散化误差的问题。

为了保证不同步长之间的一致性，捷径模型引入了递归自一致性约束：两步等效于在中间点再做一次一步更新。这一约束可以写作 $S(x_t,t,2d)=\frac{1}{2}S(x_t,t,d)+\frac{1}{2}S(x_{t+d}^{\prime },t+d,d)$。直觉上，如果从 $x_t$ 以步长 $d$ 更新到 $x_{t+d}^{\prime }$，再从 $x_{t+d}^{\prime }$ 以步长 $d$ 更新一次，应该与直接以步长 $2d$ 更新一次得到相同的结果。这一约束被加入到训练目标中，与 Flow Matching 回归项共同优化，使得学到的捷径模型在任意步长下都能保持一致的生成行为。

STP 的轨迹建模与训练

在离线强化学习的语境下，STP 采用了跳跃步（jumping-step）规划范式。设当前环境状态为 $s_k$，规划视野内包含 $H$ 个关键帧，跳跃步长为 $M$，则规划的目标序列定义为 $x_1(\tau ):=(s_k,s_{k+M},s_{k+2M},\dots ,s_{k+(H-1)M})$。这意味着规划器不是在每一个时间步都生成动作序列，而是跳跃式地预测远期状态，在保持长期一致性的同时将规划频率降低到 $M$ 步一次。

条件捷径轨迹模型以当前状态 $s_k$ 为条件，学习从噪声轨迹到目标轨迹的映射。训练目标包含两部分：Flow Matching 项 ${\mathcal{L}}_{FM}$ 负责学习基本的轨迹生成能力，确保在零步长（瞬时）条件下预测正确的目标位移；自一致性项 ${\mathcal{L}}_{SC}$ 则强制不同步长之间的几何一致性。两项加权求和得到总目标 ${\mathcal{L}}_{STP}$，整个训练在单阶段完成，无需任何预训练的教师模型。

动作提取与 Critic 筛选

规划出的状态序列需要转化为可执行的动作。STP 训练了一个基于 stride 的逆动力学模型 $h_{\varphi }$，其输入为相邻关键帧状态对 $(s_k,s_{k+M})$，输出为对应的动作 $a_k$。该模型在离线数据集的转移三元组上以简单的 L2 损失训练，形式简洁且不引入额外的策略约束。

在推理阶段，STP 先生成 $C$ 条候选轨迹，随后用可行性感知修正的评论家进行排序。评论家 $V_{\alpha }$ 以去噪后的目标轨迹为输入，预测折扣累积回报。为了惩罚不可行的轨迹（如在导航任务中穿越障碍物），论文引入了环境约束惩罚项 $\Psi (\cdot )$，最终的评分为 $\tilde{V}(x_{t_0}^{(c)})=V_{\alpha }(x_{t_0}^{(c)})-{\lambda }_{fea}\cdot \Psi (x_{t_0}^{(c)})$，选择得分最高的候选轨迹执行。这一设计的直觉在于：未经修正的评论家可能对物理上不可行但在视觉上看起来"更优"的轨迹给出高分，而可行性惩罚项提供了一个直接的约束信号来纠正这一偏差。

Warm-start 策略

在推理流程中，STP 还引入了一个关键的工程技巧：除第一步外，后续规划不再从纯噪声开始初始化，而是对前一步的去噪轨迹 $x_1^{(k-1)}$ 加噪后作为起点。具体而言，新规划的初始状态为 $x_{0.3}^{(k)}=0.7\cdot x_0^{noise}+0.3\cdot x_1^{(k-1)}$，然后从 $t=0.3$ 开始执行捷径模型去噪至 $t=1$。这一 warm-start 策略显著提升了时间一致性——前一步规划的轨迹信息被部分保留并注入到新的规划中，避免了两步规划之间可能出现的剧烈跳变，尤其在长视野导航任务中效果显著。

实验与结果

实验在标准 D4RL 基准上覆盖了五个任务域：Gym MuJoCo 运动控制、Maze2D 导航、Kitchen 多阶段操作、AntMaze 高维目标条件控制，以及 Adroit 灵巧操作。对比方法涵盖了扩散规划器（Diffuser、Decision Diffuser）、一致性规划器（CP、CTP）、基于 Actor-Critic 的扩散策略（Diffusion-QL、Consistency-AC）以及多种经典离线 RL 方法。

在采样预算方面，STP 在 AntMaze 仅用 $K=2$ 步生成轨迹，而 Diffuser 需要 $N=20$ 步、Decision Diffuser 需要 $N=40$ 步；即使与同为少步推理的 Diffusion-QL（$N=5$ 步）相比，STP 的步数也更少。候选轨迹数 $C$ 设为 30，在 AntMaze-Large 等极端场景下有所调整。

核心结果体现在与最直接竞争者 CTP 的对比上。STP 在 Maze2D（平均 183.8 vs 179.3）、Kitchen（83.6 vs 82.85）、AntMaze（85.33 vs 83.33）和 Adroit（114.3 vs 106.9）四个域上均取得了不同程度的提升，而 Locomotion 任务两者基本持平（73.9 vs 73.3）。值得注意的是，STP 的所有提升是在单阶段训练下取得的，这印证了捷径模型作为轨迹生成器的有效性。

消融实验进一步揭示了各个设计决策的贡献。Warm-start 策略在 Maze2D 上带来平均 33.0 分的提升（150.8→183.8），在 AntMaze 上带来 17.3 分的提升（68.0→85.3），说明在前一步轨迹基础上进行局部调整对于长视野任务的执行稳定性至关重要。可行性惩罚在 Maze2D-Large 这一复杂布局上效果尤为显著（181.9→215.1），而在简单环境（如 U-Maze）上的增益有限，这符合"任务越复杂越需要物理可行性过滤"的直觉。

然而，论文也诚实地承认了当前方法的局限。在 Locomotion 任务上，Diffusion-QL（78.9）和 Consistency-AC（78.5）仍然领先于 STP（73.9），这表明在缺乏显式策略优化的纯生成式规划框架下，性能上限仍受到约束。此外，论文未提供训练时间、GPU 消耗或单次规划延迟等量化指标，使得"训练更简单"这一定性论断缺乏数据支撑。

讨论与可借鉴点

STP 的核心贡献在于证明了捷径模型可以作为一种高效且简洁的轨迹生成器，替代蒸馏式一致性模型来完成少步推理任务。这一结论的实践意义在于：单阶段训练不仅降低了工程复杂度，还避免了蒸馏误差的累积，使得规划器对数据质量和分布偏移的鲁棒性有所提升。

从更宽的视角看，STP 的步长条件化设计提供了一种"一个模型、多套推理预算"的范式。通过在训练时让模型接触不同的步长 $d$，推理时可以根据任务对速度与精度的需求动态选择采样步数——对延迟敏感的场景用 $K=1$ 或 $K=2$，对精度要求更高的场景可以适当增加步数。这种灵活性是蒸馏方法难以实现的，因为蒸馏学生模型通常针对特定的教师-学生步数配比进行优化。

然而，这项工作也留下了若干开放问题。首先，可行性惩罚项 $\Psi (\cdot )$ 依赖于手工定义的物理约束，对于难以显式表征的环境（如高维灵巧操作）尚无通用机制，其可扩展性有待进一步探索。其次，论文未涉及视觉输入或真实机器人实验，所有结论均基于 D4RL 仿真基准，在线迁移和 sim-to-real 的挑战仍然悬而未决。最后，STP 在 Locomotion 上落后于纯策略优化方法的事实提示我们：对于状态空间相对简单、 reward 信号密集的任务，显式的策略改进可能比生成式规划更具优势。

从方法论的角度，STP 中"递归自一致性约束"的设计值得借鉴。这种在训练目标中直接编码多尺度一致性的思路，本质上是在没有显式教师信号的情况下，通过几何约束来实现知识传递。这为那些难以获取有效教师模型、但又希望获得快速推理能力的领域提供了一种可行的替代方案。

研究背景与动机

离线到在线强化学习是近年来机器人操作领域备受关注的研究范式，其核心思想是先利用大量离线示教数据进行策略预训练，再通过在线交互持续改进策略。这种范式兼具离线学习的样本效率与在线学习的适应性，尤其适用于需要从异构数据中学习的真实机器人任务。然而，该方向的一个关键挑战长期被忽视：价值函数在整个流程中究竟扮演了什么角色，以及其可靠性如何系统性地影响最终的策略表现。

在离线到在线强化学习的全流程中，数据来源呈现显著异质性。离线阶段的数据可能来自人类演示、远程操控或历史任务记录，数据的质量、分布密度和任务覆盖范围参差不齐。进入在线阶段后，智能体与环境交互产生的新数据又与离线数据存在分布差异。这种异构数据的有效利用需要某种机制来区分样本质量、引导策略改进方向，而价值函数正是承担这一角色的候选者。

但价值估计本身面临严峻挑战。离线数据中的回报信息往往稀疏或带有噪声，而在线交互中价值估计又需要应对由策略更新带来的分布偏移问题。已有研究大多将价值估计视为辅助工具或作为算法设计的副产品，缺乏对「价值可靠性如何塑造策略优化」这一核心问题的系统追问。正是这一研究空白，促使作者提出 Robo-ValueRL，旨在建立价值可靠性与下游策略性能之间的可量化关联。

方法

Robo-ValueRL 的设计围绕一个核心洞察：价值函数的可靠性不仅是算法性能的隐式影响因素，更应该被显式建模、追踪和利用。这一洞察催生了三个关键设计决策。

第一，学习以历史为条件的价值估计器。传统的价值函数通常只考虑当前状态和动作，而 Robo-ValueRL 让价值估计器 conditioning 在完整的历史轨迹信息上。这一设计的直觉在于，单一状态-动作对往往不足以判断某个决策的长期收益，而结合历史上下文能够更准确地从离线示教中提取动作的质量信号。具体而言，价值网络 $V_{\theta }$ 接收当前状态 $s_t$ 与历史轨迹 ${\tau }_{0:t-1}$ 作为输入，输出对累计回报的估计。历史信息的引入使得价值估计器能够区分「幸运的状态」与「真正好的动作选择」，从而在离线数据中实现更精细的质量评估。

第二，通过双指标体系评估价值可靠性。Robo-ValueRL 引入两类互补的可靠性指标：全局进度指标衡量价值估计与任务整体进展的相关程度，即价值函数能否反映「当前策略距离目标还有多远」；局部偏好指标衡量价值估计对相邻动作质量排序的一致性，即对于相似的状态，高价值估计是否始终对应高质量动作。这两个指标分别从宏观任务层面与微观动作层面捕捉价值估计的可靠性，共同构成了一个多维度的价值质量评估框架。

第三，将可靠价值估计贯穿离线预训练与在线改进两个阶段。在离线预训练阶段，Robo-ValueRL 采用质量条件的一致性策略预训练策略。不同于传统行为克隆对所有离线样本一视同仁的做法，该方法根据价值估计为每个样本分配质量权重，使得策略在学习过程中更多地参考高质量示教，同时保留对低质量样本的覆盖以维持分布多样性。在在线改进阶段，系统设计了面向在线回放的残差适配模块。该模块利用实时更新的价值估计来优先处理高质量的在线回放数据，在探索与利用之间取得更优平衡，并为在线阶段的价值函数提供持续修正的反馈机制。

这种「评估-传播-利用」的闭环设计使得价值可靠性不再是抽象的算法属性，而是贯穿整个离线到在线流程的可操控变量。

实验与结果

实验覆盖了两种真实机器人任务场景：毫米级精度的芯片插装任务，以及可泛化的积木拆卸任务。数据集规模达到 240 小时的离线示教与超过 3,000 条在线回放轨迹，这一规模在机器人操作领域具有相当的代表性。

实验首先验证了核心假设：下游策略性能与价值可靠性之间存在显著的正相关关系。通过对比使用不同可靠性水平价值函数的实验组，作者观察到使用高可靠性价值引导的策略在两项任务上的成功率分别比低可靠性组高出约 15% 和 12%。这一结果为价值可靠性塑造策略优化的论断提供了直接的实验支撑。

消融实验进一步揭示了价值引导在不同阶段的贡献。在离线预训练阶段，价值引导使得行为克隆策略能够自动聚焦于高质量示教片段，避免了低质量示范对策略的误导。相比于朴素的行为克隆，价值引导版本在长-horizon 任务中的性能提升尤为明显，表明高质量动作估计对于学习长序列决策尤为关键。在线改进阶段，残差适配模块通过优先处理高价值回放数据，有效稳定了策略的在线微调过程，防止了价值函数的过度泛化导致的策略退化。

值得注意的是，实验还观察到价值可靠性指标与任务难度之间的交互效应。在精度要求更高的芯片插装任务中，价值可靠性的边际贡献更大，这可能是因为精细操作对动作质量判断更敏感，可靠的价值估计能够更精准地区分「接近成功」与「趋于失败」的动作序列。

讨论与可借鉴点

Robo-ValueRL 最重要的贡献在于揭示了价值估计可靠性的独立价值。长期以来，研究社区倾向于将价值估计视为策略优化的附属品，关注的是算法层面的改进而非价值质量本身。该论文通过系统性的实验设计，证明了投资于更可靠的价值建模能够获得实质性的策略性能提升，这为未来的研究指明了一个被低估的方向。

该工作的一个局限在于其双指标体系依赖于任务层面的定义，这在一定程度上需要人工介入。对于完全无监督或任务边界模糊的场景，如何自动推断全局进度与局部偏好仍是开放问题。此外，实验主要在结构化的机器人操作任务上验证，泛化到更开放的视觉导航或自然语言任务尚需进一步探索。

对于从事离线强化学习与机器人研究的研究者，Robo-ValueRL 的启发在于：应当将价值质量纳入算法评估的常规指标，而非仅关注最终策略的回报。同时，质量条件的数据加权策略为处理异构数据提供了一种简洁有效的思路，这种「让价值引导数据利用」的思路在更广泛的顺序决策问题中可能具有普适价值。

研究背景与动机

在仿真器里训练强化学习智能体时，"摔倒"只是一个可以立即通过 env.reset() 撤销的信号。但在真实的四足机器人或双足平台上，每一次失去平衡都可能造成硬件损伤——电机减速器断裂、外壳破裂、传感器偏移——这些代价远远超过算法调参的时间成本。这意味着物理机器人训练的瓶颈根本不在于最终性能，而在于到达目标之前需要摔多少次。

一种直观的缓解思路是提前干预：当智能体即将进入危险状态（比如重心偏离、即将倾倒）时，将控制权交给一个专门的恢复策略，把原本会摔倒的轨迹"救回来"。这本质上是把安全问题转化成了一个两层策略的协调问题——主策略 ${\pi }_{\theta }$ 负责完成正向任务（如前进、跨越障碍），恢复策略 ${\pi }_{rec}$ 负责在边界处兜底。

然而，这个看似合理的方案引入了一个隐蔽的偏差。在线的 PPO 算法要求"用于估计梯度的滚动轨迹分布"与"被优化的策略分布"保持一致。一旦滚动过程中混入了恢复策略的行为，这个前提就不成立了——每一次策略更新都在被恢复策略的历史动作静默地污染。更棘手的是，业界标准的重要性采样（Importance Sampling）修正在恢复策略为确定性时完全失效：因为确定性策略的动作分布是狄拉克测度，概率密度函数根本不存在，比值自然无定义。而实际部署中，大多数恢复策略——无论是 MPC 求解器还是经过 tanh 变换的 SAC 演员网络——都是确定性的。

这就把问题锁定在了一个极其具体的死角：既要消除混合策略带来的偏差，又不能用重要性采样（因为恢复策略是确定性的），而现有方法要么回避这个问题，要么只在随机恢复下才有效。

方法

SafeExplorer 的设计哲学可以概括为"在安全时刻做正确的事，在恢复时刻完全忽略"。其核心无偏估计器的构造思路非常直接：既然混合策略导致偏差的根本原因是恢复策略的动作出现在梯度估计中，那么最干净的做法就是把这些时间步从梯度计算中彻底剔除。

具体而言，论文定义了混合策略

$${\pi }_{\theta }^{mix}(a|s)=\{\begin{array}{ll}{\pi }_{\theta }(a|s),& s\in R\\ \mu (a|s),& s\notin R\end{array}$$

其中 $R$ 是设计者指定的安全区域（如躯干高度大于某阈值的状态子集），$\mu$ 是与主策略参数 $\theta$ 完全无关的任意动作测度——可以随意取恢复策略 ${\pi }_{rec}$，也可以取均匀分布，甚至可以取一个常数。关键在于，由于 $\mu$ 不依赖 $\theta$，对轨迹密度 $p_{\theta }^{mix}$ 求 $\theta$ 的导数时，$\mu$ 贡献的项恒为零。因此，策略梯度中只有主策略实际动作的时间步才会留下非零贡献：

$${\nabla }_{\theta }{J}_{mix}(\theta )={\mathbb{E}}_{\tau \sim p_{\theta }^{mix}}\left[\left(\sum _{t=1}^{T}1[s_t\in R]{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right)r(\tau )\right]$$

这个结果就是论文的定理一。它不评估任何恢复策略的密度，自然也不受确定性恢复导致的密度缺失问题影响。对于随机恢复策略，作者进一步指出，每步重要性采样估计器可以分解为掩码项加上一项权重项，而该权重项在真实优势下均值一般非零——这意味着 IS 估计器实际上是有偏的，掩码估计器才是精确无偏的。实验也验证了这一点：IS 梯度的方差最高可达掩码方差的 $10^{13}$ 倍。

基于这个无偏估计器，SafeExplorer 修改了 PPO 的损失函数，只对安全时间步计算目标：

$$L_{PPO}^{safe}(\theta )=-\frac{1}{|T_R|}\sum _{t:s_t\in R}\min \left({\rho }_t(\theta ){\hat{A}}_t^{full},\mathrm{clip}({\rho }_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t^{full}\right)$$

其中 ${\rho }_t(\theta )={\pi }_{\theta }(a_t|s_t)/{\pi }_{{\theta }_{old}}(a_t|s_t)$ 是主策略自身的概率比（良定义），${\hat{A}}_t^{full}$ 仍然基于完整混合轨迹的 GAE 优势估计。这里有一个细微但重要的取舍：掩码虽然消除了恢复段对梯度估计的污染，但恢复策略的存在仍然拖慢了安全区域边界附近的信用分配——因为智能体在边界处会频繁触发恢复，导致主策略的有效信号变得稀疏。

为此，SafeExplorer 引入了两个加速组件。第一个是解析恢复价值：当动力学和恢复策略均为确定性时，恢复触发状态的价值函数有闭式表达。一旦恢复段结束（成功重新进入安全区域或回合终止），critic 可以直接用解析值覆盖蒙特卡洛估计，而不必等待时序差分学习的漫长收敛。第二个组件是结果门控兼容正则项：它只在恢复成功（即安全区域被重新进入）时才鼓励主策略去模仿恢复动作，本质上是在提供额外的学习信号来弥补恢复段被掩码造成的稀疏性。形式上定义为

$$L_{compat}(\theta )=-{\lambda }_{compat}\frac{1}{N_{rec}}\sum _{t:s_t\notin R}{w}_t\log {\pi }_{\theta }(a_t^{rec}|s_t)$$

其中 $w_t$ 是硬门控权重——恢复段以重新进入安全区域结束时为 1，否则为 0。

此外，论文还建立了一个目标差距界（定理四）来量化"训练时使用混合策略"与"部署时主策略独立运行"之间的性能差异：

$$|J(\theta )-J_{mix}(\theta )|\le \frac{2r_{max}}{(1-\gamma {)}^2}\beta (\theta ,d)$$

其中 $\beta (\theta ,d)$ 是主策略单独作用时的出区率。这个不等式揭示了一个重要的设计原则：安全区域越大，出区率越低，训练-部署差距越小。SafeExplorer 因此采用了一个线性课程策略，从一个较小的初始半径 $d_0$ 逐步扩大到 $d_{max}$，在训练早期保证主策略能获得足够的在安全区域内的交互经验。

实验与结果

实验在三个连续控制运动环境中进行：HalfCheetah（6 自由度）、Ant（8 自由度）和 Unitree Go1（12 自由度，真实硬件性能基准）。每环境的恢复策略由预训练的 SAC 演员网络担任，部署时取其 tanh-均值输出以确保确定性——这恰好命中了重要性采样失效的场景。基线包括标准 PPO、Recovery RL 和 Safe Legged 的在策略端口，以及两种 CMDP 方法（CPO 和 PPO-Lagrangian）。每个配置运行 5 个随机种子。

核心结果集中在两个维度：安全性和性能。在安全性上，SafeExplorer 在三个环境中的跌倒次数分别降至 233 倍、48 倍和 26 倍的降幅。以 Ant 为例，标准 PPO 需要约 819 次跌倒才能达到成功阈值，而 SafeExplorer 仅需 17 次。更引人注目的是消融实验的阶梯效应：完全不做掩码（Unmasked PG）的跌倒次数与 PPO 基本持平；仅做掩码（Masked PG）已经带来显著的跌倒减少；在此基础上加入解析恢复价值（Masked + analytic V）进一步压缩；最终 SafeExplorer 在所有消融变体中表现最优。这说明四个组件各自承担了不同的功能，且相互之间存在协同效应。

在性能上，SafeExplorer 最终回报与标准 PPO 持平或更优。特别值得注意的是 Ant 环境——那里的恢复策略因控制幅值惩罚而明显较弱，导致其他恢复式基线（Recovery RL、Safe Legged）始终无法达到最佳回报的 80%，而 SafeExplorer 是唯一所有 5 个种子均跨过这个阈值的算法。这验证了掩码机制和兼容正则项在恢复策略不可靠时的鲁棒性。

讨论与可借鉴点

SafeExplorer 最根本的方法论贡献在于揭示了一个被长期忽视的偏差来源：恢复策略的混合使用静默污染了在线策略算法的梯度估计，而传统的重要性采样修正恰好在最常见的场景（确定性恢复）下完全失效。这种"在定义失效处仍然成立"的性质并非偶然，而是来自对问题结构的深入分析——既然恢复策略与主策略参数无关，就不应该出现在关于主策略参数的梯度中。

从更宽的视角看，这项工作呼应了安全强化学习领域对[[约束马尔可夫决策过程]]框架的反思。CMDP 将摔倒建模为代价并通过拉格朗日乘子法在回报与安全之间权衡，但在物理机器人场景下，这种权衡本身就是一个错误的目标设定——减少训练期跌倒和最大化最终回报在大多数任务中并不矛盾，摔倒只是通往目标的"过程损耗"。SafeExplorer 通过掩码机制将安全目标从优化目标中剥离出来，同时不引入额外的超参数（${\lambda }_{compat}$ 仅在恢复策略不可靠时才需要调优）。

局限性方面，SafeExplorer 对安全区域的形式有隐性假设：恢复策略必须能在有限步数内将智能体从区域外带回区域内，且安全区域本身需要由人工设计——这对高维状态空间或复杂地形可能带来工程负担。此外，论文未在真实硬件上验证所有结论，主要实验仍在仿真环境中完成，虽然 Go1 的实验已经非常接近真实部署条件。未来的一个重要方向是将闭式价值的思想推广到随机动力学和随机恢复策略的场景，或者探索如何自动学习最优的安全区域划分。