PATS：面向智能体强化学习的策略感知训练支架

📊 论文图表(共 16 张)

展开查看 16 张图

‹ ›

TL;DR

PATS（Policy-Aware Training Scaffold）是一种面向长视野LLM智能体强化学习的以策略为中心的训练范式。它将智能体的 rollout 轨迹动态转化为可供参考的"证据卡"，在训练过程中自适应地调整上下文：帮助弱策略克服困难任务，同时在策略提升后逐步移除冗余指导。实验表明，PATS 在 ALFWorld、WebShop 等多类基准上达到了与当前最优方法相当的性能，同时将 token 消耗降低了 25% 到 50%，且部署时完全丢弃训练支架，不引入额外推理开销。

研究背景与动机

构建能够完成复杂长视野任务的 LLM 智能体是当前大型语言模型应用的重要方向之一。这类任务往往需要智能体在多个步骤间进行推理与决策，例如在虚拟家庭环境中执行操作指令（ALFWorld），或在电商网站中完成购物搜索（WebShop）。为了让模型学会解决此类任务，研究者普遍采用 [[强化学习与人类反馈（RLHF）]] 的范式，通过与环境交互产生的 rollout 轨迹来优化策略。

然而，这一方案在实践中面临一个核心瓶颈：当策略尚且弱小（weak policy）时，智能体容易反复执行类似的错误操作，产生的 rollout 轨迹缺乏信息量——既无法提供有效的正例指导，也会因为大量重复失败而浪费计算资源。传统的解决思路是设计[[技能库]]或[[可复用技能模块]]，通过优化、筛选或内化这些技能来改善探索效率。但论文指出，这些以技能为中心的方法存在一个根本局限：它们始终围绕"技能本身"做文章，而非针对"正在演化的策略"提供自适应支持。

PATS 的核心洞察正在于此。训练过程中，策略处于持续迭代状态——起初很弱，随后逐步变强。如果训练支架能够感知这一演化过程，在策略薄弱时给予更多具体帮助，在策略进步后逐步撤除不必要的指导，理论上既能加速早期学习，又能避免后期对显式引导的过度依赖，从而训练出真正具备独立解决问题能力的智能体。

方法

PATS 的设计围绕一个核心问题展开：如何在训练过程中让支架自适应地响应策略的演化？具体做法分为以下几个层次。

将 rollout 转化为证据卡。 每一轮训练结束后，PATS 会收集最新策略产生的若干 rollout 轨迹，按照任务评估结果将其分组。对于同一任务，通过评估的轨迹被视为成功证据，未通过的则标记为失败证据。这些轨迹随后被编码为"证据卡"（evidence cards），每张卡片记录了一条 rollout 的关键状态-动作序列及其对应的任务表现。证据卡作为上下文信息，会被注入到下一轮 rollouts 的提示中，为智能体提供来自当前策略的最新参考。

基于任务评估的上下文动态调整。 这是 PATS 实现自适应性的关键机制。具体而言，系统会检查每张证据卡在当前任务上的评估结果：如果某个子任务频繁失败，系统会在上下文中添加更具体的操作指导，帮助弱策略绕过这一障碍；反之，当某条证据已表明策略能够独立完成某一步骤时，相应的引导信息会被标记为冗余并在后续rollouts中移除。这一调整过程完全由任务特定评估驱动，无需人工干预。

从直觉上看，这一设计与人类学习中的"脚手架"（scaffolding）理论高度吻合。在认知发展的早期阶段，学习者需要大量具体的指导；随着能力提升，这些支撑应逐渐撤除，让学习者发展出独立的解决问题的能力。PATS 将这一理念迁移到了 LLM 智能体的训练过程中，使得训练支架本身成为了策略的函数——支架的存在形态取决于策略当前的能力水平。

策略优化与部署分离。 在训练阶段，PATS 采用标准的 [[RLVR]]（Reinforcement Learning with Verifiable Rewards）方式，利用环境提供的任务完成奖励来优化策略。值得注意的是，证据卡等支架信息仅在训练期间参与上下文构建，模型在推理部署时完全丢弃这些组件——这保证了部署阶段的推理开销与标准模型无异，也意味着最终产出的策略必须真正学会独立完成任务，而非依赖训练时的额外提示。

整体框架可以形式化为一个迭代过程：每一轮迭代中，策略 ${\pi }_{\theta }$ 生成 rollout 集合 $\{{\tau }_i\}$，这些轨迹经评估后转化为证据卡集合 $E$，评估函数 $f(\tau ,\text{task})$ 决定如何调整上下文中的引导强度，调整后的上下文 $c_{\text{adapted}}$ 用于生成下一轮 rollout，策略则通过奖励信号 $r(\tau ,\text{task})$ 进行更新。

实验与结果

论文在三类基准上验证了 PATS 的有效性：ALFWorld（多步家务操作）、WebShop（电商网站导航）以及七个检索增强问答基准。这些任务覆盖了长视野推理、环境交互和知识密集型问答等不同类型的挑战，能够较为全面地评估方法在不同场景下的泛化能力。

实验设置上，PATS 的对比基线包括当前最优的技能中心方法以及标准 RLVR 训练方案。在同等训练预算下，PATS 的最终任务完成率与基线相当，但在 token 消耗上实现了显著节省——具体而言，减少幅度在 25% 到 50% 之间。这意味着 PATS 不仅没有因为引入证据卡机制而增加计算开销，反而通过更高效的训练轨迹利用，降低了总体资源需求。

这一结果的深层含义值得玩味。token 消耗的节省主要来自两方面：其一，证据卡帮助策略更快找到正确解法路径，减少了因反复试错产生的无效 rollouts；其二，自适应调整机制在策略成熟后及时移除了冗余指导，避免了过度上下文带来的冗余计算。两者共同作用，使得训练效率大幅提升。

值得注意的是，论文还通过消融实验验证了证据卡机制和上下文自适应调整各自的贡献。移除证据卡直接导致性能下降，说明将 rollout 转化为结构化上下文信息确实有助于学习；移除自适应调整（即始终保持高强度引导）则导致训练后期策略能力受限，表明持续引导会阻碍独立解法能力的习得。

讨论与可借鉴点

PATS 展示了一条以策略为中心的训练思路，其核心贡献在于将训练支架从静态的技能库转化为动态的、响应策略状态的上下文机制。这一转变解决了技能中心方法的根本局限：技能库一旦构建便相对固定，难以根据训练进展灵活调整。

从更宏观的视角看，PATS 的设计呼应了[[课程学习]]（curriculum learning）中的难度递进理念——只不过它不是预设任务难度序列，而是让策略自身的能力状态来决定何时需要辅助、何时可以独立。这种"策略感知"的特性使得训练过程更加贴合学习者的实际需求，避免了过早撤除帮助导致的停滞，也避免了过晚撤除帮助导致的依赖。

当然，PATS 也存在一些局限。首先，证据卡的生成和上下文调整依赖于任务评估函数的质量，对于缺乏明确评估标准的开放性任务，这一机制的效果可能打折扣。其次，论文主要验证的是短中期训练场景下的效果，对于极长周期的持续学习，证据卡累积可能带来的上下文膨胀问题尚未充分讨论。

对于后续研究而言，PATS 提供了一个有价值的视角：训练支架的设计不应仅关注"如何提供帮助"，更应关注"何时提供帮助"以及"何时停止帮助"。将这一思想与其他方向结合——例如与模型蒸馏结合实现支架知识的隐式化，或与多任务学习结合实现跨任务证据迁移——都是值得探索的方向。

摘要

在长视野LLM智能体强化学习中，弱策略常常重复类似的失败，产生的rollout轨迹缺乏信息量，从而限制了有效的策略优化。现有的以技能为中心的方法通过优化、过滤或内化可复用技能来改善探索。然而，这些方法仍以技能本身为中心，而非被设计为针对演化中策略的自适应训练时支持。为解决此问题，我们提出了一种以策略为中心的训练范式，将技能重新定义为动态的训练支架。我们的框架PATS将来自最新策略的rollout分组转化为证据卡，并利用任务特定评估来调整后续rollout所使用的上下文。具体化的指导有助于弱策略完成具有挑战性的任务。随着策略的改进，多余的上下文被修订或移除，以减少对显式指导的依赖，同时保留有用的rollout多样性。策略通过标准RLVR利用环境奖励进行优化，训练支架在部署时被丢弃。在ALFWorld、WebShop以及七个搜索增强问答基准上，PATS以少25%–50%的token实现了与当前最优基线相当的性能。

Abstract

In long-horizon LLM agent reinforcement learning, weak policies often repeat similar failures, producing uninformative rollout trajectories and limiting effective policy optimization. Existing skill-centric methods improve exploration by optimizing, filtering, or internalizing reusable skills. However, they remain centered on the skills themselves rather than being designed as adaptive training-time support for the evolving policy. To address this, we propose a policy-centric training paradigm that reframes skills as a dynamic training scaffold. Our framework, PATS, converts rollout groups from the latest policy into evidence cards and uses task-specific evaluation to adjust the context used in subsequent rollouts. Concrete guidance helps weak policies to complete challenging tasks. As policy improves, redundant context is revised or removed to reduce reliance on explicit guidance while preserving useful rollout variation. The policy is optimized with environmental rewards using standard RLVR, and the training scaffold is discarded at deployment. Across ALFWorld, WebShop, and seven search-augmented QA benchmarks, PATS achieves performance competitive with SOTA baselines while using 25%-50% fewer tokens.