专家行为先验强化学习

📊 论文图表(共 4 张)

展开查看 4 张图

‹ ›

TL;DR

行为先验强化学习（BPRL）通过离线演示数据提取策略先验来提升在线学习的样本效率，但传统方法受限于静态离线数据集的多样性不足和轨迹质量欠佳。本文提出的专家行为先验（EBP）算法创新性地从在线回放缓冲直接学习生成高价值专家策略先验，并配合策略梯度校正机制实现稳定策略改进。在Gym、PyBullet与DMControl基准上的实验表明，EBP显著超越现有在线强化学习方法，收敛更稳定、样本效率更高。

研究背景与动机

强化学习（RL）在机器人控制和工业自动化等领域展现出巨大潜力，但 [[样本效率]] 低下的问题一直制约着其在真实场景中的广泛应用。离线预训练结合在线微调的范式提供了一种解决思路：利用预先收集的专家演示数据提取策略先验，帮助智能体更快地学到有效策略。

然而，现有的大多数行为先验强化学习方法存在根本性局限。这些方法依赖静态离线数据集，而真实场景中的离线数据往往面临多重困境：数据多样性不足意味着先验难以覆盖充分的状态空间；轨迹质量参差不齐会引入次优甚至错误的行为模式；更关键的是，离线数据是预先收集的，无法随着在线训练进程动态调整。当智能体探索到新的状态区域时，静态先验可能完全失效，导致探索效率低下和学习动态不稳定。

针对这些局限，本文的研究切入点非常明确：能否不依赖预存的离线数据，而是直接从智能体自身的在线经验中学习和生成策略先验？这意味着先验能够随着学习进程动态演化，始终反映当前最优策略的知识。

方法

EBP的核心创新在于提出了一套从在线经验中动态生成高质量策略先验的完整方案。整体框架包含三个关键模块：Q-CVAE负责从回放池中学习生成专家动作先验，EPG从生成的支持集中选择最优专家动作，PGC则协调Q引导与专家监督以保证稳定优化。

Q引导条件变分自编码器（Q-CVAE） 是整个算法的核心组件。传统 [[变分自编码器]] 是无监督生成模型，学习重建输入数据的潜在表示。而Q-CVAE的创新之处在于引入了Q值作为条件变量，使得生成的动作分布天然带有价值信息。具体而言，编码器将状态-动作对映射到潜在空间，Q值作为额外条件输入影响潜在表示的分布参数。解码器在给定状态和潜在变量时重建对应的动作，但重建目标不仅是最小化重构误差，更重要的是让生成的动作分布与高Q值区域对齐。这种设计带来一个关键优势：随着在线训练的推进，回放池中积累的经验越来越丰富，Q-CVAE能够持续学习新出现的有效动作模式，生成的先验始终反映当前最优策略的知识。

专家策略引导（EPG） 机制进一步增强了策略利用的可靠性。直接使用Q-CVAE生成的动作作为先验存在风险：Q值估计本身可能存在偏差，过度依赖生成动作可能导致策略过早收敛。EPG的解决方案是从Q-CVAE生成的支持集中选择性地提取专家动作。这里的关键在于条件采样机制——通过精心设计的采样策略，确保生成的动作不仅与当前状态相关，还具有较高的价值估计。这种选择性利用既避免了盲目追随次优生成动作，又充分利用了生成式先验的价值信息。

策略梯度校正（PGC） 模块则引入了经典的策略优化信号来平衡Q引导的潜在偏差。虽然生成式先验能够提供有价值的动作建议，但纯粹的Q引导可能忽略策略梯度方向上的有效信息。PGC的核心思想是让策略更新同时考虑生成先验的引导和原始策略梯度的校正。形式化地，可以理解为在标准 [[策略梯度]] 基础上引入了一个校正项，该校正项来自生成先验与当前策略之间的偏离程度。当生成先验与当前策略一致时，校正项较小，策略按常规梯度更新；当两者出现显著偏差时，校正项引导策略向生成先验靠近，同时避免过大的跳跃导致学习不稳定。

这三个模块的协同工作形成了EBP的核心逻辑：Q-CVAE从在线经验中学习价值感知的动作分布，EPG从中筛选出可靠的专家动作，PGC则确保策略更新既有生成先验的引导又保持稳定的一致性改进。

实验与结果

实验在三类基准环境中系统验证了EBP的有效性：Gymnasium的经典连续控制任务、PyBullet的仿真机器人环境，以及DMControl的工业控制场景。这些环境涵盖了从低维到高维状态空间的多种任务复杂度，能够全面评估算法的泛化能力。

对比基线包括当前最先进的在线强化学习算法SAC、TD3、PPO，以及结合离线先验的DDPG+BC方法。实验结果清晰地表明，EBP在所有基准上都取得了显著的性能提升。以Gym环境的Hopper任务为例，EBP在50万步交互内达到了接近最优的奖励值，而SAC需要近百万步才能收敛相近水平。更值得注意的是，EBP的收敛曲线波动明显更小，表明学习过程更加稳定。

消融实验进一步验证了各模块的贡献。移除Q-CVAE直接使用随机采样的先验，性能大幅下降，说明价值感知的生成机制至关重要。移除EPG仅依赖Q-CVAE生成动作，性能也有明显退化，证实了选择性利用的重要性。单独移除PGC时，虽然最终性能相近，但收敛过程中的方差显著增加，说明策略梯度校正在稳定学习动态方面不可替代。

样本效率的提升是EBP最具实际价值的优势。在真实机器人控制等应用中，每一步交互都意味着时间成本和机械磨损，EBP能够让智能体从更少的在线经验中学习到有效策略，这直接拓展了强化学习在现实世界中的应用可能性。

讨论与可借鉴点

EBP为 [[样本效率]] 问题提供了一条有别于传统方法的新路径。传统的做法要么依赖大量离线数据，要么通过复杂的探索策略来弥补效率不足。EBP的思路则更为优雅：既然离线数据质量难以保证，不如直接从在线经验中提炼高质量的策略知识。Q-CVAE的引入实现了这一目标，将 [[变分自编码器]] 的生成能力与强化学习的价值评估有机结合。

EPG和PGC的协同设计也值得借鉴。生成式先验提供了一种高效的动作引导方式，但纯粹的生成模型缺乏对策略优化目标的直接感知。通过PGC引入策略梯度校正，既保留了生成先验的价值信息，又确保了策略更新方向的合理性。这种协调Q引导与专家监督的思路，为解决强化学习中探索与利用的平衡问题提供了新视角。

当前实现也存在一些局限。在极高维动作空间或极度稀疏奖励的极端场景下，Q-CVAE的生成质量可能受到影响。此外，从在线经验中学习生成先验需要额外的计算资源，在资源受限的场景中可能需要权衡。在线计算开销的优化——例如通过模型缓存或知识蒸馏——是值得探索的未来方向。

从更宏观的角度看，EBP展示了生成式模型在强化学习中除图像生成外的另一重要应用场景。将高质量动作分布的建模与价值评估相结合，可能是提升样本效率的一条有效途径。这一思路对其他依赖高质量动作先验的强化学习应用，如机器人灵巧操作和自动驾驶决策，都具有启发意义。

摘要

行为先验强化学习（BPRL）已成为一种有前景的范式，它通过利用从离线演示中提取的策略先验来提高在线强化学习（RL）的样本效率。然而，现有的大多数 BPRL 方法依赖于静态离线数据集，这类数据通常存在数据多样性低和轨迹质量次优的问题。这种依赖性限制了策略先验的有效性，阻碍了在线训练过程中的策略利用和稳定性。因此，智能体容易出现探索效率低下和学习动态不稳定的问题。为解决这些局限，我们偏离现有的离线预训练方法，提出了一种专家行为先验（EBP）算法。具体而言，我们引入了一种 Q 引导条件变分自编码器（Q-CVAE），它能够直接从在线经验回放池中学习生成专家策略先验。这使得生成用于引导策略更新的高价值动作成为可能，而无需依赖预先收集的专家轨迹。为进一步增强策略利用，我们提出了一种专家策略引导（EPG）机制，从生成式支持集中选择专家动作，并将策略梯度校正（PGC）模块集成进来，以协调 Q 引导与专家监督，从而促进稳定且一致的策略改进。在机器人控制（Gym、PyBullet）和工业控制（DMControl）基准上开展的大量实验表明，EBP 显著优于最先进的在线强化学习算法，实现了更高的样本效率和更稳定的收敛。

Abstract

Behavior prior reinforcement learning (BPRL) has emerged as a promising paradigm to improve sample efficiency in online reinforcement learning (RL) by leveraging policy priors derived from offline demonstrations. However, most existing BPRL methods rely on static offline datasets, which often suffer from low data diversity and suboptimal trajectory quality. This reliance restricts the effectiveness of policy priors, hindering both policy exploitation and stability during online training. Consequently, agents are prone to inefficient exploration and unstable learning dynamics. To address these limitations, we deviate from existing offline pre-training methods and propose an Expert Behavior Prior (EBP) algorithm. Specifically, we introduce a Q-guided conditional variational autoencoder (Q-CVAE) that learns to generate expert policy priors directly from the online replay buffer. This enables the generation of high-value actions for guiding policy updates without relying on pre-collected expert trajectories. To further enhance policy exploitation, we propose an expert policy guidance (EPG) mechanism that selects expert actions from a generative support set, and we integrate a policy gradient correction (PGC) module to harmonize Q-guidance with expert supervision, promoting stable and consistent policy improvement. Extensive experiments conducted on robotic control (Gym, PyBullet) and industrial control (DMControl) benchmarks demonstrate that EBP significantly outperforms state-of-the-art online RL algorithms, achieving higher sample efficiency and more stable convergence.