面向轨迹跟踪的预期性强化学习

📊 论文图表(共 1 张)

展开查看 1 张图

‹ ›

TL;DR

这篇论文针对工业控制中深度强化学习依赖当前误差进行反应式控制导致的滞后与超调问题，提出将目标速度与多步未来参考轨迹加入 PPO 状态空间实现预见式决策。在 1 自由度直升机平台上的仿真实验中，误差降低了约 9 倍；但向真实硬件的零样本迁移暴露了明显的 sim-to-real 差距。出乎意料的是，仅使用单一远距前瞻时域的简单配置，其实物表现就能与最复杂模型的最佳性能持平，这说明高粒度预测数据并非物理迁移的必要条件。

研究背景与动机

在工业自动化领域，精确的轨迹跟踪是数控机床、机械臂、无人机等系统的核心能力。传统控制方法如 PID 控制器虽然计算简单、易于调参，但在面对非线性 dynamics、参数不确定性或复杂约束时往往力不从心。近年来，[[深度强化学习]]（DRL）凭借其端到端学习能力被寄予厚望——理论上智能体可以直接从环境交互中学会最优控制策略，无需精确建模。

然而，DRL 在工业控制场景中的实际应用远不如游戏或仿真环境那样顺利。问题的根源在于大多数 DRL 方法采取的是纯反应式控制策略：智能体仅根据当前的系统状态和跟踪误差来做出决策。这种「只看眼前」的方式在跟踪变化的目标轨迹时存在固有的时间延迟——当智能体基于当前误差调整动作时，实际执行后的系统响应可能已经落后于参考轨迹的变化，从而产生超调或振荡。

为了让控制器具备「预见未来」的能力，一个朴素的想法是增加前瞻窗口，将未来若干时刻的参考轨迹信息一并输入策略网络。但这会带来状态维度的膨胀和计算开销的上升，在资源受限的嵌入式控制器上难以部署。因此，如何以轻量级的方式实现预期性控制，成为一个既有理论意义又有工程价值的问题。

方法

这篇论文的核心思路简洁而巧妙：将目标速度和未来参考轨迹显式地嵌入到 PPO 的状态空间中，让策略网络在决策时能够「看见」即将到来的目标变化，从而提前做出响应。

具体而言，原始的状态向量通常只包含当前关节角度 ${\theta }_t$、角速度 ${\dot{\theta }}_t$ 以及当前时刻的参考角度 ${\theta }_t^{\ast }$。论文将其扩展为包含目标速度 ${\dot{\theta }}_t^{\ast }$ 和 $N$ 步前瞻参考轨迹的状态空间：

其中前瞻步数 $N$ 和目标速度的包含与否构成了不同配置的差异维度。直觉上，更多的前瞻步数意味着更丰富的未来信息，控制器应当能够更早地预判轨迹变化并做出平滑的调整。

作者设计了八种配置进行对比实验，涵盖前瞻时域从 $N=1$ 到 $N=8$ 的不同设置，以及是否加入目标速度的两两组合。值得注意的是，这些配置的策略网络结构保持不变，输入维度的增加仅通过调整第一层网络的输入节点数来实现。这意味着实验结果的差异主要源于状态空间的信息含量，而非网络容量的变化。

在训练层面，论文采用标准的 [[近端策略优化]]（PPO）算法，使用相同的学习率、折扣因子和信任域约束参数，确保比较的公平性。奖励函数设计为误差的负二次形式，鼓励策略最小化跟踪偏差。

实验与结果

实验平台为一台 1 自由度直升机测试台，它提供了一个受控的旋转自由度，能够在保持实验可重复性的同时捕捉真实的物理动力学特性。训练阶段在仿真环境中完成，随后将学习到的策略直接部署到真实硬件上进行零样本迁移测试。

仿真结果呈现出明显的性能提升趋势。将所有前瞻配置的跟踪误差与基准的纯反应式方法进行对比，平均绝对误差从 2.73° 降至 0.31°，改善幅度接近 9 倍。这一数字有力地证明了预见式决策对于轨迹跟踪任务的重要性：当策略能够「看见」未来时，它学会了在参考轨迹变化之前就预先调整控制输出，从而避免了反应式控制中常见的滞后现象。

然而，仿真到现实的迁移揭示了一个严峻的 [[仿真到现实差距]]。真实硬件上的跟踪精度显著低于仿真环境，表明仿真模型与物理系统之间存在不可忽视的建模误差——可能是摩擦力非线性、执行器延迟或传感器噪声等因素未能被仿真器准确捕捉。

真正令人意外的是实物迁移后的排名变化。在仿真中表现最优的配置（最远前瞻 $N=8$ 且包含目标速度）在真实硬件上并未独占鳌头。恰恰相反，仅使用单一远距前瞻时域（$N=1$ 但选取更远的时间点）和不包含目标速度的简单配置，其实际表现达到了所有配置中的顶尖水平，与最复杂模型的最高性能（1.11°）相当。

这一反直觉的结果暗示，过度精细的预测信息在仿真环境中可以带来边际收益，但在物理迁移时反而可能成为过拟合仿真动力学特性的隐患。简化的前瞻策略因其对环境细节的依赖更少，反而展现出了更强的鲁棒性。

讨论与可借鉴点

这项工作的一个核心启示是关于 [[深度强化学习]] 在物理系统控制中的设计哲学：仿真环境中表现最优的设计，在真实世界未必是最优的。$N=8$ 配置之所以在仿真中领先，是因为它充分利用了仿真器提供的完美前瞻信息；但这种优势建立在一个隐含假设之上——仿真与现实的动力学完全一致。一旦这个假设破裂，过度依赖仿真细节的策略反而更脆弱。

论文作者将这一现象解读为「高粒度预测数据并非物理迁移的必要条件」。从迁移学习的视角看，这实际上是一种正则化效应：减少前瞻步数或简化状态表示，某种程度上降低了策略对仿真环境特定属性的记忆，转而学习到更加抽象和鲁棒的跟踪规律。

这项研究的局限也是显而易见的。1 自由度平台相对简单，结论在多关节机械臂或无人机等高维系统上的可推广性有待验证。此外，实验仅考察了零样本迁移，如果引入域随机化或系统辨识等 sim-to-real 桥接技术，结果可能会有不同面貌。

对于工业控制领域的研究者和工程师而言，这篇论文提供了一个务实的建议：预见式控制的价值毋庸置疑，但在设计状态空间时不必追求多多益善。一个经过审慎选择的远距前瞻窗口，配合简洁的状态表示，可能比堆砌大量预测信息更能兼顾仿真性能和物理鲁棒性。在资源受限的嵌入式部署场景下，这种轻量化设计也意味着更低的推理延迟和更小的内存占用。

摘要

工业控制中的深度强化学习（DRL）由于仅基于当前跟踪误差进行反应式控制，常常存在滞后和超调问题。为在不增加高计算开销的前提下实现预期性控制，我们引入了一种预测式建模方法，通过将目标速度和未来参考时域加入 DRL 状态空间进行增强。在 1 自由度（1-DoF）直升机测试平台上，使用近端策略优化（PPO）对八种配置进行了评估，仿真结果显示误差降低了 9 倍，平均绝对偏差从 2.73° 降至 0.31°。然而，向物理硬件的零样本迁移揭示了仿真到现实的差距。有趣的是，使用单个更远前瞻时域的更简单配置在实际表现上与最复杂模型的最高性能（1.11°）相当。总体而言，对各种预测时域和目标速度组合的评估表明，高度精细的预测数据并非物理迁移所必需。

Abstract

Deep reinforcement learning (DRL) in industrial control often suffers from lag and overshoot due to purely reactive control based on the current tracking error. To achieve anticipatory control without high computational overhead, we introduce a predictive formulation that augments the DRL state space with target velocities and future reference horizons. Evaluating eight configurations using proximal policy optimization (PPO) on a 1-degree-of-freedom (1-DoF) helicopter testbed, simulation results showed a 9-fold error reduction, lowering the mean absolute deviation from 2.73° to 0.31°. However, zero-shot transfer to physical hardware revealed a sim-to-real gap. Interestingly, a simpler configuration using a single, further look-ahead horizon matched the real-world top performance of the most complex model (1.11°). Overall, evaluating various combinations of prediction horizons and target velocities demonstrated that highly granular predictive data is not necessarily required for physical transfer.