arXiv 2607.16177v1 · 发布 2026-07-17

用于动力系统实时最优控制的物理增强强化学习

Physics-enhanced reinforcement learning for real-time optimal control of dynamical systems

AUTHORS Matteo Tomasetto, Nicolò Botteghi, Gabriele Bruni, Andrea Manzoni

EVIDENCE 面向复杂动力系统控制的物理增强强化学习算法

SCORE 0.9

GENERATED 2026-07-20 21:44:16 UTC

📝 TLDR

强化学习在高维非线性动力系统最优控制中样本效率低、扩展困难。本文提出物理增强强化学习PEARL，利用系统动力学的可微性，借助自动微分在短视野内计算策略梯度，并以神经网络近似伴随灵敏度估计未来回报，从而大幅减少环境交互并缓解长程梯度不稳定。在两例非定常流参数导航任务上的实验表明，该方法样本高效、跨参数工况泛化，并可直接扩展至高维状态与动作空间。该工作为复杂流场的实时最优控制提供了一条融合物理先验与RL的新路径。

🧭 速览

动机

传统强化学习在高维非线性动力系统控制中样本效率低，难以处理高维状态—动作空间。

方法

PEARL采用actor-adjoint算法，结合自动微分计算短视野策略梯度，并利用神经网络近似伴随灵敏度估计未来回报。

结果

在两例非定常流参数导航任务中，PEARL样本高效、跨参数工况泛化，并能直接扩展至高维状态—动作空间。

结论

将物理可微性与强化学习融合，为高维复杂动力系统的实时最优控制提供了一条新路径。

📊 论文图表(共 2 张)

展开查看 2 张图

TL;DR

本文提出物理增强强化学习 PEARL，针对高维非线性动力系统的最优控制问题，将强化学习与可微物理仿真相结合。核心思路是利用自动微分在短视野内计算精确策略梯度，并通过神经网络学习未来回报的伴随灵敏度，从而将样本效率提升一到两个数量级，同时避免长程反向传播的梯度不稳定。在双涡旋流场导航任务和大规模 PDE 分布式控制任务上的实验表明，该方法相比 PPO、TD3、BPTT 等基线在控制性能和泛化能力上均有显著优势。

研究背景与动机

非线性动力系统的最优控制长期是控制理论与应用的核心挑战。以流场中自主航行体的路径规划为例，控制系统需要在时变、非线性、高维的状态空间中做出实时决策，同时满足能耗最小化、避障、安全约束等多元目标。传统方法面临两难：强化学习框架下的模型无关算法虽然具有闭环控制和泛化潜力，但样本效率极低，需要与物理环境进行成千上万次交互才能收敛——而每次仿真都可能耗费数分钟甚至数小时；基于模型的优化控制（如模型预测控制、伴随方法）虽然理论上可以利用系统动力学精确计算控制动作，但通常只能给出开环解，在线计算复杂度也难以满足实时性要求。

这种困境的根源在于梯度信息的获取方式。模型无关强化学习依赖随机探索来估计价值函数的期望，这种方式在高维连续动作空间中本质上是一种"暴力搜索"，探索-利用困境导致的维度灾难使得几乎不可能在有限样本内找到有意义的控制策略。模型无关方法虽然通过策略梯度等技巧部分缓解了这一问题，但长时域信用分配仍然是悬而未决的难题——动作对最终奖励的贡献需要经过数十甚至数百步的传递才能显现，梯度估计的方差随时间步指数增长，导致训练过程极不稳定。

本文的切入点是将物理动力学的结构先验引入强化学习框架。现代科学计算工具已经能够对复杂物理仿真进行自动微分，这意味着我们可以精确计算系统状态对控制输入的梯度信息。如何利用这种可微性来设计一种兼具闭环控制能力与高样本效率的算法，是本文探索的核心问题。

方法

PEARL 的核心是 actor-adjoint 架构，其设计哲学可以用一句话概括：在可以精确计算梯度的地方用梯度，在无法精确获取长期信息的地方用神经网络近似。

考虑确定性离散动力学系统 $y_{k + 1} = F (y_{k}, u_{k}, μ)$ ，其中 $y_{k}$ 是系统状态， $u_{k}$ 是控制输入， $μ$ 是系统参数（如流场速度、障碍物位置等）。最优控制问题的目标是找到参数化的策略网络 $π (y, μ; θ)$ 使得累积回报最小：

θ min J (θ) = k = 0 \sum N_{t} - 1 L (y_{k}, u_{k}, μ) + ϕ (y_{N_{t}}, μ)

第一眼看这个问题，最直接的做法是对整个轨迹做反向传播来计算策略梯度 $\nabla_{θ} J$ 。然而，当轨迹长度 $N_{t}$ 达到数百甚至数千步时，梯度消失与爆炸问题几乎不可避免——每一步的 Jacobian 连乘使得早期时间步的梯度要么趋近于零，要么趋向无穷大。更关键的是，这种计算方式需要保存整个轨迹的中间状态，内存消耗在实际应用中往往不可承受。

PEARL 的关键创新在于引入伴随方法来处理这一困境。伴随变量 $λ_{k}$ 被定义为价值函数对状态的梯度，即 $λ_{k} = \nabla_{y_{k}} V^{π} (y_{k}, μ)^{⊤}$ 。利用链式法则和系统动力学的关系，可以推导出伴随变量的反向递推方程：

λ_{k} = (\frac{\partial F}{\partial y _{k}} + \frac{\partial F}{\partial u _{k}} \frac{\partial π}{\partial y _{k}})^{⊤} λ_{k + 1} + (\frac{\partial L}{\partial y _{k}} + \frac{\partial L}{\partial u _{k}} \frac{\partial π}{\partial y _{k}})^{⊤}

这个递推关系有一个极其重要的性质：计算 $λ_{k}$ 只需要知道 $λ_{k + 1}$ 和当前时刻的局部梯度，与策略参数 $θ$ 的维度完全解耦。也就是说，无论策略网络有多大，我们都可以在固定内存开销下完成梯度计算。

基于这一理论洞察，PEARL 采用"短视野更新"策略：将整个轨迹截断为长度为 $h$ 的短段，只在这个短段内计算策略梯度：

\nabla_{θ} J_{h} = k = k_{0} \sum k_{0} + h - 1 (\frac{\partial L}{\partial u _{k}} + \hat{λ}_{k + 1}^{⊤} \frac{\partial F}{\partial u _{k}}) \frac{\partial π}{\partial θ}

这里 $\hat{λ}_{k_{0} + h}$ 是短视野末端的伴随变量估计。直觉上，如果视野太短，这个估计会丢失大量长期奖励信息；如果视野太长，梯度不稳定问题会卷土重来。

为了解决短视野导致的长期信息缺失，PEARL 引入了一个专门的 adjoint network 来学习终端伴随变量的函数近似。这个网络以当前状态 $y_{k_{0} + h}$ 和参数 $μ$ 为输入，输出对未来累积回报的梯度估计。网络的训练目标通过 TD- $λ$ 风格的反向递推生成，这个设计在概念上类似于价值函数的时序差分学习，但直接学习的是梯度而非标量值，从而保留了更多的结构信息。

与同领域的 SHAC 方法相比，PEARL 的核心区别在于：SHAC 学习价值函数 $V$ 本身，而 PEARL 直接学习价值函数的梯度（即伴随变量）。从信息论角度看，梯度包含了价值函数的一阶结构信息，在策略优化中具有更直接的指导意义，特别是在策略改进方向的选择上比标量价值估计更具判别力。

实验与结果

实验设计围绕两个核心验证目标展开：一是 PEARL 在标准设置下能否超越现有强化学习算法，二是该方法能否真正扩展到高维物理场控制场景。

第一个任务称为 Leader-Follower Game，模拟 follower 粒子在非定常双涡旋流场中追踪 leader 粒子的运动。状态空间为二维位置，动作空间为二维速度，控制目标是使 follower 尽可能靠近 leader，同时最小化控制能耗。系统参数 $μ$ 随时间变化（leader 的实时位置），这要求控制策略必须具备参数化泛化能力——同一策略需要能够应对任意时刻 leader 可能出现的任何位置。

在这个任务上，PEARL 在稠密奖励和稀疏奖励两种设置下均显著优于对比方法。PPO 和 TD3 由于样本效率太低，训练1500个 episode 后仍未能收敛到可行控制策略；BPTT 虽然理论上可以精确计算梯度，但长程反向传播导致训练初期梯度爆炸；SHAC 的性能介于 PEARL 和基线方法之间，但在稀疏奖励场景下收敛速度和最终性能都略逊一筹。PEARL 能够在约500个 episode 内达到稳定收敛，且训练过程中控制动作始终保持平滑，未出现基线方法常见的早期控制发散现象。

第二个任务是 Mean-Field Leader-Follower，状态空间通过有限元方法离散达到2145维，控制动作空间更是高达4290维（分布式控制，每个网格节点独立施加速度边界条件）。这已经是一个典型的大规模 PDE 最优控制问题，传统的模型无关强化学习方法在这种规模下几乎不可能学习有效策略——动作维度的指数增长使得探索空间变得不可理解，信用分配问题进一步恶化。

实验结果清晰地展示了 PEARL 的可扩展性优势。在2145维状态、4290维动作的高维空间中，PEARL 与其改进版 SHAC-MOD 仍能学习到有意义的控制策略，而 PPO 和 TD3 在训练初期即出现梯度爆炸，PPO 的策略熵迅速降至零（策略退化），TD3 的 Q 值估计发散到无穷大。这一对比有力地证明了伴随灵敏度估计与参数维度的解耦性质——计算 $\hat{λ}_{k + 1}$ 的代价与动作空间维度无关，这正是 PEARL 能够突破维度灾难的本质原因。

泛化能力是参数化控制任务的关键指标。论文在不同初始条件下测试了训练好的策略：leader 出现在训练时未见过的位置，follower 的初始位置也经过扰动。结果显示，PEARL 学到的策略在这些未见过的测试场景中仍能保持良好的追踪性能，体现了物理引导学习的鲁棒性。

讨论与可借鉴点

PEARL 最重要的理论贡献在于建立了伴随方法与强化学习中价值函数之间的显式联系。从 $λ_{k} = \nabla_{y_{k}} V^{π} (y_{k}, μ)^{⊤}$ 这一等价关系出发，我们得以将传统最优控制中成熟的梯度计算技术移植到策略优化框架中。这种跨领域的知识迁移为后续研究提供了一条可行路径：任何具有可微仿真器的物理领域都可以尝试类似的融合方案。

从工程角度看，PEARL 的设计原则具有广泛的借鉴价值。"在可微的地方用梯度，在不确定的地方用近似"——这种混合策略既保留了物理模型的精确性，又引入了数据驱动学习的灵活性。adjoint network 的引入使得我们可以将计算复杂度与策略参数维度解耦，这对于将强化学习应用于大规模科学计算问题具有重要的启发意义。

当然，现阶段的方法仍有明显的局限性。最根本的前提假设是环境动力学必须可微，这排除了含有接触碰撞、摩擦滞回、随机微分方程等不可微环节的物理系统。在这些场景中，如何构建近似可微模型或设计替代的梯度估计方法，仍是开放问题。此外，论文仅验证了确定性动力系统下的表现，测量噪声、部分可观测性、模型不确定性等实际控制中常见的挑战尚未涉及。adjoint network 的架构设计、短视野长度 $h$ 的选择策略、TD- $λ$ 参数的敏感性分析等问题也缺乏系统性的消融研究。

这些未解问题同时也指明了未来的研究方向。将 PEARL 拓展到湍流控制、机器人manipulation、能源系统调度等更广阔的场景，需要在可微仿真器的构建、近似梯度的置信度评估、以及闭环稳定性保证等层面做出进一步努力。

摘要

强化学习（RL）近年来已成为非线性复杂动力系统的一种有前途的反馈控制策略。然而，强化学习算法样本效率低下，需要与环境进行大量交互才能合成最优控制策略。因此，由于高维空间中探索-利用困境所带来的维度灾难，强化学习的应用通常局限于稀疏的传感器和执行器。在本工作中，我们将强化学习与传统最优控制相结合，提出了一种新颖的物理增强强化学习（PEARL）范式，专为高维参数化动力系统的控制而设计，充分利用了其动力学的可微性。具体而言，PEARL采用一种actor-adjoint算法，利用自动微分技术在短时间范围内计算策略梯度，并通过神经网络近似未来回报的基于伴随的灵敏度，从而显著减少与环境交互的次数，同时缓解长期梯度不稳定问题。通过两个具有挑战性的非定常流参数化导航问题，我们证明PEARL：（i）能够有效利用可微环境，性能优于最先进的强化学习算法；（ii）样本高效，这得益于物理引导的策略学习；（iii）能够在多种场景间泛化，这对于处理参数化系统至关重要；（iv）能够将强化学习扩展到高维状态和动作空间，而无需依赖低维状态表示或多智能体策略。

Abstract

Reinforcement learning (RL) has recently emerged as a promising feedback control strategy for nonlinear and complex dynamical systems. However, RL algorithms are sample inefficient and require a large number of interaction with the environment to synthesize optimal control strategies. Consequently, applications of RL are typically limited to sparse sensors and actuators due to the curse of dimensionality entailed by the exploration-exploitation dilemma in high-dimensional spaces. In this work, we bridge RL and traditional optimal control for dynamical system with a novel Physics-EnhAnced Reinforcement Learning (PEARL) paradigm tailored to the control of high-dimensional and parametric dynamical systems, exploiting the differentibility of their dynamics. Specifically, PEARL employs an actor-adjoint algorithm that leverages automatic differentiation to compute policy gradients over short horizons and adjoint-based sensitivities of future returns approximated via neural networks, significantly reducing the number of environment interactions, while mitigating long-term gradient instabilities. Through two challenging parametric navigation problems in unsteady flows, we show that PEARL (i) effectively exploits differentiable environments to outperform state-of-the-art RL algorithms, (ii) is sample efficient, thanks to the physics-guided policy learning, (iii) generalizes across multiple scenarios, which is crucial when dealing with parametric systems, and (iv) enables scaling RL to high-dimensional state and action spaces, without requiring low-dimensional state representations or multi-agent strategies.

论文详细总结（自动生成）

物理增强强化学习（PEARL）论文总结

1. 核心问题与研究动机

传统强化学习（RL）在面对非线性、高维、参数化动力系统的最优控制时存在根本性瓶颈：

样本效率低下：模型无关（model-free）RL 需与"环境"进行大量交互（rollouts）才能学到有效策略，而物理系统仿真代价高昂。
维度灾难：在高维连续动作空间中，随机探索几乎不可能获得有意义的奖励信号，导致梯度估计失真、过早陷入局部最优。
信用分配困难：长时域下难以判断某步动作对最终成败的贡献。
传统最优控制（OC）的局限：依赖物理约束的优化方法（如伴随方法、MPC）通常只能求解开环控制，且对中等规模以上系统在线计算不可行。

由此产生的核心问题：如何将物理动力学的可微先验与 RL 框架结合，在保证闭环实时控制能力的前提下，提升样本效率并扩展至高维动作空间？

2. 提出的方法论

2.1 核心思想

作者提出 PEARL（Physics-EnhAnced Reinforcement Learning），其本质是 actor-adjoint 算法，整合三大要素：

1. 利用环境动力学的可微性（如 PyTorch/JAX/FEniCS-adjoint）；

2. 借助自动微分（AD）在短视野 $h ≪ N_{t}$ 内计算精确策略梯度，规避 BPTT 的梯度消失/爆炸；

3. 用神经网络（adjoint network）近似终端伴随变量 $\hat{λ}_{k_{0} + h}$ ，以恢复被截断的长期依赖信息。

2.2 关键理论推导

在确定性动力学 $y_{k + 1} = F (y_{k}, u_{k}, μ)$ 下，最优控制问题等价于：

θ min J (θ) = k = 0 \sum N_{t} - 1 L (y_{k}, π (y_{k}, μ; θ), μ) + ϕ (y_{N_{t}}, μ)

利用伴随方法（或等价地反向 AD），策略梯度为：

\nabla_{θ} J = k = 0 \sum N_{t} - 1 (\frac{\partial L}{\partial u _{k}} + λ_{k + 1}^{⊤} \frac{\partial F}{\partial u _{k}}) \frac{\partial π}{\partial θ}

其中伴随变量满足反向递推：

λ_{k} = (\frac{\partial F}{\partial y _{k}} + \frac{\partial F}{\partial u _{k}} \frac{\partial π}{\partial y _{k}})^{⊤} λ_{k + 1} + (\frac{\partial L}{\partial y _{k}} + \frac{\partial L}{\partial u _{k}} \frac{\partial π}{\partial y _{k}})^{⊤}, λ_{N_{t}} = \frac{\partial ϕ}{\partial y _{N_{t}}}

作者进一步证明伴随变量 $λ_{k}$ 即价值函数对状态的梯度（等价性见式 (15)）：

λ_{k} (μ) = \nabla_{y_{k}} V^{π} (y_{k}, μ)^{⊤} = \nabla_{y_{k}} J^{⊤}

其计算与策略参数维度 $N_{θ}$ 无关，因此具备良好的可扩展性。

2.3 短视野策略更新

为避免长程 BPTT 的不稳定，PEARL 在每个短视野内计算截断的损失：

\hat{J}_{h} (θ) = k = k_{0} \sum k_{0} + h - 1 L (y_{k}, π (y_{k}, μ; θ), μ) + ϕ (y_{k_{0} + h}, μ)

并通过 AD 计算近似策略梯度（式 (18)），梯度方向为：

\nabla_{θ} J_{h} = k = k_{0} \sum k_{0} + h - 1 (\frac{\partial L}{\partial u _{k}} + \hat{λ}_{k + 1}^{⊤} \frac{\partial F}{\partial u _{k}}) \frac{\partial π}{\partial θ}

2.4 Adjoint Network 的学习

这是 PEARL 与 SHAC 的核心区别：SHAC 学习价值 $V$ 本身，而 PEARL 直接学习价值梯度（adjoint）。

终端伴随估计：

\hat{λ}_{k_{0} + h} = \frac{\partial ϕ}{\partial y _{k_{0} + h}} + ϕ (y_{k_{0} + h}, μ; \overset{ˉ}{ϑ})

目标值通过伴随方程的 TD-λ 方案生成（式 (20)）：

\overset{ˉ}{λ}_{k} = (\frac{\partial F}{\partial y _{k}} + \frac{\partial F}{\partial u _{k}} \frac{\partial π}{\partial y _{k}})^{⊤} (\frac{\partial L}{\partial y _{k + 1}} + λ \overset{ˉ}{λ}_{k + 1} + (1 - λ) ϕ (y_{k + 1}, μ; \overset{ˉ}{ϑ}))

在线网络 $ϑ$ 通过 MSE 损失 $J_{ϕ} (ϑ)$ 训练，目标网络 $\overset{ˉ}{ϑ}$ 软更新： $\overset{ˉ}{ϑ} \leftarrow α \overset{ˉ}{ϑ} + (1 - α) ϑ$ 。

2.5 计算复杂度优势

附带推导（Appendix A）表明：

采样复杂度：inexact 梯度下为 $N = O (σ^{2} / ε^{2})$ ；exact 梯度下为 $N = O (1/ ε)$ ；
伴随计算与参数维度 $N_{θ}$ 无关，适合大规模策略网络。

3. 实验设计

3.1 任务设定

两项基准任务均为非定常 double gyre 流场中的参数化导航问题：

任务	状态维度 $N_{y}$	动作维度 $N_{u}$	物理算子
Leader-Follower Game (IV A)	$x_{F} \in Ω = (0, 2) \times (0, 1)$ （粒子追踪）	2	前向 Euler， $N_{t} = 1001$
Mean-Field Leader-Follower (IV B)	$2145$ （有限元离散）	$4290$ （分布式控制）	扩散-对流 PDE， $ν = 0.001$ ， $N_{t} = 100$

初始位置（leader、follower、密度中心）均在域内均匀采样，定义时变参数 $μ (t) = x_{L} (t)$ ，迫使策略具备参数化泛化能力。

3.2 奖励函数

稠密奖励 $R^{d}$ ： $- ∥ x_{F} - μ ∥^{2} - β ∥ u ∥^{2}$ ；
稀疏奖励 $R^{s}$ ： $100 e^{- 100∥ x_{F} - μ ∥^{2}} - β ∥ u ∥^{2}$ 。
Mean-Field 任务再加正则项 $- β_{g} \int_{Ω} ∥\nabla u ∥^{2} d x$ 。

3.3 对比方法

模型无关 RL 基线：PPO、TD3；
AD-based 基线：BPTT（长程）、Truncated BPTT、SHAC（其中 Mean-Field 任务还对比了 SHAC-MOD 双编码架构与原 SHAC 架构）。

3.4 实现细节

双编码神经网络（state 与 parameter 分支编码后拼接），Leader-Follower 用 64 神经元/层，Mean-Field 用 1024 神经元/层；
超参： $γ = 0.99$ ，TD- $λ$ 中 $λ = 0.95$ ，目标网络更新 $α = 0.995$ ；
Leader-Follower 短视野 $h = 16$ ，训练 1500 episodes；
Mean-Field 短视野 $h = 16$ ，训练 1000 episodes；
学习率分别为 $1 0^{- 4}$ 与 $1 0^{- 5}$ 。

4. 资源与算力

论文未明确说明所用 GPU 型号、数量、训练时长等硬件细节。鉴于实验规模（无大规模并行训练，单卡资源即可处理 1000–1500 episodes 短视野更新），可推测为单卡或多卡的工作站级 GPU，但缺乏定量信息是该工作透明性的一处短板。

5. 实验数量与充分性

任务数：2 个；
奖励函数变化：稠密 + 稀疏两类对比；
基线数：5–6 个，覆盖 model-free（PPO/TD3）和 gradient-based（BPTT/Truncated BPTT/SHAC 及其变体）两大脉络；
消融维度：评估/训练奖励曲线、状态轨迹、控制场可视化、训练早期 vs 后期控制质量对照；
泛化测试：3 个不同初始条件样本（Test 1/2/3）。

总体看，对比维度较为充分，特别是在 sparse reward 与高维 PDE 任务中体现 PEARL 优势的实验设计较为扎实。但仍存在以下不足：

缺少在不同 PDE 类型（如反应-扩散、Burgers、Navier-Stokes 2D/3D）上的泛化实验；
缺少与最新 model-based RL（如 DreamerV3）和 PDE-specific 控制方法（如 SINDy-RL）的对比；
缺少对 adjoint network 容量、 $h$ 长度等关键超参的消融研究。

6. 主要结论与发现

1. 性能领先：在稠密与稀疏奖励设置下，PEARL 均优于 PPO、TD3、BPTT、Truncated BPTT 及 SHAC；

2. 样本高效：物理引导显著减少环境交互，伴随计算与 $N_{θ}$ 无关使优化具备 $O (1/ ε)$ 收敛率；

3. 参数化泛化：单一策略可适应不同初始条件、不同 leader 位置，无需多智能体或低维表征；

4. 高维可扩展：在 $N_{y} = 2145$ 、 $N_{u} = 4290$ 的 PDE 任务上，PEARL 与 SHAC-MOD 仍可学习，而 PPO/TD3 出现梯度爆炸；

5. 数值稳定性：PEARL 在训练早期即可学到平滑控制，避免 PPO 早期控制发散问题。

7. 优点

理论上的统一视角：清晰地将伴随变量与价值函数梯度、价值函数与控制 Q 函数之间建立显式联系，为后续物理-RL 融合工作提供了理论脚手架；
算法上的创新点：用 TD-λ 在伴随方程上为 adjoint network 生成目标，比 SHAC 学 value 在梯度层面更有信息量；
闭环 + 实时：相比 OC 的开环或 MPC 的在线多次优化，PEARL 一次前向即可给出动作，符合实时控制诉求；
不依赖低维表征/多智能体分解：在高维分布式控制（4290 维动作空间）中保持单一策略网络，简化工程实现；
双编码架构：state 与 parameter 独立编码再融合，提升参数化任务的泛化。

8. 不足与局限

1. 依赖环境可微：必须通过 PyTorch/JAX/FEniCS-adjoint 等可微仿真器实现，对真实物理系统（部分不可微、强噪声）仍有工程障碍；

2. 算力报告缺失：未披露 GPU/训练时长，实验可复现性受影响；

3. 任务多样性有限：仅在 double gyre 流上进行测试，结论是否能迁移至 3D 湍流、固体-流体耦合、化学反应系统等尚待验证；

4. 缺乏消融：未对 adjoint network 的必要性、 $h$ 选择、 $λ$ 平衡等做系统性消融；

5. 部分可观测场景未覆盖：论文仅考虑完全可观测的 MDP；实际传感器噪声、稀疏测量等情形未涉及；

6. 训练不稳定性：actor-critic 类方法的固有问题，PEARL 仅通过 target network 软更新缓解，未给出细致的方差/偏差权衡分析；

7. 奖励函数手工依赖：仍需问题特定的奖励设计（如稀疏指数型 bonus），未涉及逆 RL 或偏好学习。

主要公式汇总

策略梯度（精确，全视野）：

\nabla_{θ} J = k = 0 \sum N_{t} - 1 (\frac{\partial L}{\partial u _{k}} + λ_{k + 1}^{⊤} \frac{\partial F}{\partial u _{k}}) \frac{\partial π}{\partial θ}

伴随递推：

λ_{k} = (\frac{\partial F}{\partial y _{k}} + \frac{\partial F}{\partial u _{k}} \frac{\partial π}{\partial y _{k}})^{⊤} λ_{k + 1} + (\frac{\partial L}{\partial y _{k}} + \frac{\partial L}{\partial u _{k}} \frac{\partial π}{\partial y _{k}})^{⊤}

PEARL 短视野近似梯度：

\nabla_{θ} J_{h} = k = k_{0} \sum k_{0} + h - 1 (\frac{\partial L}{\partial u _{k}} + \hat{λ}_{k + 1}^{⊤} \frac{\partial F}{\partial u _{k}}) \frac{\partial π}{\partial θ}

Adjoint network 终端校正：

\hat{λ}_{k_{0} + h} = \frac{\partial ϕ}{\partial y _{k_{0} + h}} + φ (y_{k_{0} + h}, μ; \overset{ˉ}{ϑ})

TD-λ 伴随目标：

\overset{ˉ}{λ}_{k} = (\frac{\partial F}{\partial y _{k}} + \frac{\partial F}{\partial u _{k}} \frac{\partial π}{\partial y _{k}})^{⊤} (\frac{\partial L}{\partial y _{k + 1}} + λ \overset{ˉ}{λ}_{k + 1} + (1 - λ) φ (y_{k + 1}, μ; \overset{ˉ}{ϑ}))

价值-梯度等价：

λ_{k} (μ) = \nabla_{y_{k}} V^{π} (y_{k}, μ)^{⊤} = \nabla_{y_{k}} J^{⊤}

（完）

✨ 编译论文

点「✨ 编译」开始,LLM 会按 Polaris 风格翻译并把图片/表格嵌到对应位置。结果存到浏览器 localStorage,下次访问自动加载。