arXiv 2607.15457v1 · 发布 2026-07-16

鲁棒的峰值成本约束强化学习

Robust Peak-cost Constrained Reinforcement Learning

AUTHORS Shilpa Mukhopadhyay, Sourav Ganguly, Santosh Mohan Rajkumar, Honghao Wei, Debdipta Goswami, Arnob Ghosh

EVIDENCE 对峰值成本约束MDP的理论分析与安全关键RL的鲁棒算法设计

SCORE 0.8

GENERATED 2026-07-20 12:13:30 UTC

📝 TLDR

安全关键任务中单次大幅成本违反即可致命，但现有CMDP框架仅约束期望累积成本，无法刻画此类风险。本文研究鲁棒峰值成本约束RL，证明该问题可能不具有零对偶间隙，并提出基于积分概率度量的代理优化与鲁棒值估计方法。理论上代理解可逼近原问题的鲁棒奖励值且违反量不超过ε。实验表明该方法在动力学扰动下兼顾安全性与奖励性能。

🧭 速览

动机

现有约束RL多基于期望累积成本，难以捕捉单次大幅违反的灾难性风险，且对偶性理论不清晰，对动力学扰动也缺乏鲁棒性。

方法

针对峰值成本约束MDP构建代理优化框架，并基于积分概率度量设计鲁棒值估计，以应对对偶间隙与动力学不确定性。

结果

在动力学扰动下有效执行安全约束，同时保持较强的奖励性能；理论上代理解与原问题鲁棒奖励值一致，违反量≤ε。

结论

揭示了峰值成本约束MDP可能不存在零对偶间隙，提出兼顾安全性与奖励的鲁棒求解方案，为安全关键RL提供新路径。

📊 论文图表(共 26 张)

展开查看 26 张图

TL;DR

安全关键场景下单次大幅违反约束可能造成灾难性后果，而标准[[CMDP]]框架基于期望累积成本的约束无法刻画这种风险。本文研究鲁棒峰值成本约束强化学习问题，通过构造反例证明峰值成本约束MDP与标准CMDP的本质差异——即使在Slater条件成立时仍可能存在严格对偶间隙，无法通过拉格朗日对偶方法精确求解。针对这一困难，作者提出基于[[积分概率度量]]的代理优化框架与鲁棒价值估计方法，理论上证明代理解可取得与原问题相同的鲁棒奖励值且约束违反不超过 $ϵ$ 。实验在CartPole和多个MuJoCo环境中验证了该方法在动力学扰动下同时保障安全性与奖励性能的优势。

研究背景与动机

强化学习在安全关键型应用中的部署提出了一个根本性问题：如何恰当地刻画"安全性"这一约束条件？传统约束强化学习方法基于[[CMDP]]框架，将安全需求表述为对累积成本的期望约束，即要求 $E [\sum_{t} γ^{t} c (s_{t}, a_{t})] \leq b$ 。这一设定在许多场景下工作良好，但面对自动驾驶紧急避障、医疗机器人手术操作这类高风险任务时暴露出明显的理论缺陷：当单次大幅违反约束就可能导致灾难性后果时，期望约束无法提供有效保障——一个策略可能以很低的概率引发极端违规，同时在期望层面仍然满足约束，这在实际部署中是绝对不可接受的。

这一问题的本质在于期望约束与峰值约束对风险的理解存在根本差异。期望约束关注的是长期平均成本控制，而安全关键应用真正关心的是轨迹中任何时刻的成本是否超过安全阈值。举一个直观的例子：假设某医疗机器人以99%的概率完美执行手术（成本为0），但以1%的概率发生致命失误（成本为100），其期望成本仅为1，仍可能满足人为设定的期望约束阈值，但这1%的灾难性风险在实际临床应用中是完全不可接受的。

正是基于这种考量，已有研究开始探索峰值成本约束的强化学习方法。这类方法将约束重新定义为 $max_{s \in S_{π, P}} V_{c, peak}^{π, P} (s) \leq b$ ，其中 $V_{c, peak}^{π, P} (s)$ 表示从状态 $s$ 出发沿轨迹遭遇的最大成本。然而，现有工作普遍依赖拉格朗日对偶框架，其理论基础存在明显空白：研究者无法确认已有的拉格朗日方法是否真正找到了原问题的最优解。

作者指出了这一困境的深层原因：标准CMDP的强对偶性在适当条件下（如Slater条件）可以得到保证，意味着原问题与其对偶问题具有相同的最优值。但峰值成本约束涉及hard-max操作符，这一非凸性质使得对偶理论的分析变得异常复杂。

除了峰值约束本身的理论困难，仿真到真实的迁移问题进一步加剧了挑战。策略通常在仿真器中训练，而真实环境的转移动力学不可避免地存在扰动。用数学语言描述，这种不确定性可以建模为不确定集 $P (s, a) = {P \in Δ (S) : D (P, P_{0} (\cdot ∣ s, a)) \leq ρ}$ ，其中 $P_{0}$ 是标称模型。满足峰值约束的策略在扰动下可能完全失效，这使得鲁棒性成为安全关键应用的基本要求。

方法

基于上述问题分析，作者的研究分为两个层次递进的步骤：首先证明峰值成本约束MDP不具有零对偶间隙这一关键理论性质，然后针对这一困难提出可行的代理优化方法。

理论发现：对偶间隙的存在性

作者在附录中构造了一个精妙的反例，揭示了峰值成本约束MDP与标准CMDP的本质差异。该反例仅有单状态 $s$ 和吸收态 $⊥$ ，两个动作 $a_{0}$ 和 $a_{1}$ 。 $a_{0}$ 产生奖励4、成本0并确定性转移到 $⊥$ ； $a_{1}$ 产生奖励8、成本12并自环。通过精心选择的参数，反例中的原问题最优值为 $P^{⋆} = 180/7 \approx 25.714$ ，而对偶问题的最优值为 $D^{⋆} = 64.8$ ，两者之间存在严格正的对偶间隙 $D^{⋆} - P^{⋆} = 1368/35 > 0$ 。

这一结果的深层原因在于：峰值约束对应的hard-max操作符在状态-动作占优测度上破坏了凸性，导致对偶松弛过度。标准CMDP的线性成本约束允许对偶理论大展拳脚，而峰值约束的非线性、非凸特性使得对偶方法天然不适合这一场景。这从根本上解释了为何已有研究在峰值约束问题上难以获得理论保证。

代理优化框架

既然对偶方法不可行，作者转而借鉴约束优化中处理非凸约束问题的思路，为峰值成本约束问题构造代理优化目标。具体而言，对给定的 $β > 0$ ，代理问题表述为

π min max {P \in P max \frac{J _{r}^{π, P}}{β}, P \in P, s \in S_{π, P} max (V_{c, peak}^{π, P} (s) - b)} .

这个代理目标将原始的最小化问题转化为一个最大化极小化结构，其中第一项控制奖励（通过缩放因子 $1/ β$ ），第二项惩罚峰值成本违反。直觉上，当 $β$ 足够大时，代理问题倾向于选择满足约束的策略；而当 $β$ 较小时，则允许以牺牲奖励为代价换取约束满足。

作者进一步证明（命题1）：设 $\overset{π}{^}^{⋆}$ 为代理问题的最优解，则其鲁棒奖励值不低于原问题最优策略的奖励值。更重要的是，当 $β \geq C_{m a x} / ϵ$ 时，代理解的峰值成本违反量不超过 $ϵ$ 。这建立了代理解与原问题解之间精确的理论联系，表明通过适当选择 $β$ ，可以在奖励性能和约束违反之间取得任意好的权衡。

基于[[积分概率度量]]的鲁棒价值估计

代理优化框架需要计算涉及不确定集 $P$ 的极值，这要求对转移动力学的不确定性进行高效处理。作者采用[[积分概率度量]]（IPM）刻画不确定性，具体地，使用IPM定义状态转移的不确定集：

d_{F} (p, q) = f \in F sup {p^{⊤} f - q^{⊤} f} .

对于连续状态空间，假设峰值成本价值函数具有线性函数逼近形式 $V_{c, peak}^{π} (s) = Ψ (s)^{⊤} w_{π, c}$ ，则最坏情形下的Bellman算子具有闭式表达式：

L_{P} V_{c, peak, w}^{π} = (1 - γ) c (s, a) + γ V_{c, peak, w}^{π} + ρ ∥ w_{c, 2 : d} ∥_{2} .

这里 $ρ$ 是IPM不确定集的半径， $∥ w_{c, 2 : d} ∥_{2}$ 是特征权重向量的范数。该闭式解使得鲁棒价值估计可以直接融入[[时序差分学习]]框架，无需显式枚举不确定集或进行二分搜索。

[[Actor-Critic]]算法实现

作者基于[[PPO]]算法实现RP-CRL方法，采用双Critic架构分别估计奖励价值函数和峰值成本价值函数。奖励Critic使用[[广义优势估计]]（GAE）计算优势函数，而成本Critic则采用1步时序差分误差，这一不对称设计反映了峰值约束的瞬时性质。

具体地，引入Log-Sum-Exp（LSE）平滑近似hard-max操作符，使得梯度可以反向传播。成本端的时序差分误差修正为：

δ_{t, c} = (1 - γ) c_{t} + γ max {c_{t}, V_{c, peak} (s_{t + 1})} - V_{c, peak} (s_{t}) + ρ_{c} ∥ w_{c, 2 : d} ∥_{2},

其中 $ρ_{c}$ 是成本侧的IPM正则化参数。在策略更新阶段，算法根据当前轨迹样本计算代理目标的两项贡献，选取其中较大者对应的目标进行更新，从而实现代理优化框架在实际算法中的执行。

实验与结果

实验设计涵盖低维控制任务CartPole和多个高维MuJoCo环境（Ant、HalfCheetah、Humanoid、Swimmer），重点考察方法在训练阶段和扰动推理阶段的综合表现。

CartPole环境采用连续动作空间，力控制范围为 $[- 10, 10]$ 。成本定义为小车位置超出安全边界时的惩罚项，并引入早终止额外成本模拟灾难性违规。训练时对重力参数施加高斯扰动 $N (0, 0.5)$ ，推理时则测试在未见扰动下的安全性保持。

实验对比了三类方法：基于拉格朗日的原始-对偶方法（Baseline 1）、代理目标在无扰动环境训练（Baseline 2）、以及RP-CRL在扰动环境训练（RP-CRL）。结果清晰地表明，Baseline 1虽然训练回报最高，但其峰值成本曲线波动剧烈且多次超出安全阈值；Baseline 2在无扰动训练环境下表现尚可，但一旦面临参数扰动，约束违反显著增加；RP-CRL则在保持较高奖励的同时，将峰值成本始终压制在阈值以下，展现出明显的鲁棒性优势。

MuJoCo实验进一步验证了方法在复杂动力学环境中的可扩展性。作者定义了关节力矩超出阈值的幅度作为成本函数，并分别在重力扰动（Ant、HalfCheetah、Humanoid）和黏度扰动（Swimmer）下训练策略。结果显示，RP-CRL在所有四个环境中均实现了训练峰值成本的有效控制。更值得注意的是，在扰动环境推理测试中，RP-CRL的奖励性能下降幅度明显小于对比方法，表明其在不确定环境下的泛化能力更强。

作者还进行了成本函数和扰动量级的敏感性分析，发现 $β = 25$ 和基线阈值 $b = 2.0$ 在多数环境下表现稳健，而扰动强度增加会提升约束满足的难度但不至于使方法失效。这些实验结果从多个维度验证了代理优化框架的实际有效性。

讨论与可借鉴点

从理论贡献来看，这项工作首次系统性地揭示了峰值成本约束MDP的对偶性质，指出其与标准CMDP的本质差异。这一发现为后续研究者指明了方向：峰值约束问题需要绕过对偶方法，代理优化或原始直接方法可能是更合适的路径。

从工程实践角度，作者提出的IPM正则化框架具有良好的可扩展性。闭式最坏情形Bellman算子使得鲁棒价值估计可以无缝集成到现有[[策略梯度]]算法中，无需引入额外的搜索或采样程序。这种"插件式"设计值得借鉴，因为现实中的安全约束往往需要与高性能策略优化算法结合使用。

然而，论文也存在若干局限性。首先，理论保证依赖于线性函数逼近的假设，实际中高维状态空间可能需要更复杂的函数类，此时闭式解不再成立。其次，实验部分的统计充分性略显不足——多数结果基于单次运行曲线，缺少多随机种子的置信区间或显著性检验，削弱了结论的可靠性。此外， $β$ 和 $ρ$ 等关键超参数的选取缺乏系统性的消融研究，这可能阻碍方法的调参与复现。

对于安全关键应用的实践者，这项工作提供了两点重要启示：一是安全性定义需要根据任务特性仔细选择，峰值约束比期望约束更能刻画瞬时灾难性风险；二是[[鲁棒优化]]思想在约束强化学习中具有实际价值，尤其是在仿真到真实迁移场景下显式考虑模型不确定性可以显著提升部署安全性。未来的研究可以进一步探索更一般的不确定集建模、非线性函数逼近下的理论保证，以及将峰值约束与其他安全指标（如条件风险值、首次违规时间）相结合的混合约束框架。

摘要

我们研究鲁棒峰值成本约束强化学习（RP-CRL），其目标是在最大化期望奖励的同时，控制轨迹中遇到的最大成本。该设定源于安全关键型应用，在这些应用中，单次大的违规可能带来灾难性后果，因此无法被基于期望累积成本的标准 CMDP 框架充分刻画。现有的可达性约束强化学习方法采用基于拉格朗日的方法，但峰值成本约束 MDP 的对偶性质仍不清晰。我们证明，与标准 CMDP 不同，峰值成本约束 MDP 可能不存在零对偶间隙。我们进一步考虑一种鲁棒形式以应对转移动力学中的仿真到现实的失配。为求解该问题，我们开发了一种基于积分概率度量的代理优化框架和鲁棒价值估计方法。我们证明，在适当的超参数选择下，代理解能取得与原问题相同的鲁棒奖励值，且约束违反量不超过 ε。实验表明，所提方法在动力学扰动下能有效保障安全性，同时保持优异的奖励性能。

速览

TLDR：安全关键场景下单次大幅违反约束可能造成灾难性后果，而标准CMDP基于累计成本的期望约束难以有效控制轨迹峰值成本。本文研究鲁棒峰值成本约束强化学习问题，发现峰值成本约束MDP的对偶间隙可能非零，区别于标准CMDP。基于此提出替代优化框架与基于积分概率度量的鲁棒价值估计方法。理论上可逼近原问题的鲁棒奖励值且约束违反不超过epsilon，实验验证了在动力学扰动下兼顾安全性与奖励性能。 \

Motivation：标准CMDP采用累计成本期望约束，无法刻画单次大违反的灾难性风险，且峰值约束MDP的对偶性质未知。 \

Method：提出替代优化框架，结合基于积分概率度量的鲁棒价值估计方法处理动力学模型的不确定性。 \

Result：理论证明合适超参下替代解达到与原问题相同的鲁棒奖励值，且约束违反不超过epsilon。 \

Conclusion：实验表明方法在动力学扰动下能有效保证安全约束，同时保持较强的奖励性能。

Context：该工作承接约束强化学习与可达性RL研究脉络，针对安全关键场景扩展了CMDP框架。紧致对偶刻画与更大规模实验验证仍是开放问题。

Abstract

We study robust peak-cost constrained reinforcement learning (RP-CRL), where the objective is to maximize expected reward while controlling the maximum cost encountered along a trajectory. This setting is motivated by safety-critical applications in which a single large violation can be catastrophic and therefore cannot be adequately captured by the standard CMDP framework based on expected cumulative cost. Existing reachability-constrained RL methods adopt Lagrangian-based approaches, yet the underlying duality properties of peak-cost constrained MDPs remain unclear. We show that, unlike standard CMDPs, peak-cost constrained MDPs may not admit zero duality gap. We further consider a robust formulation to address simulator-to-real-world mismatch in the transition dynamics. To solve this problem, we develop a surrogate optimization framework and a robust value estimation method based on integral probability metrics. We prove that, with appropriate hyperparameter choices, the surrogate solution attains the same robust reward value as the original problem while violating the constraint by at most epsilon. Experiments show that the proposed method effectively enforces safety under dynamics perturbations while retaining strong reward performance.

论文详细总结（自动生成）

论文总结：鲁棒的峰值成本约束强化学习（RP-CRL）

1. 核心问题与研究动机

在安全关键型强化学习任务中，单次大幅违反即可带来灾难性后果，因此对"安全性"的刻画方式至关重要：

标准 CMDP 的不足：现有约束强化学习（CMDP）框架仅约束期望累积成本 $E [\sum_{t} γ^{t} c (s_{t}, a_{t})]$ ，无法捕捉沿轨迹出现的最大单点违反。
可达性约束 RL（RCRL）的理论空白：文献 [5][6] 采用拉格朗日方法处理"峰值成本"约束 $max_{s \in S_{π, P}} V_{c, peak}^{π, P} (s) \leq b$ ，但缺乏强对偶性保证，因此无从确认该方法能否恢复真实最优解。
仿真到真实的迁移问题：策略在仿真器中训练，但真实环境动力学存在扰动 $P (s, a) = {P \in Δ (S) : D (P, P_{0} (\cdot ∣ s, a)) \leq ρ}$ ，导致仿真中满足峰值约束的策略在部署时仍可能违规。
核心问题：峰值成本约束 MDP 是否具备零对偶间隙？如何在不确定性下设计兼顾奖励与峰值安全的算法？

2. 方法论

2.1 关键理论发现：峰值成本约束不具备零对偶间隙

定理 1（非正式）：即使 Slater 条件成立，峰值成本约束 MDP 也可能存在严格对偶间隙。附录 A 通过两状态 MDP 反例给出严格证明，得到

P^{⋆} = \frac{180}{7} \approx 25.7143, D^{⋆} = 64.8, D^{⋆} - P^{⋆} = \frac{1368}{35} > 0.

反例构造：单状态 $s$ + 吸收态 $⊥$ ，两动作 $a_{0}$ （奖励 4、成本 0、确定性转移至 $⊥$ ）、 $a_{1}$ （奖励 8、成本 12、自环）。直观原因是 hard-max 约束在状态-动作占优测度上不再凸，因此对偶松弛松弛过度。

2.2 鲁棒峰值成本约束问题

考虑不确定性集 $P (s, a) = {P \in Δ (S) : D (P, P_{0} (\cdot ∣ s, a)) \leq ρ}$ ，原问题表述为

π min P \in P max J_{r}^{P} (π) s.t. P \in P max s \in S_{π, P} max V_{c, peak}^{π, P} (s) \leq b . (4)

2.3 代理优化框架（Surrogate Reformulation）

由于对偶间隙存在，需绕过对偶方法。受 [17] 启发，针对 $β > 0$ 提出代理问题

π min max {P \in P max \frac{J _{r}^{π, P}}{β}, P \in P, s \in S_{π, P} max (V_{c, peak}^{π, P} (s) - b)} . (6)

命题 1：设 $\overset{π}{^}^{⋆}$ 为 (6) 的最优解，则 $J_{r}^{\overset{π}{^}^{⋆}} \geq J_{r}^{π^{⋆}}$ ；若 $β \geq C_{m a x} / ϵ$ ，则约束违反量 $(max_{P, s} V_{c, peak}^{\overset{π}{^}^{⋆}, P} (s) - b)_{+} \leq ϵ$ 。

2.4 基于积分概率度量（IPM）的鲁棒值估计

对连续状态空间使用 IPM 不确定集：

d_{F} (p, q) = f \in F sup {p^{⊤} f - q^{⊤} f}, F \subseteq R^{∣ S ∣} .

在线性函数逼近 $V_{c, peak}^{π} (s) = Ψ (s)^{⊤} w_{π, c}$ 下，最坏情形 Bellman 算子具有闭式解：

L_{P} V_{c, peak, w}^{π} = (1 - γ) c (s, a) + γ V_{c, peak, w}^{π} + ρ ∥ w_{c, 2 : d} ∥_{2} . (5)

2.5 Actor-Critic 算法

TD 误差（带 IPM 正则项）：

δ_{t, r} = r_{t} + γ V_{r} (s_{t + 1}) - V_{r} (s_{t}) + ρ_{r} ∥ w_{r, 2 : d} ∥_{2},

δ_{t, c} = (1 - γ) c_{t} + γ max {c_{t}, V_{c, peak} (s_{t + 1})} - V_{c, peak} (s_{t}) + ρ_{c} ∥ w_{c, 2 : d} ∥_{2},

其中 max 使用 Log-Sum-Exp 平滑。

优势函数：奖励端使用 GAE $\hat{A}_{t, r} = \sum_{l = 0}^{\infty} (γ λ)^{l} δ_{t + l, r}$ ；成本端使用 1-step 估计 $\hat{A}_{t, c} = δ_{t, c}$ 。
PPO 截断目标：

L_{actor} = E_{t} [min {r_{t} (θ) \hat{A}_{t, j}, clip (r_{t} (θ), 1 - ϵ, 1 + ϵ) \hat{A}_{t, j}}], j \in {r, c} .

算法 1（RP-CRL）：在每个 episode 收集轨迹后，计算

A = \frac{1}{∣ D _{t} ∣} s \in D_{t} \sum \frac{V _{r} ( s )}{β}, B = s \in D_{t} max (V_{c, peak} (s) - b),

按 $ar g max {A, B}$ 选取奖励或成本目标更新策略（由 算法 2 $ψ (\cdot)$ 实现），温度参数 $β = 25$ 、基线 $b = 2.0$ 、warm-start 300 episodes。

3. 实验设计

3.1 仿真环境

CartPole（修改版）：连续动作 $F \in [- 10, 10]$ ；当 $∣ x ∣ > 1.0$ 时引入位置违规成本，越限早终止时附加 10.0 惩罚；训练时对重力 $g^{'} = g + N (0, 0.5)$ 施加扰动。
MuJoCo 四套环境：Ant、HalfCheetah、Humanoid、Swimmer。其中前两者训练时重力扰动 $\leq 0.7$ 、HalfCheetah $\leq 2.0$ 、Swimmer 黏度扰动 $\leq 0.7$ 。成本定义为最大绝对关节力矩超出阈值 0.5 的幅度，Humanoid 为动作能耗。

3.2 Benchmark 与对比方法

基线 1：Primal-Dual 方法（源自 [5][6]）。
基线 2：代理目标（式 (6)）在未扰动环境训练。
基线 3：RP-CRL 在扰动环境训练后的推理表现。

3.3 评测维度

训练回报、训练峰值成本、扰动推理（重力 $\leq 2.0$ 或黏度 $\leq 2.0$ ）下的回报与峰值成本。
成本函数敏感性（Cost1 与 Cost2），扰动量级敏感性（ $σ \in {0.5, 2}$ ）。

4. 资源与算力

论文未明确报告所用 GPU 型号、数量、训练时长、墙钟时间等算力信息；仅给出训练超参数（学习率 $3 \times 1 0^{- 4}$ ，三层 64 神经元 MLP 主体架构，PPO 截断参数 $ϵ$ 、GAE 衰减 $λ$ 、 $γ \in (0, 1)$ 、 $ρ_{r}, ρ_{c}$ 等）。这是该工作的一项披露缺失，不利于复现性比较。

5. 实验数量与充分性

实验编号	内容	对应图
1	CartPole 上三种方法的训练回报/峰值成本对比	Fig.1
2	扰动环境推理下三种方法对比	Fig.2
3	Cost2 函数下 RP-CRL 训练曲线	Fig.3
4	不同扰动量级 $σ$ 下 RP-CRL 鲁棒性	Fig.4
5	MuJoCo 4 个环境的训练与扰动推理回报与峰值成本	Fig.5(a-p)

共包含 5 大组实验、约 16+ 张子图，覆盖：

不同环境（受控 CartPole + 4 个高维 MuJoCo）；
不同扰动强度（ $σ = 0.5, 2$ ，重力、黏度两类）；
不同成本函数；
训练与推理两阶段。

充分性评价：实验规模合理、横纵向对比充分；但缺少严格的定量统计（如多随机种子的均值方差、消融实验，特别是对 $β$ 、 $ρ$ 的消融）。多数结论仅基于单条曲线，缺乏置信区间或显著性检验，统计鲁棒性略显不足。

6. 主要结论与发现

1. 理论贡献：峰值成本约束 MDP 即使 Slater 条件成立也可能不具备零对偶间隙（两状态 MDP 严格反例）。

2. 方法有效性：基于 IPM 的鲁棒值估计 + 代理优化框架在扰动训练下，既保持较高回报又将峰值成本压制在阈值之下。

3. Sim-to-Real 迁移：扰动环境训练能显著改善推理时的安全与奖励表现，尤其在 MuJoCo 四个环境中观察到更平滑、低方差的训练曲线。

4. 算法可扩展性：基于 PPO 的 actor-critic 实现相比基于二分的 epigraph 方法更具可扩展性，可处理高维连续状态动作空间。

7. 优点

理论洞察：首次明确指出峰值成本 CMDP 与标准 CMDP 的对偶结构差异，给出可复现的解析反例而非纯启发式论述。
统一框架：代理问题 (6) 将目标与约束有机融合，结合 IPM 鲁棒值估计得到理论保证（命题 1 的 $ϵ$ 违反上界）。
工程实现：使用 PPO + 双 critic，鲁棒正则项以 $∥ w_{c, 2 : d} ∥_{2}$ 的闭式形式融入 TD 误差，无需二分搜索，易于扩展到大规模状态空间。
实验广度：同时覆盖低维（CartPole）与高维（MuJoCo Ant/HalfCheetah/Humanoid/Swimmer），并考察扰动量级与成本函数敏感性。

8. 不足与局限

理论缺陷：论文承认尚未给出 PPO 风格算法的收敛速率保证，与 [17] 中自然策略梯度的迭代复杂度结果存在差距。
对偶间隙的影响范围：反例仅构造于两状态 MDP，对更复杂环境下对偶间隙的量化（如何衡量"接近最优"的乘子选取准则）仍未讨论。
资源披露缺失：未报告 GPU 型号、训练时长、随机种子数等复现性关键信息。
统计充分性：多数曲线为单次运行的定性比较，缺少多 seeds 误差棒、消融研究（特别是 $β, ρ_{r}, ρ_{c}$ 、LSE 平滑系数），结论的统计可靠性有待加强。
仅矩形/IPM 不确定集：实际环境扰动常存在相关性或对抗性，目前仅考虑矩形不确定集，连续空间下依赖线性函数逼近 $V (s) = Ψ (s)^{⊤} w$ ，表达能力受限。
安全度量单一：以最大 cost 作为安全指标，但并未涵盖"首次到达不安全集合的时间"、"早期终止概率"等常见可达性指标；论文也未在真实硬件或更复杂的安全基准上验证。
长期时序信用分配有限：成本 critic 采用 1-step TD 误差 $δ_{t, c}$ ，而奖励 critic 使用 GAE，二者不一致，可能引入偏差。

（完）

✨ 编译论文

点「✨ 编译」开始,LLM 会按 Polaris 风格翻译并把图片/表格嵌到对应位置。结果存到浏览器 localStorage,下次访问自动加载。