arXiv 2607.03903v1 · 发布 2026-07-04

CDCP：用于多任务离线安全强化学习的带上下文提示的条件扩散模型

CDCP: Conditional Diffusion Model with Contextual Prompts for Multi-task Offline Safe Reinforcement Learning

AUTHORS Jiayi Guan, Tianle Zhang, Li Shen, Ruiqi Zhang, Ao Zhou, Lusong Li, Guai Chen, Mengjie Li, Alois Knoll, Xiaodong He, Changjun Jiang

EVIDENCE 多任务离线安全强化学习算法设计

SCORE 0.9

CATEGORIES TASK rl

PDF ↗ 2607.03903v1.pdf

GENERATED 2026-07-12 21:21:24 UTC

📝 TLDR

多任务离线安全强化学习需同时应对多任务泛化、安全约束与分布外动作三重挑战，现有方法难以兼顾高回报与安全性。本文提出条件扩散模型与上下文提示结合的CDCP方法，将约束优化转化为条件生成问题，借助无分类器引导成本约束策略与上下文提示机制消除外推误差并提升对未见任务的适应性。实验表明该方法在多任务场景下性能与安全性均优于现有SOTA，且无需重训即可满足不同成本约束。

🧭 速览

动机

多任务离线安全RL需同时兼顾任务泛化、安全约束与分布外动作，现有方法难以在多任务下保证高回报与安全性。

方法

提出CDCP：用条件扩散模型将约束优化转为条件生成，设计无分类器引导成本约束与上下文提示，并引入梯度损失同步策略提升稳定性。

结果

在多任务场景下CDCP性能与安全性均优于现有SOTA方法，无需重训即可灵活满足不同成本约束，对未见任务具备良好适应性。

结论

为多任务离线安全RL提供更灵活通用的成本约束解决方案，推动RL在高风险多任务场景中的实际部署。

📊 论文图表(共 20 张)

展开查看 20 张图

TL;DR

CDCP 是一种针对多任务离线安全强化学习的新方法，通过将约束优化问题转化为条件生成问题，利用 [[扩散模型]] 的强大生成能力规避传统方法中 [[离线强化学习]] 的 [[分布外动作]] 外推难题。实验表明，CDCP 在 9 个自动驾驶任务上实现了显著更高的奖励回报（平均 270.45）同时将成本控制在阈值以下，且训练一次即可灵活适配多种成本约束，无需针对不同安全要求重新训练。

研究背景与动机

多任务离线安全强化学习的核心目标是利用多个任务的历史交互数据，学习一个能够同时优化所有任务平均奖励并满足安全约束的共享策略。这种范式在自动驾驶、机器人操作等高风险、高交互成本场景中具有重要价值——研究者可以在不实际运行系统的情况下，借助已有的离线数据训练出安全且高效的控制策略。

然而，这一目标面临着三重挑战的叠加效应。第一重挑战来自多任务本身的复杂性：不同任务的状态空间、奖励函数和成本约束往往存在显著差异，在联合训练时任务间的干扰会导致 Q 值估计误差累积，最终使得策略性能退化。第二重挑战是安全约束的严格性——传统的时序差分（TD）方法依赖 Q 值进行动作评估，而离线数据中的动作分布与当前策略产生的 [[分布外动作]] 存在不匹配，这种外推误差在约束优化框架下会被放大，使得成本约束难以被可靠地满足。第三重挑战在于泛化能力的要求：实际部署中，系统可能遇到训练时未见过的任务变体或环境配置，这要求策略具备对未见任务的适应性。

现有方法在这三重挑战面前表现出明显的权衡困境。单任务离线安全强化学习算法（如 CPQ、COptiDICE、CDT）虽然能够在各自的任务上表现良好，但直接扩展到多任务场景时会因为任务干扰而出现显著的奖励下降。多任务离线强化学习算法（如 MTDiff）虽然通过共享表示获得了较高的奖励回报，却完全忽视了安全约束，成本远超阈值。另一方面，已有的多任务梯度归一化、子空间表示等技术虽然部分缓解了任务间的干扰，但仍依赖 Q 值进行动作评估，在 [[分布外动作]] 面前鲁棒性不足。

方法

CDCP 的核心洞察是将多任务约束优化问题重新形式化为一个条件生成问题。传统方法试图通过值函数估计和策略优化来直接解决这个难题，而 CDCP 转而利用 [[扩散模型]] 的生成能力，从离线数据中学习在给定上下文条件下生成安全且高回报动作序列的分布。

形式化地，给定任务 $τ$ 、历史观测 $O$ 、任务上下文 $M (τ)$ 、奖励条件 $R$ 和成本条件 $C$ ，CDCP 学习生成动作序列 $x_{0}^{(τ_{c})} = (a_{t}, a_{t + 1}, \dots, a_{t + h - 1})$ 的条件概率分布 $p_{θ} (x_{0} ∣ y)$ ，其中条件 $y$ 包含了所有与任务和约束相关的信息。这一建模方式的关键优势在于：扩散模型通过逐步去噪过程生成动作，无需显式估计 Q 值，从而自然地避免了 OOD 动作带来的外推误差问题。

为了在生成过程中灵活地控制成本约束，CDCP 采用了 [[无分类器引导]] 技术。具体而言，模型在训练时同时学习条件生成和非条件生成两个分支，通过随机丢弃奖励条件或成本条件来训练模型在缺少某些条件时的生成能力。在推理阶段，通过融合条件预测与非条件预测，可以实现对生成结果的方向性引导：

\overset{ϵ}{^} = κ [\overset{ϵ}{^}_{θ} (x_{k}, y^{'}, R, k) + \overset{ϵ}{^}_{θ} (x_{k}, y^{'}, C, k)] + (1 - 2 κ) \overset{ϵ}{^}_{θ} (x_{k}, y^{'}, \emptyset, k)

这一设计的精妙之处在于 Remark IV.3 所揭示的特性：训练完成后，只需通过调整成本条件 $C$ 的取值，就能在推理时满足不同的成本阈值要求，而无需重新训练模型。Remark IV.4 进一步指出，将成本条件置零时，累积成本约束会被转化为逐状态的安全约束，提供了一个极端灵活的安全保证机制。

上下文提示（Contextual Prompts）机制是 CDCP 解决多任务表示问题的关键创新。每个任务的上下文由两部分组成：轨迹提示 $τ_{p}$ 和文本提示 $τ_{t z}$ 。轨迹提示来自专家轨迹中的状态-动作对序列，提供了从状态到动作映射的直接示范；文本提示则通过预训练语言模型编码任务描述（如"高速公路+稀疏车流"），提供了任务类别和特征的语义信息。二者的结合使得模型既能学习具体的决策模式，又能获得任务的语义抽象表示，从而在面对未见任务时展现出优秀的 few-shot 适应性。

多任务训练中的一个经典难题是不同任务的损失尺度不一致导致的梯度干扰。CDCP 借鉴了 [[梯度归一化]] 的思想，引入可学习的权重层来自适应地调整各任务损失的贡献权重。通过监控各任务的梯度损失范数和收敛速率，权重层能够动态平衡不同任务在训练过程中的影响力，确保模型在所有任务上都能稳定收敛。

实验与结果

实验在 MetaDrive 自动驾驶仿真平台上进行，选取了 9 个覆盖三种场景复杂度（Easy/Medium/Hard）和三种车流密度（Sparse/Mean/Dense）的安全驾驶任务。作者将现有 SOTA 方法扩展为多任务基线进行对比，包括基于 CPQ、COptiDICE、CDT 的单任务方法扩展，以及基于 DD 和 MTDiff 的多任务方法扩展。

在整体性能对比中，CDCP 以平均奖励 $270.45 \pm 15.78$ 显著超越了所有基线方法，其中表现最好的基线 CMTDiff 仅达到 $246.57$ ，而基于 TD 的方法（MTCOptiDICE）更是低至 $178.34$ 。与此同时，CDCP 的平均成本为 $23.06$ ，成功保持在阈值 25 以下，而 CMTDiff 的成本则远超安全界限。这一结果清晰地验证了 CDCP 在兼顾性能与安全性方面的优势。

成本约束灵活性的验证尤其引人注目。实验设置了 ${0, 20, 25, 30}$ 四个不同的成本阈值，CDCP 仅在阈值 25 下进行训练，但在不重新训练的情况下直接测试其他阈值。结果显示，通过简单调节推理时的成本条件 $C$ ，CDCP 能够有效地将成本控制在目标阈值附近，验证了无分类器引导机制带来的灵活性。

Few-shot 泛化实验以 6 个任务训练、3 个未见任务测试的方式进行。CDCP 在 EasyDense、MediumDense、HardDense 三个未见任务上依然能够满足安全约束并获得较高的奖励，表明上下文提示机制确实为模型提供了有效的任务表示能力，使其能够在仅有少量上下文信息的情况下快速适应新任务。

消融实验进一步确认了三个核心组件的贡献。移除成本约束分支（CDCP_Cost）后成本急剧上升，移除上下文提示（CDCP_Prompt）后奖励下降且未见任务的适应能力退化，移除梯度同步（CDCP_GradSync）后训练稳定性下降。三者的协同作用共同支撑了 CDCP 的优异表现。

讨论与可借鉴点

CDCP 在方法论层面提供了一个重要启示：当传统基于值函数估计的方法面临 [[分布外动作]] 挑战时，将优化问题转化为条件生成问题是一个值得探索的思路。[[扩散模型]] 的多步去噪过程提供了一种隐式优化的机制，能够在生成空间中直接搜索满足约束的动作，而无需显式地进行 Q 值外推。这一思想对于其他面临 OOD 挑战的离线强化学习问题可能具有借鉴意义。

无分类器引导机制在成本约束控制中的应用展现了条件生成方法的灵活性。传统的约束强化学习方法通常需要针对每个具体的约束阈值单独训练策略，而 CDCP 通过条件控制实现了"一次训练、多档部署"，这对于需要根据不同安全级别动态调整策略的实用场景具有重要价值。

然而，CDCP 也存在明显的局限性。实验仅在 MetaDrive 自动驾驶平台上验证，方法在其他领域（如机器人控制、工业自动化）的有效性尚需检验。200 步去噪带来的计算开销在实际实时系统中可能构成部署障碍。此外，上下文提示机制依赖专家轨迹提供轨迹提示，在专家数据稀缺的场景下实用性受限。未报告训练时长和推理延迟也使得方法的计算效率难以与其他方法直接比较。

未来工作可以探索更轻量级的去噪过程以提升推理效率，或者研究在缺少专家轨迹时如何高效获取高质量的上下文提示。对于更大规模任务集合的可扩展性验证，以及在不同安全约束类型（如风险敏感约束、软约束）上的推广，也是值得深入研究的方向。

摘要

多任务离线安全强化学习（RL）旨在从多个任务的离线数据中学习一个共享的最优安全策略。该范式为在高风险和高交互成本的多任务场景中广泛部署强化学习提供了一种有效途径。然而，多任务、安全约束和分布外（OOD）动作这三重挑战，使得现有方法在最大化奖励回报的同时难以保证安全性。在本工作中，我们提出了带上下文提示的条件扩散模型（CDCP）以应对这些挑战。具体而言，我们首先重新审视当前多任务决策与控制场景中的需求与挑战，并确立多任务离线安全强化学习的目标。随后，我们将多任务约束优化问题转化为扩散模型的条件生成问题。在此基础上，我们设计了一种无分类器引导的代价约束策略，以提供灵活的代价约束，并通过监督学习消除由分布外动作引起的外推误差。此外，我们引入了一种新颖的上下文提示方法，以提升多任务表示的准确性以及对未见任务的适应性。我们还提出了一种梯度损失同步策略，用以消除梯度干扰，从而提升训练稳定性。最后，大量实验表明，CDCP 算法在多任务场景中相较于当前最先进的基线方法具有更高的性能和安全性。该算法无需额外训练即可满足不同的代价约束，为多任务安全强化学习提供了更为灵活的代价约束方案。

Abstract

Multi-task offline safe reinforcement learning (RL) promises to learn a shared optimal safe policy from offline data across multiple tasks. This paradigm provides an effective means for the widespread application of RL in multi-task scenarios with high risk and interaction costs. However, the triple challenges of multi-tasking, safety constraints, and out-of-distribution (OOD) actions pose a significant hurdle for existing methods to ensure safety while maximizing reward returns. In this work, we propose a Conditional Diffusion model with Contextual Prompts (CDCP) to address these challenges. Concretely, we first rethink the requirements and challenges in current multi-task decision-making and control scenarios and establish the objectives of multi-task offline safe RL. Subsequently, we transform the multi-task constrained optimization problem into a conditional generation problem using the diffusion model. Based on this, we design a classifier-free guided cost-constraint strategy to provide flexible cost constraints and eliminate extrapolation errors from OOD actions via supervised learning. Additionally, we introduce a novel contextual prompting method to enhance multi-task representation accuracy and adaptability to unseen tasks. A gradient loss synchronization strategy is also introduced to eliminate gradient interference, improving training stability. Finally, extensive experiments demonstrate that the CDCP algorithm exhibits higher performance and safety in multi-task scenarios than the current state-of-the-art baseline methods. It meets different cost constraints without further training, providing a more flexible cost-constraint solution for the multi-task safe RL.

论文详细总结（自动生成）

CDCP 论文总结

1. 核心问题与研究动机

研究背景：多任务离线安全强化学习（Multi-task Offline Safe RL, MTOS）旨在从多个任务的离线数据中学习一个共享的安全策略，使其能够在最大化所有任务平均奖励的同时满足安全约束。该范式对自动驾驶、机器人操作等高交互成本、高风险的现实应用至关重要。

三重核心挑战：

1. 多任务干扰：不同任务的奖励、成本、状态空间差异大，Q 值估计在多任务下误差累积严重；

2. 安全约束：传统基于时序差分（TD）的方法依赖 Q 值，在 OOD 动作下外推误差被放大，难以可靠地施加成本约束；

3. 分布外（OOD）动作：离线数据中策略与行为策略不一致，导致保守估计误差在多任务场景下进一步积累。

现有方法的不足：
单任务离线安全 RL 算法（如 CPQ、COptiDICE、CDT）扩展到多任务时奖励显著下降；
多任务离线 RL 算法（如 MTDiff）虽然能获得高奖励，但成本远超阈值，无法保证安全性；
已有的多任务梯度归一化、子空间表示等方法仍依赖 Q 值评估，在 OOD 下鲁棒性不足。

2. 方法论

2.1 问题形式化

论文首先给出 MTOS 的形式化定义（Definition 1）以及引入上下文信息后的 CMTOS 定义（Definition 2）：

π^{*} = ar g π max E_{τ \sim T} E_{ρ_{0}, π} [t = 0 \sum \infty γ^{t} r_{t}^{τ}], s.t. \forall τ \sim T, E_{ρ_{0}, π} [t = 0 \sum \infty γ^{t} c_{i, t}^{τ}] \leq \overset{c}{ˉ}_{i}^{τ}

2.2 条件生成建模

将多任务约束优化问题转化为条件生成问题（Lemma IV.1）：

θ max E_{τ_{c} \sim (U_{τ \sim T} D_{τ})} [lo g p_{θ} (x_{0}^{(τ_{c})} y^{(τ_{c}, τ)})]

其中：

生成序列 $x_{0}^{(τ_{c})} = (a_{t}, a_{t + 1}, \dots, a_{t + h - 1})$ 为长度 $h$ 的动作序列；
条件 $y^{(τ_{c}, τ)} = (O^{(τ_{c})}, M (τ), R^{(τ_{c})}, C^{(τ_{c})})$ ，包含状态历史 $O^{(τ_{c})}$ 、任务上下文 $M (τ)$ 、奖励条件 $R$ 和成本条件 $C$ 。

扩散模型的训练采用 DDPM 简化损失：

L (θ) = E_{k, τ_{c}, τ} [ϵ - \overset{ϵ}{^}_{θ} (x_{k}^{(τ_{c})}, y^{' (τ_{c}, τ)}, β (R, C) + (1 - β) \emptyset, k)^{2}]

2.3 无分类器引导成本约束（Classifier-Free Guidance）

通过同时训练条件与非条件（ $\emptyset$ ）分支，并在采样阶段融合多种条件预测（Proposition IV.2），扰动噪声定义为：

\overset{ϵ}{^} = κ [\overset{ϵ}{^}_{θ} (x_{k}, y^{'}, R, k) + \overset{ϵ}{^}_{θ} (x_{k}, y^{'}, C, k)] + (1 - 2 κ) \overset{ϵ}{^}_{θ} (x_{k}, y^{'}, \emptyset, k)

其中 $κ$ 为引导系数。该机制带来两大优势：

Remark IV.3：训练完成后，仅通过调整成本条件 $C$ 即可实现不同成本阈值的安全约束，无需重新训练；
Remark IV.4：将成本条件设为 0 可将累积约束转换为逐状态约束。

2.4 上下文提示（Contextual Prompts）

为解决多任务表示问题，引入两类上下文提示：

M (τ) = [τ_{p}, τ_{t z}], τ_{t z} = L_{ϕ} (τ_{t})

轨迹提示 $τ_{p}$ ：由专家轨迹中的状态-动作对序列组成，用于揭示状态到动作的映射关系；
文本提示 $τ_{t z}$ ：由预训练语言模型（如 BERT）编码任务文本描述（如"高速公路+稀疏车流"），用于表示任务类别与特征。

> Remark IV.5：二者结合显著提升对未见任务的 few-shot 适应性。

2.5 梯度损失同步（Gradient Loss Synchronization）

受 GradNorm 启发，针对多任务损失尺度与收敛速率差异问题，引入权重层 $ω_{τ} \in W$ ：

L (θ) = τ \sim T \sum ω_{τ} L_{τ} (θ)

权重通过各任务的梯度损失范数 $G_{τ}^{W}$ 和归一化衰减率 $Δ L_{τ} (t)$ 进行自适应调整：

L (W) = τ \sim T \sum G_{τ}^{W} (t) - G_{W} (t) \cdot [Δ L_{τ} (t)]^{η}^{1}

2.6 训练与推理流程

Algorithm 1（训练）：采样动作序列与状态历史 → 计算归一化 $R, C$ → 采样轨迹提示与文本特征 → 随机丢弃 $R, C$ 条件 → 更新扩散模型与权重层参数；
Algorithm 2（推理）：初始化噪声 → 构造条件 $[O, τ_{p}, τ_{t z}, \overset{ˉ}{R}, \overset{ˉ}{C}]$ → 迭代去噪生成动作序列 → 取首动作与环境交互。

3. 实验设计

3.1 数据集与环境

采用 DSRL 基准提供的 MetaDrive 自动驾驶仿真平台；
选取 9 个安全约束驾驶任务，覆盖三种场景复杂度（Easy/Medium/Hard）与三种车流密度（Sparse/Mean/Dense）：
EasySparse、EasyMean、EasyDense
MediumSparse、MediumMean、MediumDense
HardSparse、HardMean、HardDense
数据特征分析（图 3-4）显示任务间在奖励、成本、状态-动作分布上存在显著差异。

3.2 对比基线

由于无专用算法，作者将现有 SOTA 方法扩展为多任务离线安全 RL 基线：

来源	扩展后基线
单任务离线安全 RL	MTCPQ（扩展自 CPQ）、MTCOptiDICE（扩展自 COptiDICE）、MTCDT（扩展自 CDT）
多任务/离线 RL	CMTDD（扩展自 DD，引入成本引导）、CMTDiff（扩展自 MTDiff，引入成本引导）

4. 资源与算力

GPU 型号：实验在配备 L40s GPU 的服务器上运行；
框架：基于 PyTorch 实现；
训练规模：每种算法使用 3 个随机种子，每个最佳模型在 10 个测试回合上统计；
关键超参数（表 V）：
扩散步 $K = 200$ ，动作序列长度 $h = 32$ ，提示长度 $χ = 20$ ，历史长度 $l = 2$
批量大小 = 64，折扣 $γ = 0.99$ ，学习率 $λ = 2 \times 1 0^{- 4}$
引导丢弃概率 $p_{β} = 0.8$ ，梯度同步系数 $η = 0.12$
扩散骨干为 4 层 GPT-2（n_head=2，n_inner=1024）
训练时长：论文未明确报告总训练时长。

5. 实验数量与充分性

共进行了 5 类实验，覆盖较广：

1. 整体性能对比（表 I、II、图 5）：CDCP vs 5 个基线在 9 个任务上的平均奖励与成本曲线；

2. 不同成本阈值测试（表 III）：在阈值 ${0, 20, 25, 30}$ 下评估，其中 CDCP 仅在阈值 25 下训练，其他阈值不重新训练直接测试，验证灵活性；

3. Few-shot 泛化（表 IV）：6 任务训练、3 任务（EasyDense/MediumDense/HardDense）未见任务评估；

4. 消融实验（图 6）：分别移除成本约束（CDCP_Cost）、上下文提示（CDCP_Prompt）、梯度同步（CDCP_GradSync）；

5. 超参数敏感性（图 7）：扫描 $p_{β} \in {0.2, 0.4, 0.6, 0.8}$ 对奖励与成本的影响。

充分性评价：

优点：实验维度（任务 × 基线 × 阈值 × 消融）较全面，使用 3 个随机种子并报告标准差；
局限：仅在 MetaDrive 单一仿真平台上验证，未在其他领域（如机器人操作）测试，外部效度有限。

6. 主要结论与发现

1. 性能优势：CDCP 在 9 个任务上的平均奖励（ $270.45 \pm 15.78$ ）显著高于所有基线（MTCOptiDICE: $178.34$ ，CMTDiff: $246.57$ ），同时平均成本（ $23.06$ ）保持在阈值 25 之下；

2. 灵活性：通过调节成本条件 $C$ ，可在训练完成后直接满足多种成本阈值，无需重训；

3. 状态级约束：将 $C$ 置 0 可实现逐状态级安全约束；

4. Few-shot 能力：在未见任务（EasyDense/MediumDense/HardDense）上 CDCP 仍能满足安全约束并获得更高奖励；

5. 消融验证：三组件（成本约束、上下文提示、梯度同步）均对最终性能有正向贡献，移除任一部分均导致奖励下降或成本超阈；

6. 超参数规律： $p_{β}$ 增大先提升奖励再下降，存在最优区间。

7. 优点与亮点

范式创新：首次将"多任务 + 离线 + 安全约束"三者统一为条件生成问题，绕开传统 TD 方法的 Q 值外推误差；
无分类器引导成本控制：通过条件生成方式实现灵活、可调节、训练一次多档位成本阈值的策略；
上下文提示机制：融合语言模型文本特征与专家轨迹提示，兼具语义信息与状态-动作映射信息，提升多任务表示能力与 few-shot 迁移性；
梯度损失同步：自适应权重调整缓解多任务训练中的梯度干扰，提升收敛稳定性；
理论严谨性：提供了 Proposition IV.2 的完整推导证明（附录 VII-A），包含假设说明与公式推导过程。

8. 不足与局限

环境单一：实验仅在 MetaDrive 自动驾驶仿真平台上验证，未在机器人控制、工业控制等其他典型多任务离线安全 RL 场景中测试，方法的通用性有待进一步验证；
基线构造方式：由于无现成 MTOS 算法，作者自行扩展的单任务基线（MTCPQ、MTCOptiDICE、MTCDT）可能未充分发挥各原算法在多任务下的潜力，对比公平性存在一定偏差风险；
计算成本未量化：未报告训练时长与推理延迟，扩散模型的多步去噪（ $K = 200$ ）在实际部署中的实时性受限；
上下文提示依赖专家轨迹：需要每个任务提供专家示范轨迹，在专家数据稀缺的场景下实用性受限；
任务数规模有限：仅 9 个任务，未测试在更大规模（数十或上百）任务集合下的可扩展性；
成本条件超参数敏感性：实际部署中 $η_{C}$ 与 $η_{R}$ 等校正因子需手工调节，缺乏自适应机制；
安全性评估维度单一：仅以累积成本是否低于阈值为度量，未评估安全性违反的严重程度分布与最坏情况性能。

（完）

✨ 编译论文

点「✨ 编译」开始,LLM 会按 Polaris 风格翻译并把图片/表格嵌到对应位置。结果存到浏览器 localStorage,下次访问自动加载。