📊 论文图表(共 17 张)

展开查看 17 张图

‹ ›

TL;DR

深度强化学习智能体在自动驾驶、机器人控制等安全关键领域扮演着越来越重要的角色，但现有测试方法依赖奖励信号追踪失败，对训练充分的智能体效果有限。本文提出优先随机测试（PRT），通过任务难度先验主动引导测试资源聚焦于易失败区域，在保持测试用例多样性的同时实现更高效的失败检测。实验表明，相比随机测试，PRT 能以超过 50% 的成本降低发现更早且更多样化的失败用例。

研究背景与动机

深度强化学习智能体已经被广泛部署于自动驾驶、机器人控制等安全攸关的决策任务中。这些应用场景的特殊性决定了对其进行严格测试的重要性——一次未被发现的失败可能导致严重的安全事故。然而，现有测试方法普遍面临一个根本性的困境：它们通常依赖奖励信号来检测失败。

对于训练良好的智能体而言，情况变得更加棘手。当智能体在标准运行条件下表现接近最优水平时，其获得的奖励值持续保持较高状态。这意味着基于奖励的测试方法会误认为系统运行良好，而实际上可能存在某些极端场景下的严重故障。这些失败往往隐藏在输入空间的边缘区域——比如极端天气条件下的传感器输入、罕见但危险的交通场景，或是智能体训练数据中覆盖不足的状态组合。传统的随机测试虽然能够覆盖更广的输入空间，但其效率极低，大量测试预算被浪费在智能体能够轻松应对的“安全”输入上。

本文的切入点正是这一被忽视的盲区：既然深度强化学习智能体本质上是由人类定义的任务所驱动的，那么任务本身就携带了关于难度的有价值信息。直观上，智能体在面对更困难的任务时更容易失败——这一洞见构成了本文方法的核心基础。

方法

PRT 的核心思路可以概括为一句话：利用任务难度先验对输入域中的易失败区域进行优先级排序，同时通过随机扰动机制保持测试用例的多样性。

传统的直觉做法是设计复杂的启发式搜索算法来寻找失败案例，或者训练生成模型来合成测试场景。这些方法虽然有一定效果，但存在几个共同的问题：搜索式方法容易陷入局部最优，生成式方法需要额外的训练开销，而且两者都可能在追求失败检测效率的同时牺牲测试用例的多样性。PRT 则采取了完全不同的策略——它不需要访问智能体内部的梯度信息，也不需要训练额外的生成模型，而是通过一种轻量级的优先级采样机制来实现高效的失败检测。

具体而言，PRT 在采样过程中同时考虑两个因素：一是任务诱导的失败先验概率，二是均匀随机采样的多样性保障。这两个因素的结合使得采样分布可以形式化为：

其中 $p_{\text{prior}}(x)$ 反映了基于任务难度的先验知识，而 $p_{\text{rand}}(x)$ 保持了随机采样的覆盖广度。这种设计确保了测试资源能够更多地分配给先验失败概率高的任务区域，同时不会完全放弃对其他区域的探索。

PRT 的另一个关键设计是其黑盒特性。在真实部署场景中，测试者往往无法获取智能体内部的奖励梯度或其他敏感信息。PRT 只依赖任务定义本身提供的难度线索，如任务层级结构、目标复杂度或奖励结构等，这些信息通常可以从任务规范中直接获取或由领域专家提供。这使得 PRT 具有很强的适用性，能够在各种实际场景中部署。

实验与结果

研究团队在四个广泛使用的深度强化学习测试基准上对 PRT 进行了全面评估。这些基准涵盖了自动驾驶和控制领域的典型场景，包括车道保持、变道操作、障碍物规避等任务。对比方法则覆盖了当前最先进的三类测试方法：基于模糊测试的方法、基于搜索的方法以及基于生成的方法。

实验采用了两个核心评估指标：首次失败成本和测试用例多样性。前者衡量发现第一个失败用例所需的测试数量，后者则评估生成用例之间的差异程度。这两个指标分别对应了测试效率与覆盖充分性的不同需求。

结果表明，PRT 在两项指标上均跻身表现最佳的方法之列。最引人注目的是与随机测试的对比结果：PRT 在保持更高多样性的同时，将测试成本降低了超过 50%。这意味着测试者可以用更少的测试用例发现更多的失败案例，同时保证这些案例之间的差异性足够大，能够全面暴露智能体的薄弱环节。

讨论与可借鉴点

PRT 的成功揭示了一个重要的事实：在高奖励区域，任务本身的结构信息可以成为检测失败的有效信号。这一发现对于深度强化学习测试领域具有重要的借鉴意义。

然而，本文的方法也存在一些局限性需要正视。首先，PRT 的有效性高度依赖于任务难度先验的质量——如果任务定义粗糙或缺乏人类先验知识，性能可能会明显退化。其次，PRT 作为一种黑盒方法，放弃了奖励梯度这一信息源，在某些可以获取精确奖励信息的场景中可能不如利用梯度的搜索式方法高效。此外，实验主要在仿真环境中进行，现实世界的传感器噪声、数据分布偏移等因素对方法效果的影响还有待进一步验证。

对于后续研究而言，PRT 的框架提供了几个有价值的探索方向：如何自动化地获取任务难度先验而非依赖人工标注；如何将类似的思想推广到连续动作空间或层次化任务场景；以及如何将任务先验与其他测试方法进行有效结合以进一步提升效率。这些问题的解答将有助于构建更加健壮的深度强化学习测试体系。

摘要

深度强化学习（DRL）智能体已被广泛应用于众多领域，以解决具有挑战性的决策问题，例如自动驾驶和机器人控制。鉴于这些应用中的许多都具有安全攸关的特性，对深度强化学习智能体进行严格测试不可或缺。现有测试方法通常以奖励信号为指导来检测失败。然而，对于训练良好的智能体，其在标准运行条件下的性能接近最优水平，奖励信号通常保持较高，使得现有方法在发现关键失败方面效果不佳。

为应对这些挑战，我们提出了一种新颖的基于失败的方法，该方法利用任务诱导的失败洞察来增强失败检测能力，同时减少所需测试数量。由于深度强化学习智能体本质上是由人类定义的任务所设计的，它们提供了关于任务难度的有价值线索。直观上，深度强化学习智能体在面对更困难的任务时更有可能失败；因此，PRT 对这些任务进行优先排序。在此基础上，我们提出了优先随机测试（Prior Random Testing），这是一种黑盒的基于失败的测试方法，能够在保持所生成测试用例多样性的同时实现有针对性的优先级排序。在任务诱导的失败洞察指导下，PRT 优先关注输入域中易发生失败的区域，从而促进高效的失败检测。

PRT 在四个广泛使用的基准测试上进行了评估，并与不同的最先进方法进行了比较，包括模糊测试、基于搜索的方法和基于生成的方法。在发现首次失败的成本和测试用例的多样性方面，PRT 均跻身表现最佳的方法之列。值得注意的是，与随机测试相比，PRT 实现了更好的多样性，并将测试成本降低了超过 50%。

Abstract

Deep Reinforcement Learning (DRL) agents have been widely adopted across diverse domains to address challenging decision-making problems, such as autonomous driving and robotic control. Given that many of these applications are safety- and security-critical, rigorous testing of DRL agents is indispensable. Existing testing methods are typically guided by reward signals to detect failures. However, for well-trained agents, whose performance approaches optimal levels in standard operating conditions, reward signals remain generally high, making current methods ineffective at uncovering critical failures. To address these challenges, we propose a novel failure-based method that leverages task-induced failure insights to enhance failure detection capability while reducing the number of tests required. Since DRL agents are inherently designed with human-defined tasks, they provide valuable cues about task difficulty. Intuitively, a DRL agent is more likely to fail when confronted with a more difficult task; therefore, PRT prioritizes these tasks. Building on this foundation, we propose Prior Random Testing, a black-box failure-based testing method that enables targeted prioritization while preserving the diversity of generated test cases. Guided by task-induced failure insights, PRT prioritizes failure-prone regions of the input domain, thereby facilitating efficient failure detection. PRT is evaluated on four widely used benchmarks and compared with different state-of-the-art methods including fuzzing, search-based and generative-based methods. PRT ranks among the top performers in terms of both the cost of finding the first failure and the diversity of test cases. Notably, compared to random testing, PRT achieves better diversity and reduces the testing cost by over 50%.

论文详细总结（自动生成）

论文总结：基于失败的深度强化学习智能体测试

1. 核心问题与整体含义（研究动机与背景）

• 研究对象：深度强化学习（Deep Reinforcement Learning, DRL）智能体，已被广泛应用于自动驾驶、机器人控制等安全攸关的决策任务。
• 核心痛点：现有 DRL 测试方法普遍以奖励信号（reward signal）作为寻找失效的指引。然而，对于训练充分的智能体，其在标准运行环境下表现接近最优，奖励值持续偏高，导致基于奖励的方法难以暴露"罕见但严重"的故障。
• 失败模式特征：失败通常集中在输入空间的稀疏、边缘区域，使得测试资源浪费在大量"安全"输入上。
• 论文主张：DRL 智能体本质上由人类定义的任务构建，因此任务本身就携带了关于"难度"的线索——智能体在更困难的任务上更容易失败。利用这一任务诱导的失败先验可以主动引导测试资源向易失败区域汇聚。

2. 方法论：核心思想、关键技术细节与算法

2.1 核心思想

• 提出 Prior Random Testing（PRT，优先随机测试）：一种黑盒、失败驱动的测试方法。
• 不直接依赖奖励梯度，而是利用任务难度先验对输入域中的易失败区域做优先级排序，同时保持测试用例的多样性。
• 在保留随机测试覆盖广度的同时，引入偏置采样，让采样分布偏向"困难任务"。

2.2 关键技术细节

• 黑盒设定：无需访问智能体内部梯度或奖励，对奖励信号稀疏或难以计算的部署场景友好。
• 任务难度先验：由任务定义或人类标注（如任务层级、目标复杂度、奖励结构）获取，作为每个采样任务的先验权重。
• 优先随机采样机制：在保持测试用例多样性的前提下，将更多采样预算分配到先验失败概率高的任务/输入区域。
• 多样性保持：通过随机扰动与跨任务覆盖，避免陷入"对单一任务过采样"的局部化失败。
• 文章将 PRT 与失败检测目标统一为：在给定测试预算 $B$ 内，最大化首次失败发现概率与失败多样性。

从抽象数学表述上看，其采样分布可记为：

其中 $p_{\text{rand}}(x)$ 为均匀随机基线分布，$p_{\text{prior}}(x)$ 为任务诱导的难度先验，二者结合使得采样偏向 $p_{\text{prior}}$ 高且仍具有一定随机覆盖性。

3. 实验设计：数据集 / 场景 / Benchmark / 对比方法

• 基准（Benchmark）：在 4 个广泛使用的 DRL 测试基准上进行评估（具体名称在正文摘要部分未完全披露，应为自动驾驶与控制类典型环境，如含车道驾驶、车道变换、躲避障碍等场景）。
• 对比方法：覆盖三类先进方法：
• 模糊测试（Fuzzing-based）：通过随机/启发式扰动生成测试输入。
• 基于搜索的方法（Search-based）：利用优化/搜索算法在输入空间中寻找失败。
• 基于生成的方法（Generative-based）：使用生成模型（如 VAE、GAN）合成测试场景。
• 评估指标：
• 首次失败成本：发现首个失败所需的测试用例数（越少越好）。
• 测试用例多样性：生成用例之间的差异度/分布覆盖度（越高越好）。
• 与随机测试的相对测试成本比较。

4. 资源与算力

• 论文摘要与元数据中未显式说明 GPU 型号、数量、训练时长或计算预算等具体算力信息。
• 由于 PRT 是黑盒测试方法，不涉及对 DRL 智能体自身的重新训练，主要开销在于测试用例生成与仿真执行，因此对硬件需求主要来源于仿真环境并行度。文章在此维度上的具体配置未在已提取的文本中给出，属于信息缺口。

5. 实验数量与充分性

• 基准覆盖：4 个公开基准，包含多类测试方法对照，范围较为广泛。
• 方法对照：横跨模糊、搜索、生成三大类测试范式，对比维度较完整。
• 可能存在的不足：
• 消融实验：所提供摘要未明确提到对"任务难度先验来源"、"先验强度"、"多样性正则系数"等的消融结果，充分性需在正文中进一步核实。
• 随机种子与统计检验：摘要未提及多次独立运行与置信区间报告，仅给出"成本降低 >50%"的宏观数据，统计显著性细节不明。
• 智能体多样性：是否覆盖不同训练程度、不同奖励塑形方式的智能体尚不明确。
• 总体上，基准数量尚可，但实验细节（尤其方差报告与消融）的充分性需结合正文确认。

6. 主要结论与发现

• 效率：PRT 在 首次失败发现成本与测试多样性两项核心指标上均跻身最佳方法之列。
• 相对随机测试：PRT 在保持更高多样性的同时，将测试成本降低 超过 50%。
• 范式贡献：验证了"任务先验"作为一种黑盒信号源对高奖励 DRL 智能体失败检测的有效性，弥补了奖励信号失效的场景。
• 适用范围：对缺乏奖励梯度或奖励难以获得的真实部署场景尤其有价值。

7. 优点

• 解决关键痛点：直接切入"高奖励→奖励信号失效"这一被忽视的盲区。
• 黑盒友好：不依赖可微奖励或模型内部结构，更贴合真实部署环境。
• 兼具优先级与多样性：在主动偏置采样的同时保持随机性，避免搜索式方法常见的样本同质化问题。
• 方法轻量：相比生成式/搜索式方法，PRT 实现简单，无需训练生成器，部署门槛低。
• 跨方法对照：与模糊、搜索、生成三类 SOTA 方法同台比较，结果具备说服力。

8. 不足与局限

• 先验依赖性：PRT 的有效性高度依赖"任务难度先验"的质量。若任务定义粗糙或缺乏人类先验信息，性能可能退化。
• 黑盒代价：放弃了奖励信号这一信息源，在某些可获取奖励梯度的场景中可能不如利用梯度的搜索式方法精确。
• 应用范围：主要在仿真基准上验证，现实世界（高保真传感器输入、长尾真实数据）迁移性尚需讨论。
• 奖励塑形偏差风险：若智能体训练时使用了密集奖励塑形，仍可能存在奖励异常稀薄或被对抗的边界情况。
• 统计严谨性：从现有摘要看，未强调多次运行方差与显著性检验，存在单次结果过拟合的风险。
• 泛化到非离散任务域：对于连续动作空间或层次化任务，先验的"难度排序"如何构造仍是开放问题。
• 算力信息缺失：未公开计算资源细节，复现成本难以评估。

（完）