arXiv 2607.11607v1 · 发布 2026-07-13

审计分布式强化学习的风险声明

Auditing the Risk Claims of Distributional Reinforcement Learning

AUTHORS Hari Prasad

EVIDENCE 对分布式强化学习算法风险声明的理论审计分析

SCORE 0.8

GENERATED 2026-07-20 16:31:48 UTC

📝 TLDR

分布强化学习广泛用于风险敏感控制，但其风险声明是否真实从未被直接验证。本文提出基于Wasserstein差距与快照重启动蒙特卡洛的审计方法，配合统计假设检验。在QR-DQN、C51、IQN及Atari规模上，40-95%最强风险声明被95%置信度反驳；伪影在训练早期形成，与最终得分无关。释放工具包并揭示两个易导致审计自身出错的设计陷阱。

🧭 速览

动机

现有关于分布RL风险建模的工作普遍默认其分布输出可直接用于风险敏感决策，缺乏对风险声明真实性的直接审计。

方法

结合Wasserstein差距指标、快照重启动蒙特卡洛真值、置换零假设、bootstrap反驳与FDR控制的统计审计框架。

结果

在33次MinAtar运行中，40-95%的最强风险声明被95%置信度反驳；Breakout上预训练QR-DQN全部顶级声明被否。

结论

学到的风险反映训练伪影而非环境随机性；按CVaR行动可能劣于随机，训练目标或集成均无法消除。

📊 论文图表(共 8 张)

展开查看 8 张图

TL;DR

这篇论文对分布式强化学习智能体（如 QR-DQN、C51、IQN）做出的"风险声明"进行了首次系统性审计——即当智能体声称某动作"比另一动作风险更高"时，这个说法是否真实可信。研究团队开发了一套结合超额 Wasserstein 差距、快照重启蒙特卡洛地面真值和完整统计假设检验框架的审计工具。在 MinAtar 和全规模 Atari 上的实验揭示了一个令人警醒的现象：这些智能体学习到的"风险"反映的是训练过程中产生的伪影，而非环境的真实随机性——最强声明中有 40–95% 在 95% 置信度下被证伪，且这种伪影在训练极早期就已完全定型，现有修复方案（CVaR 训练、集成、重校准）均无法根除。

研究背景与动机

分布式强化学习近年来成为该领域的重要分支。与传统方法仅学习期望回报不同，分布式强化学习方法（如 QR-DQN、C51、IQN）学习完整的状态-动作回报分布 $Z^{π} (s, a)$ 。这些分布信息被广泛应用于可解释性分析、风险敏感控制（如基于 CVaR 的决策）以及安全监控等下游任务。理论上，学习完整的回报分布意味着智能体能够"看见"风险的全貌，从而做出更稳健的决策。

然而，一个关键假设从未被直接验证：当一个训练好的分布式智能体声称两个动作之间存在风险权衡时，这个声明是否反映了环境中真实存在的随机性结构？论文指出，理论层面已有警示——QTD（分位数回归分布式强化学习）学习的固定点不必等于真实回报分布（Rowland et al., 2023a），甚至仅使用均值时分布式方法的优势也存在疑问（Rowland et al., 2023b；Lyle et al., 2019）。此外，不确定性估计领域长期怀疑分位数头部可能将认知不确定性与偶然不确定性混为一谈（Clements et al., 2019）。

现有评估指标（如 Wasserstein 距离、KL 散度等聚合散度）存在根本局限：它们衡量的是分布的整体偏差，但无法区分"无人关注的误差"与"风险敏感用户真正消费的误差"。换句话说，即使两个分布的 Wasserstein 距离很大，如果这种差异对任何单调风险泛函的决策都毫无影响，那它对风险敏感应用来说就是无意义的。因此，论文提出需要一种决策级审计——直接检验：当用户真正依据这些分布做出风险敏感决策时，决策建议是否可靠？

方法

审计框架的核心是三个组件的协同设计：决策相关的筛选指标、可靠的地面真值采集方法，以及严谨的统计检验框架。

筛选指标：超额 Wasserstein 差距

对于状态 $s$ 下按均值排名前两的动作 $a_{1}$ 和 $a_{2}$ ，论文定义了超额 Wasserstein 差距：

Δ_{x} (s) = W_{1} (\hat{Z} (s, a_{1}), \hat{Z} (s, a_{2})) - ∣ \overset{μ}{^}_{1} (s) - \overset{μ}{^}_{2} (s) ∣

其中 $W_{1}$ 是基于分位数原子的经验 Wasserstein-1 距离。这个指标的精妙之处在于其理论保证：命题 1 证明 $Δ_{x} (s) = 0$ 当且仅当一个分布一阶随机占优另一分布，此时所有单调风险泛函对两动作的排序完全一致；而 $Δ_{x} (s) > 0$ 精确度量了一阶随机占优被违反的程度，也就是智能体声称存在"真正风险权衡"的量值。这个指标因此能够精确隔离"承载决策内容的声明"，过滤掉两动作共享的系统性误差。

地面真值：快照重启蒙特卡洛

为了获得可靠的参照基准，论文采用了快照重启蒙特卡洛方法。具体流程是：对审计目标状态，采集最多 16 个环境深度拷贝快照，对每个快照执行 2,000 次独立重启 rollout——强制执行候选动作后按贪心策略运行至终止或达视野上限，累积折扣回报。每次重启 rollout 使用独立的随机种子，确保环境随机性（sticky action、随机生成等）是唯一的噪声源，精确对应评估策略下回报分布的偶然语义。

统计检验框架

没有严格统计控制的审计本身会产生误导性结论。论文设计了四层检验机制：确认检验通过置换零假设（同一动作 rollout 的半分裂之间）判断声明是否真实存在；反驳检验通过 Bootstrap 分布判断学到的 $Δ_{x}$ 是否超过蒙特卡洛真值的 97.5 百分位；Benjamini–Hochberg FDR 控制以 0.10 的阈值在多游戏池化中校正多重比较；混叠控制则排除部分可观测性干扰的状态（中位零假设约 0.07，故幅度超过该阈值的真实权衡可被检测）。

论文还详细披露了两个曾导致自己得出错误结论的"陷阱"：P1（RNG 克隆）——deepcopy 环境会复制内部随机数生成器状态，导致"随机"rollout 复演同一未来，产生不合理的确定性；P2（经验 Wasserstein 噪声地板）——两个同分布样本之间的经验 $Δ_{x}$ 集中于 $c σ n^{- 1/2} > 0$ ，在 Breakout 高方差状态下，n=200 时噪声地板的 95 分位高达 0.22，远超常见阈值 0.05。这些披露既提升了方法论透明度，也为后续研究者提供了避坑指南。

实验与结果

实验覆盖了三个层面：MinAtar 上的系统审计、全规模 Atari 的跨规模验证，以及多维度的消融分析。

在 MinAtar 上对 QR-DQN（5 种子）、C51（3 种子）和 IQN（3 种子）的 33 次运行构成了主审计数据集。对于每个智能体采集 2,000 个状态，按 $Δ_{x}$ 分 7 个排名层，每层抽取 7 状态进行精细审计。结果令人警醒：top 2% 排名的声明中，66–84%（QR-DQN）、40–95%（C51/IQN）以 95% 置信度被反驳；池化 FDR 校正后确认数为零——即几乎没有任何声明能被证实。

更根本的诊断来自相关性和真盲检验。学到的 $Δ_{x}$ 与蒙特卡洛真值的池化相关系数在三种游戏中分别为 $r \in {0.02, 0.05, - 0.03}$ ，无一种子显著为正；真盲空头部（随机放置声明位置）的反驳率（81%）与实际反驳率（79%）无统计差异（ $p = 0.22$ ），说明最强声明的放置"统计上与不看真相时无法区分"。

伪影的结构性特征同样值得深思：审计在训练 500k 步时已完成（彼时分数仅 8.6），而到 3M 步时分数翻倍至 14.4，但 top 反驳率几乎不变；得分与反驳率的 Spearman 相关为 $- 0.07$ ；每个种子产生自己独特的虚假声明（中位跨种子重叠率仅 3.8%）。这表明伪影与训练动态和最终表现解耦，是每个智能体各自的训练轨迹产物。

决策层面的影响同样矛盾。论文比较了三种选"更安全动作"策略的效果：头部 CVaR、均值贪心、地面真值。结果显示头部 CVaR 在 Breakout 正确率达 81%，但在 Seaquest 仅 24–34%（显著低于随机概率，单边二项检验 $p = 8 \times 1 0^{- 4}$ ）；C51 在所有三游戏中均输给均值贪心。没有跨游戏的规则告诉从业者何时该信任头部建议。

预训练 SB3-zoo QR-DQN 在全规模 Atari Breakout 上的结果进一步证实了问题的跨规模普适性：所有 14 个 top 声明被反驳，相关 $- 0.22$ 。

面对这些发现，论文系统测试了四类修复方案。CVaR-greedy 训练（ $α = 0.25$ ）反而使 top 反驳率达到 88–98%，确认数为零；5 成员集成衰减了伪影但未能校准，仅在 Breakout 恢复了 8 个确认；重校准（isotonic 回归）降低反驳率的唯一方式是将其压到 12–22% 并同时将"真实权衡"断言降至 0%——论文的判断是"通过审计只是说空话"。这些失败共同指向一个诊断：头部是无信息量的（uninformative），而非仅仅校准不当（miscalibrated）——缺失的是信号本身，而非尺度问题。

讨论与可借鉴点

这项研究的价值首先在于它提出的问题本身：分布式强化学习的风险声明从未被直接验证，而这个看似基本的实证问题揭示了一个系统性缺陷。在 MinAtar 和 Atari 两个尺度、三种分布式算法上，这个问题普遍存在，说明它不是某个特定实现的 bug，而是更深层的方法论问题。

从方法论角度，论文的贡献在于提供了完整的审计工具包和严谨的统计框架。特别值得借鉴的是那两个"陷阱"的披露——RNG 克隆和经验 Wasserstein 噪声地板——这些是任何使用蒙特卡洛地面真值验证分布方法的人都可能踩中的坑。统计检验的"三件套"（置换零假设 + bootstrap 反驳 + FDR 控制）应当成为类似审计的标准配置。

对于实践者而言，这项研究给出的最直接建议是审慎对待分布式强化学习智能体头部的 CVaR 建议。在风险敏感应用中盲目信任这些分布信息可能导致次优甚至有害的决策。均值贪心在实验中始终是一个可靠的基线，尽管它没有利用任何分布信息。

研究也存在局限：实验主要在 MinAtar 和几个 Atari 游戏上进行，结论在更复杂环境（如连续控制、真实机器人）中的普适性需要进一步验证。此外，论文并未给出修复伪影的具体方案，只是排除了几种常见思路。这个问题的根源——为何分布式强化学习会在训练过程中产生与真实风险无关的分布结构——仍有待理论解释。

这项工作为分布式强化学习的风险评估打开了一个新的研究窗口：与其争论哪种分布表示更好，或许更根本的问题是我们是否真的在学习有意义的分布结构，以及如何设计训练目标使学到的分布真正反映环境的随机性。

摘要

分布式强化学习智能体学习完整的回报分布，这些分布越来越被直接采信：用于可解释性、风险敏感控制以及安全性监控。我们提出了一个理论上预期但尚未被直接测量的问题：一个训练好的分布式智能体的风险声明是否为真？我们的审计结合了一个决策相关的筛选指标（前两个动作之间过量的 Wasserstein 差距，等于一阶随机占优被违反的量值）、来自快照重启蒙特卡洛的地面真值，以及一个统计框架（置换零假设、Bootstrap 反驳、FDR 控制）——没有这个框架，审计本身就会制造虚假结论。在 MinAtar 上对 QR-DQN、C51 和 IQN 的 33 次运行中，最强的风险权衡声明中有 40-95% 在 95% 置信水平下被反驳；最强声明的放置在统计上与不考虑真相时无法区分；几乎没有声明是可被确认的：对于这些智能体而言，所学到的"风险"反映的是训练伪影，而非环境的随机性。该伪影是结构性的（在训练早期就已完全形成，与最终分数无关，每个种子都各有其特点），在全规模 Atari 上似乎也未改变——一个预训练的接近最先进水平的 QR-DQN 在 Breakout 上的每一个顶级声明都被反驳。已知幅度的正控制确认了 96-100% 的真实声明（相关性 0.89-0.92）：这种读数衡量的是智能体，而非审计。在被最多标记的状态下依据各头部（head）的 CVaR 建议行动，效果从有益到显著差于随机不等。无论是针对风险进行训练还是采用集成方法都无法消除该伪影；而重新校准仅通过否定声明来通过审计：头部的输出是无信息量的，而不仅仅是校准不当。我们发布了该工具包，并记录了曾使我们自己得出看似可信但错误的审计结论的两个隐性陷阱。

Abstract

Distributional reinforcement learning agents learn full return distributions that are increasingly read at face value: for interpretability, risk-sensitive control, and safety monitoring. We ask a question theory anticipates but that has not been measured directly: are the risk claims of a trained distributional agent true? Our audit combines a decision-relevant screening metric (the excess Wasserstein gap between the top two actions, which equals the mass by which first-order stochastic dominance is violated), ground truth from snapshot-restart Monte Carlo, and a statistical harness (permutation nulls, bootstrap refutation, FDR control) without which the audit itself manufactures false conclusions. Across QR-DQN, C51, and IQN on MinAtar (33 runs), 40-95% of the strongest claimed risk trade-offs are refuted at 95% confidence, the placement of the strongest claims is statistically indistinguishable from truth-blind, and essentially no claim is confirmable: for these agents, the learned "risk" reflects a training artifact rather than environment stochasticity. The artifact is structural (fully formed early in training, uncorrelated with final score, idiosyncratic to each seed) and appears unchanged at full-Atari scale, with every top Breakout claim of a pretrained near-state-of-the-art QR-DQN refuted. Positive controls of known magnitude confirm 96-100% of real claims (correlation 0.89-0.92): the reading measures the agents, not the audit. Acting on the heads' CVaR advice at their most-flagged states ranges from beneficial to significantly worse than chance. Neither training for risk nor ensembling removes the artifact, and recalibration passes the audit only by nullifying the claims: the head is uninformative, not merely miscalibrated. We release the toolkit and document two silent pitfalls that produced convincing but wrong audits of our own.

论文详细总结（自动生成）

论文总结：审计分布式强化学习的风险声明

1. 核心问题与研究动机

分布式强化学习（Distributional RL，如 QR-DQN、C51、IQN）通过学习完整的回报分布 $Z^{π} (s, a)$ 来支持可解释性、风险敏感控制（如 CVaR）以及安全监控等下游应用。这些应用隐含一个关键假设：学习到的分布形状差异反映了环境中真实存在的风险结构。

然而：

理论已有警示：QTD 学习的固定点不必等于真实回报分布（Rowland et al., 2023a）；分布方法的收益甚至在仅使用均值时也存在（Rowland et al., 2023b；Lyle et al., 2019）。
不确定性估计文献长期怀疑 quantile 头将认知不确定性（epistemic）与偶然不确定性（aleatoric）混合（Clements et al., 2019）。

本文提出一个理论与实践之间被忽视的实证问题：当训练好的分布式智能体声称两个动作存在风险权衡时，该声明是否为真？ 聚合散度指标无法区分"无人关注的误差"与"风险敏感用户真正消费的误差"，需要一个决策级审计。

2. 方法论

2.1 筛选指标：超额 Wasserstein 差距

对状态 $s$ 下按均值排名前两的动作 $a_{1}, a_{2}$ ，定义：

Δ_{x} (s) = W_{1} (\hat{Z} (s, a_{1}), \hat{Z} (s, a_{2})) - ∣ \overset{μ}{^}_{1} (s) - \overset{μ}{^}_{2} (s) ∣ \geq 0

其中 $W_{1} = \frac{1}{N} \sum_{i} ∣ θ_{i} (s, a_{1}) - θ_{i} (s, a_{2}) ∣$ 可由分位数原子闭式计算。

命题 1（优势刻画）：

Δ_{x} = \int ∣ F - G ∣ d x - \int (F - G) d x = 0 ⟺ F - G 不变号

即 $Δ_{x} (s) = 0$ 当且仅当一个分布一阶随机占优另一分布，此时所有单调风险泛函对两动作排序一致； $Δ_{x} (s) > 0$ 当且仅当智能体声称存在真正的风险权衡，CVaR 与均值贪心策略可能分歧。

因此 $Δ_{x}$ 精确隔离了"承载决策内容的声明"，过滤掉两动作共享的误差。

2.2 地面真值：快照重启 Monte Carlo

智能体滚动采样 2,000 个唯一状态，存储每个状态最多 16 个环境深度拷贝快照。
对每个被审计状态和 top-2 动作执行 2,000 次重启 rollout：强制执行该动作，然后按贪心策略运行到终止或视野 $1 0^{3}$ ，累积 $γ$ -折扣回报。
每个重启副本独立重新播种（避免陷阱 P1）。
环境随机性（sticky action、随机生成、难度递增）是唯一噪声源，符合 $Z^{π}$ 在评估策略下的偶然语义。

2.3 统计检验框架

检验	构造	意义
确认检验	$\hat{Δ}_{x}^{M C} (s)$ 是否超过置换零假设（同一动作 rollout 半分裂之间的过量，纯粹估计噪声）	真实权衡存在
反驳检验	学到的 $Δ_{x} (s)$ 是否超过 MC 过量的 97.5 百分位 bootstrap 分布	声明被证伪
FDR 控制	Benjamini–Hochberg FDR 0.10，逐游戏池化	多重比较校正
混叠控制	每状态混叠指数（按快照均值标准差 / 总回报标准差）< 0.25 的状态单独报告	部分可观测性

中位零假设约 0.07，故幅度 $≳ 0.07$ 的真实权衡可被检测到。

2.4 自我揭穿的两个陷阱

P1：RNG 克隆：用 deepcopy 快照环境会克隆内部随机数生成器，每次"随机" rollout 复演同一未来。作者第一次审计因此得出"全部声明都是伪影"——错误结论，特征是带随机生成的游戏中不可能的确定性。
P2：经验 Wasserstein 噪声地板：两个来自同分布的 $n$ -样本之间，经验 $Δ_{x}$ 集中于 $c σ n^{- 1/2} > 0$ （Fournier & Guillin, 2015）。在 Breakout 高方差状态 $σ \approx 2.3$ 的实测中， $n = 200$ 时地板 95 分位 $\approx 0.22$ ，远大于固定阈值 0.05——直接阈值化会"确认"三分之二的纯噪声声明。

这两个陷阱分别促使本文采用：(1) 每个重启副本独立重新播种；(2) 在部署样本量 $n = 2, 000$ 下用每状态零假设校准检验。

3. 实验设计

3.1 数据集 / 环境

环境	用途	关键属性
MinAtar（Breakout, Seaquest, Asterix）	主审计目标	$10 \times 10 \times C$ 二值观测，sticky action $p = 0.1$ ，随机生成
全规模 ALE（Breakout, Seaquest）	跨规模验证	$84 \times 84$ 灰度，4-frame stack，sticky $p = 0.25$ ，预训练 SB3-zoo QR-DQN（10M 帧）
RISKYGRID / RISKYGRIDFAINT	正控制	10 步走廊，每列赌注 $g (x) \in {0, 0.5, \dots, 2.0}$ ，均值相同；FAINT 版 $g \in {0, 0.05, 0.1, 0.2, 0.4}$ 横跨检测地板 $\approx 0.07$

3.2 算法 / 方法

审计对象：QR-DQN（5 seed，3M 步）、C51（3 seed）、IQN（3 seed），含 33 次 MinAtar 运行。
修复方法对照：
CVaR $_{α}$ -greedy 训练（ $α = 0.25$ ）：用自身分位数 CVaR 选动作与 bootstrap 目标。
5 成员集成（共享 buffer，bootstrapped-DQN 风格），按 $W_{1}$ 重心审计。
单调重校准（isotonic 回归，按状态 split 校准/测试）。
蒸馏控制（用 MC 真值微调头部）。
基线：均值贪心选动作。
强化层：决策级评估比较三种"选更安全动作者"——头部 CVaR、均值贪心、地面真值。

4. 算力与资源

MinAtar 训练 + 审计 + 正控制：多核 CPU，总成本 < $9。
全规模 ALE 实验：单块消费级 GPU；SB3-zoo 预训练 QR-DQN（10M 帧，200 分位数）直接采用，跳过自训练。
sticky action ALE 从头训练：在 10M 帧预算内未能达到具有竞争力的分数，未报告（已开源 trainer，可作后续扩展）。
总实验量：2,450 个审计状态，约 960 万次 rollout。
作者承诺开源：全部代码、检查点、analysis/*.json 原始分析结果可复现所有表格与图。

5. 实验数量与充分性

审计粒度：每次运行采集 2,000 状态，按 $Δ_{x}$ 分 7 个排名层（top 0.5%、0.5–2%、2–5%、5–10%、10–25%、25–50%、50–100%），每层抽 7 状态 = 49 状态/run。
跨算法覆盖：QR-DQN（5 seed × 3 游戏）+ C51（3 seed × 3 游戏）+ IQN（3 seed × 3 游戏）+ 预训练 ALE = 33 MinAtar run + 2 ALE run。
结构性探针：
训练时间（500k / 1M / 2M / 3M 步审计）
表现解耦（score vs refutation 的 Spearman）
跨种子集成（用同游戏其他种子再评 49 状态）
公平性保障：
正控制（RISKYGRID）确认审计方法本身可信；
真盲空头部（truth-blind null head）：置换声明位置， $p = 0.22$ 显示最强声明放置不比随机更准；
无泄露探测器：13 个头部特征 + 留一游戏 / 留一种子交叉验证。
整体评估：实验覆盖广、统计严谨，正控制、空假设、FDR 校正三件套齐全，结论可信度较高。

6. 主要结论与发现

1. 最强声明多数为假：top 2% 排名的声明中 66–84%（QR-DQN MinAtar）、40–95%（C51、IQN 全 games）以 95% 置信度被反驳；低混叠状态反驳率更高。

2. 几乎没有声明可被确认：三个 MinAtar 游戏池化 FDR 校正后确认数全为 0（245 / 245 / 245 状态）。

3. 置信与真相反相关：学到的 $Δ_{x}$ 与真实 MC $Δ_{x}$ 的池化相关 $r \in {0.02, 0.05, - 0.03}$ （三种游戏），无一种子显著为正；真盲空头部的反驳率（81%）与实际反驳率（79%）无统计差异（ $p = 0.22$ ）。

4. 伪影结构性：500k 步已完全形成并持续到 3M（分数从 8.6 翻倍至 14.4）；得分与 top 反驳率 Spearman $- 0.07$ ；每个种子产生自己的虚假声明（中位 3.8% 重现率）。

5. 决策级评估矛盾：头部 CVaR 选"真正更安全动作"的比率从 Breakout 的 81% 到 Seaquest 的 24–34%（低于随机，单边二项 $p = 8 \times 1 0^{- 4}$ ， $α = 0.25$ ）；C51 在所有三游戏输给均值贪心；无跨游戏规则告诉从业者何时该信头部建议。

6. 跨算法 / 跨规模复现：C51、IQN 同样模式；预训练 SB3-zoo QR-DQN 在 Breakout 的所有 14 个 top 声明被反驳，相关 $- 0.22$ 。

7. 修复均失败：

CVaR-greedy 训练：top 反驳 88–98%，零确认。
5 成员集成：衰减但未校准（仅 Breakout 恢复 8 个确认）。
重校准：唯一能降低反驳率的重校准将声明压到 12–22% 并断言 0% 真实权衡——"通过审计只是说空话"。

8. 可解释标本：20% 的 top Breakout 状态属于"已注定"型——所有 2,000 个未来回报完全相同（bootstrap 97.5 分位 0.00），但头部却报告宽且交叉的分布， $Δ_{x}$ 高达 0.44。

9. 结论性诊断：头部无信息量（uninformative）而非校准错误（miscalibrated）——缺失信号，不是尺度问题。

7. 优点与亮点

决策相关性： $Δ_{x}$ 精确筛出"会被实际采用"的声明，绕开聚合散度指标无法定位决策点的局限。
理论-实践闭环：用命题 1 将 $Δ_{x}$ 与一阶随机占优违规模量严格绑定。
统计三件套齐全：置换零假设 + bootstrap 反驳 + BH FDR 控制，作者自己先用 P1、P2 陷阱自我揭穿，方法论透明。
多层次正控制：RISKYGRID（含 FAINT 跨检测地板版）+ truth-blind null head + 无泄露特征探测器，层层剥离"审计本身坏了"的反驳空间。
全维度复现性：3 种投影（C51 类别、QR-DQN 分位、IQN 隐式分位）、3 个 MinAtar 游戏、MinAtar + ALE 两尺度、自训练 + 预训练两种智能体来源。
故障模式曝光：CVaR-greedy 训练、集成、重校准、蒸馏四类"看似合理"的修复均显式测试，避免 claim "未修复 = 未尝试"。
开源承诺：代码 + 检查点 + 原始 npz/json 数据，可直接复现全部表格与图。

8. 不足与局限

算法 / 设置覆盖不足：仅 QR-DQN、C51、IQN；未测 FQF 及其变体、DSAC / 连续控制 actor-critic、离线 distributional RL、模型基（MuZero、Dreamer）；仅在贪心与 CVaR-greedy 评估下审计。
跨规模最干净测试缺失：sticky action ALE 从头训练在算力预算内未达到有竞争力分数，因此预训练 SB3-zoo 智能体（在无 sticky 环境下训练）被审计——其声称的散布根本无法反映环境随机性，故其结论只能作为"伪影规模与位置的一致性检查"，非独立复现。
环境稀疏性可能部分解释零确认率：作者通过三项正控制（RISKYGRID / RISKYGRIDFAINT / 重校准对比）做出回应，但理论上"MinAtar 缺乏动作条件偶然风险"仍是零确认的潜在残因。
快照重启访问依赖：审计需要 deep-copy 环境快照的能力，限制了不可重置或高随机性环境的应用；且 P1、P2 陷阱对任何基于重启的评估方法普适。
纠缠风险无法诊断：当真实风险与动力学耦合且效应量小到不可分辨时，无明确答案键（缺乏 ground truth）。
重校准解读需谨慎：声称头部"无信息量"的结论建立在"降低反驳率必然伴随声明塌缩"的实证观察上，并未直接证明"任何重校准均无法恢复"。
样本量局限：每游戏每算法 147–245 个审计状态（49/run × 多 seed），对低频模式的检测功效有限。
论文格式问题：原始 arXiv 编号 2607.11607v1 实为未来日期（2026 年 7 月），可能存在日期标注笔误；同时存在"Or in the text"引用占位符等编辑痕迹。

总结定位：本文是首篇对训练好的深度分布式 RL 智能体的"风险声明"进行决策级、统计受控实证审计的工作。结论尖锐——QR-DQN/C51/IQN 报告的风险在决策相关位置系统性伪造，主流修复方案均失效——并通过正控制、空头对照、双盲审计设计把"这是审计 bug"这一反驳空间基本堵死；同时通过结构性探针、跨算法跨规模复现与开源工具包，把结论锚定在可验证的事实层。其主要不足在于算法/环境覆盖范围与"无环境随机性的预训练 ALE"作为代理带来的可推广性问题，以及对那些"风险与动力学深度耦合

且效应量小到无法分辨"的情况缺乏明确答案键。

正向贡献的可推广性边界：FAINT 版正控制虽证明审计对地板附近（ $≳ 0.07$ ）的真正权衡敏感，但这种"地板"本身依赖于环境的具体偶然噪声尺度；若推广到噪声尺度更小（如近确定性安全关键场景）或更大（如高方差金融序列）的领域， $Δ_{x}$ 的可检测下限与最优采样预算都需重新校准。

训练-评估协议一致性：所有审计均在贪心评估策略下进行，未讨论软策略、温度采样、或在训练分布偏移下的分布漂移问题——而这恰恰是分布方法被推荐使用的核心场景之一。

9. 综合评价与定位

学术贡献层面：本文填补了 distributional RL 文献中长期被忽视的实证空白——已有工作或证明理论缺陷（Rowland 等），或提供诊断工具但停留在描述统计层面（Oladiran 等 2024 的 EVT 报告）。本文首次将"分布形状是否对决策负责"这一可证伪问题系统化，并通过正控制、空头对照、FDR 校正把可质疑空间压到最小。其方法论本身——超额 Wasserstein 差距 + 快照重启 MC + 双重假设检验——可被未来工作直接复用到连续控制、离线 RL、模型基方法等其他范式。

实践警示层面：对安全关键 RL 部署而言，结论是明确的——不要直接信任 distributional head 输出的 CVaR/CVaR-greedy 选择作为风险敏感决策依据。本文给出的负面证据强度（多算法、多规模、多修复路径全部失败）足以让任何工程团队在采用 distributional RL 做风险敏感应用前，先用本文工具包自审计一遍。本研究与其说提供了解决方案，不如说阻止了一个被广泛传播但缺乏实证支撑的工程范式。

方法论遗产层面：本文展示的"决策级审计 + 统计三件套 + 多重正控制 + 自我揭穿陷阱"模式，可作为实证 RL 审计领域的参考模板。尤其是 P1（RNG 克隆）与 P2（经验 Wasserstein 噪声地板）这两个陷阱，应作为任何基于重启 MC 的 RL 评估研究必须事先排除的"已知失败模式"。

未来工作开放问题：

1. FQF / DSAC / 离线 distributional RL 是否同样脆弱？

2. 训练目标中加入明确的分布校准正则（如 moment-matching、KL 到 MC 估计）能否产生可审计的分布头？

3. 风险与动力学深度耦合场景下，是否需要联合学习"动力学模型 + 分布头"才能产生可信风险声明？

4. 快照重启 MC 本身能否用基于模型的 rollout 替代以扩展到不可重置环境？

（完）

✨ 编译论文

点「✨ 编译」开始,LLM 会按 Polaris 风格翻译并把图片/表格嵌到对应位置。结果存到浏览器 localStorage,下次访问自动加载。