arXiv 2607.08444v1 · 发布 2026-07-09

分位数分布强化学习的统计效率与推断

Statistical Efficiency and Inference of Quantile Distributional Reinforcement Learning

AUTHORS Zijie Cheng, Yang Peng, Zhihua Zhang

EVIDENCE 分位数分布式强化学习的统计效率与估计理论

SCORE 0.8

CATEGORIES TASK rl

PDF ↗ 2607.08444v1.pdf

GENERATED 2026-07-11 21:35:07 UTC

📝 TLDR

分布型强化学习需刻画回报分布，但分位数估计的统计效率尚不清楚。本文基于生成式模型构造经验MDP上的分位数估计器η_m^(n)，在固定维度下证明其W∞度量非渐近误差为Õ(√(m/n))，达到参数最优√n收敛速率，并推导分位数参数的渐近分布与半参数效率界。在分位数数量发散条件下，证明协方差结构仍匹配非参数模型的半参数效率界。最后建立平滑泛函的Berry-Esseen定理，为统计推断奠定基础。

🧭 速览

动机

分位数分布型强化学习的统计效率与渐近性质尚未明确，缺乏对估计误差界与参数渐近分布的系统理论刻画。

方法

基于生成式模型构造经验MDP上的分位数估计器η_m^(n)，分别在固定维度与分位数数量发散两种渐近机制下推导误差界与协方差结构。

结果

固定维度下误差上界为Õ(√(m/n))且达到半参数效率界，分位数发散时协方差结构亦匹配非参数半参数效率界，并得到平滑泛函的Berry-Esseen估计。

结论

分位数法在分布型策略评估中具有统计最优性，为回报分布泛函的统计推断提供了坚实的渐近理论基础。

📊 论文图表(共 2 张)

展开查看 2 张图

TL;DR

这篇论文从统计效率的视角系统研究了分位数型分布强化学习。在给定生成模型的假设下，作者基于经验马尔可夫决策过程构造了分位数固定点估计量 $η_{m}^{(n)}$ ，证明了该估计量在 $W_{\infty}$ 度量下达到 $\tilde{O} (m / n)$ 的非渐近误差界，对每个分位数而言实现了最优的参数 $n$ 收敛速率。更重要的是，估计量不仅在有限维情形下达半参数效率界，当分位数个数趋于无穷时，极限协方差结构仍与 Zhang 等人 (2025) 提出的非参数模型半参数效率界完全一致，表明分位数近似在连续极限下不会损失统计效率。此外，作者还建立了光滑泛函的 Berry–Esseen 定理，为分布策略评估的统计推断奠定了理论基础。

研究背景与动机

强化学习的核心目标是通过与环境交互学习最优策略，而策略评估是这一过程的基础环节。传统强化学习基于“奖励假设”，仅通过期望回报来评价策略的优劣。然而在许多现实应用场景中，期望值往往不足以捕捉决策的全貌——医疗领域中患者对治疗方案的个体化不良反应分布、金融场景里收益与风险的完整权衡，都需要我们对回报的完整分布有更深入的理解。忽略分布信息可能导致对风险的严重低估，这在高风险决策环境中是不可接受的。

分布强化学习（Distributional Reinforcement Learning）正是为解决这一问题而提出的框架。它不满足于估计单一期望值，而是试图刻画折扣累积奖励随机变量在给定策略下的完整分布 $η^{π} (s)$ 。这一分布贝尔曼方程的解提供了比期望值丰富得多的信息：它不仅包含均值，还包含方差、偏度等高阶矩，以及分布的尾部特征——这些都是风险敏感决策的关键依据。

然而，回报分布是一个无穷维对象，直接表征其在所有状态上的分布几乎是不可能的。主流做法是采用有限维近似，其中分位数投影方法（如 QR-DQN、IQN 等）因其在实践中表现优异而备受关注。但一个关键的统计学问题始终悬而未决：基于有限分位数的估计究竟具有怎样的统计效率？参数能否达到最优收敛速率？有限维化是否会引入不可忽视的效率损失？这些问题的答案直接影响着分位数型分布强化学习的理论基础可靠性。

与另一类广泛使用的类别（categorical）方法相比，分位数估计面临独特的数学挑战。分位数涉及逆分布函数和非线性投影算子，其结构与线性类别投影截然不同。这使得经典的 M-估计理论和线性随机逼近工具无法直接套用，需要发展全新的分析框架。

方法

要理解这篇论文的方法论，首先要明确研究的问题设定。作者考虑有限状态空间 $S$ 和有限动作空间 $A$ 上的折扣马尔可夫决策过程 $M = {S, A, P_{R}, P, γ}$ ，其中 $P_{R}$ 是奖励分布， $P$ 是状态转移核， $γ \in (0, 1)$ 是折扣因子。给定策略 $π$ 后，回报分布 $η^{π} (s)$ 满足分布贝尔曼方程：

η^{π} (s) = T^{π} η^{π} (s) = a, s^{'} \sum π (a ∣ s) P (s^{'} ∣ s, a) \int_{0}^{1} (b_{r, γ})_{#} η^{π} (s^{'}) P_{R} (d r ∣ s, a)

其中 $b_{r, γ} (x) = r + γ x$ 是平移-缩放变换， $(b_{r, γ})_{#} η$ 表示将分布 $η$ 通过该变换 pushforward 得到的新分布。

为了获得有限维表示，作者引入分位数投影算子 $Π_{m}$ ：

(Π_{m} ν) (τ) = F_{ν}^{- 1} (τ), τ \in [0, 1]

即用 $m$ 个分位点处的逆分布函数值来近似原始分布。具体的分位点选取为 $τ_{i} = \frac{2 i - 1}{2 m}$ （中点规则），对应的投影分布为：

(Π_{m} ν) = \frac{1}{m} i = 1 \sum m δ_{F_{ν}^{- 1} (τ_{i})}

这个投影算子在 $W_{\infty}$ 度量下具有良好的收缩性质。作者证明，投影贝尔曼算子 $Π_{m} T^{π}$ 是 $γ$ -压缩映射，因此分位数投影贝尔曼方程 $η = Π_{m} T^{π} η$ 存在唯一不动点 $η_{m}$ ，其对应参数 $θ_{m} \in R^{S \times m}$ 编码了每个状态下 $m$ 个分位数的值。

在生成模型假设下，作者对每个状态-动作对 $(s, a)$ 独立采样 $n$ 个奖励样本，构建经验奖励分布 $\hat{P}_{R}^{(n)}$ 和经验转移核 $\hat{P}^{(n)}$ ，进而得到经验马尔可夫决策过程 $\hat{M}^{(n)}$ 和经验贝尔曼算子 $\hat{T}_{n}^{π}$ 。分位数固定点估计量 $η_{m}^{(n)}$ 定义为经验贝尔曼算子作用下分位数不动点方程的唯一解：

η_{m}^{(n)} = Π_{m} \hat{T}_{n}^{π} η_{m}^{(n)}

这个估计量可以通过分位数动态规划算法求解，计算复杂度为 $O (∣ S ∣^{2} ∣ A ∣ (1 - γ)^{- 1} mn lo g (1/ ε))$ 。

接下来是核心的理论分析。作者分三个层次建立了估计量的统计性质：

第一层：非渐近误差界。 定理 3.1 证明了在 $W_{\infty}$ 度量下，估计误差满足：

\overset{ˉ}{W}_{\infty} (η_{m}^{(n)}, η_{m}) \leq C_{1} (M) \frac{m lo g ( 6∣ S ∣ m / δ )}{n}

这意味着样本复杂度为 $\tilde{O} (m ε^{- 2})$ ，对于固定的 $m$ ，每个分位数的估计达到了参数最优的 $n$ 收敛速率。同时，定理 3.2 给出了有限分位数近似的量化误差上界：

\overset{ˉ}{W}_{\infty} (η_{m}, η^{π}) \leq (1 - γ)^{- 1} s sup ω_{s} (\frac{1}{2 m})

其中 $ω_{s}$ 是状态 $s$ 处回报分布的模连续模，刻画了分位数近似的逼近精度如何随 $m$ 增长。

第二层：渐近正态与半参数效率。 定理 3.3 是全文的理论核心之一。它将分位数不动点方程重新表述为一个 Z-估计问题：设 $H_{n} (θ) = τ$ ，其中 $τ = (τ_{1}, \dots, τ_{m})$ 是分位点向量，则 $θ_{m}^{(n)}$ 满足 $H_{n} (θ_{m}^{(n)}) = τ$ 。通过验证梯度矩阵 $G_{m} = \nabla H (θ_{m})$ 对角占优且可逆，并建立经验过程中心极限定理（基于 VC 维估计 $N ≲ ∣ S ∣^{m} lo g (∣ A ∣ m)$ ），作者证明：

n (θ_{m}^{(n)} - θ_{m}) d N (0, G_{m}^{- 1} Σ_{m} G_{m}^{- ⊤})

更重要的是，该协方差矩阵恰好等于半参数效率下界——在分布族 $Q = {⨂_{s, a} Q_{s, a}}$ 中，估计量 $θ_{m}^{(n)}$ 是半参数有效的。

第三层：发散维数极限。 当分位数个数 $m$ 随样本量增长而趋于无穷时，有趣的现象出现了。定理 3.4 刻画了极限协方差结构：定义极限算子 $K$ 和协方差算子 $\tilde{Σ}$ ，则对光滑泛函 $f$ ：

σ_{m, f, s_{0}}^{2} = ⟨ u^{*}, \tilde{Σ}_{m} u^{*} ⟩ \to σ_{f, s_{0}}^{2} = ⟨ u^{*}, \tilde{Σ} u^{*} ⟩

作者证明这个极限协方差恰好等于 Zhang 等人 (2025) 非参数模型框架下的半参数效率界。这一结果意义深远：分位数近似在连续极限下并未引入额外的效率损失，无穷维分位数向量仍然保持着与完全非参数估计相当的渐近有效性。

最后，定理 3.5 建立了 Berry–Esseen 定理，量化了渐近正态收敛的速率：

t sup P {n σ_{m, f, s}^{- 1} (η_{m}^{(n)} (s) - η_{m} (s))_{f} \leq t} - Φ (t) \leq C (M, f) (\frac{m ^{9} lo g m lo g ^{5} n}{n})^{1/4}

注意到收敛速率为 $n^{- 1/4}$ ，这远慢于经典样本分位数的 $n^{- 1/2}$ 速率。原因是分位数投影贝尔曼方程具有非光滑性（涉及指示函数），且估计量无法显式表为经验分布函数的泛函，因此经典 Bahadur 表示等技术无法直接应用。作者通过将算子 $T = W + D$ 分解、应用 Chen-Shao 型非线性统计界、控制局部经验过程余项与二阶 Taylor 余项完成了这一证明。

实验与结果

作者在简单的表格马尔可夫决策过程上验证了理论预测。实验设置非常简洁：状态空间 $S = {s_{1}, s_{2}}$ ，动作空间 $A = {a_{1}}$ （单动作），折扣因子 $γ = 0.9$ 。状态转移概率为 $P (s_{1} ∣ s_{1}) = 0.7$ 、 $P (s_{2} ∣ s_{1}) = 0.3$ 、 $P (s_{1} ∣ s_{2}) = 0.4$ 、 $P (s_{2} ∣ s_{2}) = 0.6$ 。两个状态的奖励分布分别为 $p_{s_{1}} (x) = \frac{π}{2} sin (π x) 1_{[0, 1]} (x)$ 和 $p_{s_{2}} (x) = 4 x (1 - x^{2}) 1_{[0, 1]} (x)$ 。

实验测试了 $m \in {20, 50, 100}$ 和 $n \in {10, 100, 1000, 10000}$ 的所有组合，每个配置进行 1000 次独立蒙特卡洛重复。验证内容包括三个方面：

有限样本收敛验证。 作者对 $lo g \overset{ˉ}{W}_{\infty} (η_{m}^{(n)}, η_{m})$ 关于 $lo g n$ 进行线性回归。结果显示斜率在 $- 0.50$ 到 $- 0.51$ 之间，与理论预测的 $- 1/2$ 精确吻合， $R^{2}$ 均超过 $0.999$ ，证实了 $n$ 收敛速率在有限样本下确实成立。

渐近正态性检验。 对标准化后的估计误差绘制 QQ 图，样本分位数与理论正态分位数高度一致。对应的偏度和峰度接近标准正态的 0 和 3，Shapiro-Wilk 正态性检验的 $p$ 值均大于 $0.24$ ，无法拒绝正态性假设。

推断有效性验证。 基于核密度估计构造的 0.95 名义置信区间的经验覆盖概率。当 $n \geq 100$ 时，覆盖率稳定在 $0.93$ 到 $0.95$ 之间，与名义水平接近。当 $n = 10$ 时覆盖率为 $0.83$ 到 $0.86$ ，存在一定程度的低估，这是小样本下渐近近似的固有局限。

整个实验的设计思路是：将经验结果与理论预测直接对比，而非引入外部基线。这种做法公平地验证了理论框架的正确性，但也意味着论文未展示分位数方法与其他 DRL 方法（如 QR-DQN、IQN 或 [[Categorical DQN]]）在实际任务中的性能对比。

讨论与可借鉴点

这篇论文为分位数型 [[分布强化学习]] 的统计理论奠定了坚实基础，其贡献是多方面的。首先，它首次系统回答了分位数估计的统计效率问题：在合理假设下，基于生成模型的估计量不仅非渐近意义上样本高效，而且渐近意义上达到半参数效率下界。这为分位数方法提供了与 [[Categorical DQN]] 相当的可靠性保证。

其次，当分位数个数趋于无穷时，有限维估计量仍然保持与非参数模型相当的渐近有效性，这一发现颇具洞察力。它表明分位数近似并非以牺牲统计效率为代价换来计算便利，而是真正抓住了回报分布的结构性特征。

然而，论文也存在若干局限性。最根本的限制来自于生成模型假设——在真实环境中，我们通常只能与环境在线交互，无法获得对任意 $(s, a)$ 对独立采样的能力。将分析推广到 [[在线强化学习]] 设定（如使用 [[TD学习]] 或 [[双延时 DQN]] 框架）将是重要但富有挑战性的方向。此外，论文仅在两状态单动作的玩具 MDP 上验证了理论，大规模环境下维度灾难可能带来尚未暴露的实际问题。

从方法论角度，作者采用的算子嵌入框架值得借鉴。通过在无穷维 Hilbert 空间 $L = ⨁_{s} L^{2} [0, 1]$ 中定义平均算子 $R_{m}$ 和嵌入算子 $E_{m}$ ，将离散分位数坐标与连续回报分布建立严格对应，这种分析思路在处理其他有限维近似问题时可能具有普适价值。

Berry–Esseen 定理的建立为统计推断打开了大门。基于该定理，我们可以构造 plug-in 置信区间 $\overset{η}{^}_{m}^{(n)} (s) f \pm z_{α /2} \overset{σ}{^}_{m, f, s} / n$ ，实现对回报分布泛函的有效推断。这在风险敏感决策、鲁棒优化等需要量化分布不确定性的场景中具有实际应用价值。

摘要

在本文中，我们从统计效率的角度研究基于分位数的分布强化学习。我们聚焦于分布策略评估，其目标是刻画回报分布，即在给定策略下折扣累积奖励的分布。为了获得回报分布的有限维表示，我们考虑由分位数投影分布贝尔曼方程诱导的分位数不动点 $η_{m}$ 。假设可以访问一个生成模型，我们基于经验马尔可夫决策过程构造了一个估计量 $η_{m}^{(n)}$ 。对于固定的分位数个数 $m$ ，我们在上确界 $W_{\infty}$ 度量下建立了 $η_{m}^{(n)}$ 与 $η_{m}$ 的非渐近误差界，表明关于 $m$ 与 $n$ 的估计误差以 $O (m / n)$ 的速率缩放。这意味着基于分位数的分布策略评估问题可以以样本高效的方式求解，达到最优的参数 $n$ 收敛速率。我们推导了分位数参数 $n (θ_{m}^{(n)} - θ_{m})$ 的渐近分布，并刻画了半参数效率界，我们的估计量达到了该效率界。在固定维数设定之外，我们研究了分位数个数趋于无穷的渐近情形。我们刻画了极限协方差结构，并证明它与分布策略评估非参数模型的半参数效率界相吻合，表明基于分位数的估计量在无穷维极限下仍保持渐近有效性。最后，我们建立了光滑泛函 $n (η_{m}^{(n)} (s) - η_{m} (s)) f$ 的 Berry–Esseen 定理，从而为对分位数投影回报分布的泛函进行统计上有效的推断提供了基础。

Abstract

In this paper, we study quantile-based distributional reinforcement learning from the perspective of statistical efficiency. We focus on distributional policy evaluation, whose goal is to characterize the return distribution, namely the distribution of discounted cumulative rewards under a given policy. To obtain a finite-dimensional representation of the return distribution, we consider the quantile fixed point $η_{m}$ induced by the quantile-projected distributional Bellman equation. Assuming access to a generative model, we construct an estimator $η_{m}^{(n)}$ based on an empirical Markov decision process. For a fixed number of quantiles $m$ , we establish a non-asymptotic error bound for $η_{m}^{(n)}$ and $η_{m}$ under the supremum $W_{\infty}$ metric, showing that the estimation error scales as $O (m / n)$ with respect to $m$ and $n$ . This implies that the quantile-based distributional policy evaluation problem can be solved with sample efficiency, achieving the optimal parametric $n$ convergence rate. We derive the asymptotic distribution of the quantile parameters $n (θ_{m}^{(n)} - θ_{m})$ and characterize the semiparametric efficiency bound, which is attained by our estimator. Beyond the fixed-dimensional setting, we investigate the asymptotic regime in which the number of quantiles diverges. We characterize the limit covariance structure and show that it matches the semiparametric efficiency bound of the nonparametric model for distributional policy evaluation, showing that quantile-based estimators remain asymptotically efficient in the infinite-dimensional limit. Finally, we establish a Berry--Esseen theorem for smooth functionals $n (η_{m}^{(n)} (s) - η_{m} (s)) f$ , thereby providing a foundation for statistically valid inference on functionals of the quantile-projected return distribution.

论文详细总结（自动生成）

分位数分布强化学习的统计效率与推断 —— 论文总结

1. 核心问题与研究动机

1.1 研究背景

传统强化学习基于"奖励假设"，仅通过期望回报（expected return）评估策略性能，却忽略了回报分布的变异性、尾部风险与高阶分布信息。然而在医疗（如个体对治疗的不良反应）、金融（收益-风险权衡）等现实场景中，了解完整的回报分布至关重要。

1.2 分布强化学习框架

分布强化学习（distributional RL，简称 DRL）通过刻画回报分布 $η^{π} (s)$ （即折扣累积奖励随机变量 $G^{π} (s)$ 的分布）取代单一期望值，提供更丰富的风险信息。

1.3 核心困难

回报分布是无穷维对象，无法精确表征；
主流方法（如 QR-DQN、IQN 等）采用有限维分位数近似；
一个关键统计学问题：基于分位数的估计是否具有有限样本保证？参数渐近分布是否有效？有限维化是否引入效率损失？

1.4 与类别（categorical）方法的区别

分位数估计涉及逆分布函数与非线性投影算子 $Π_{m}$ （含指示函数），其结构与线性类别投影截然不同，使经典 M-估计、线性随机逼近工具无法直接适用。

2. 方法论

2.1 问题设定

考虑有限状态/动作折扣 MDP： $M = {S, A, P_{R}, P, γ}$ 。给定策略 $π$ ，回报分布 $η^{π} (s)$ 满足分布 Bellman 方程：

η^{π} (s) = T^{π} η^{π} (s) = a, s_{1} \sum π (a ∣ s) P (s_{1} ∣ s, a) \int_{0}^{1} (b_{r, γ})_{#} η^{π} (s_{1}) P_{R} (d r ∣ s, a),

其中 $b_{r, γ} (x) = r + γ x$ 。

2.2 分位数投影与固定点

定义投影算子

(Π_{m} ν) = \frac{1}{m} i = 1 \sum m δ_{F_{ν}^{- 1} (τ_{i})}, τ_{i} = \frac{2 i - 1}{2 m},

并将 Bellman 算子提升至乘积空间。 $Π_{m} T^{π}$ 是 $\overset{ˉ}{W}_{\infty}$ 度量下的 $γ$ -压缩映射，因此分位数投影 Bellman 方程 $η = Π_{m} T^{π} η$ 有唯一不动点 $η_{m}$ ，对应参数 $θ_{m} \in R^{S \times m}$ 。

2.3 经验 MDP 与估计量

对每个 $(s, a)$ 在生成模型下采样 $n$ 个独立样本，构建经验 MDP $\hat{M}^{(n)}$ （含经验奖励分布 $\hat{P}_{R}^{(n)}$ 与经验转移核 $\hat{P}^{(n)}$ ），并定义经验算子 $\hat{T}_{n}^{π}$ 。分位数固定点估计量 $η_{m}^{(n)}$ 由

η_{m}^{(n)} = Π_{m} \hat{T}_{n}^{π} η_{m}^{(n)}

唯一确定，可通过分位数动态规划（QDP）以 $O (∣ S ∣^{2} ∣ A ∣ (1 - γ)^{- 1} mn lo g (1/ ε))$ 计算复杂度求解。

2.4 主要理论结果

定理	结论
定理 3.1（非渐近）	$\bar W_\infty(\eta_m^{(n)},\eta_m)\le C_1(\mathcal{M})\sqrt{m\log(6	S	m/\delta)/n} $，样本复杂度$ \tilde O(m\varepsilon^{-2}) $，达到参数最优$ \sqrt n$ 速率
定理 3.2（量化误差）	$\overset{ˉ}{W}_{\infty} (η_{m}, η^{π}) \leq (1 - γ)^{- 1} sup_{s} ω_{s} (1/ (2 m))$
定理 3.3（渐近正态+半参效率）	$n (θ_{m}^{(n)} - θ_{m}) d N (0, G_{m}^{- 1} Σ_{m} G_{m}^{- ⊤})$ ，且达到半参数效率下界
定理 3.4（发散维数极限）	构造算子 Bellman $K$ 与协方差算子 $\tilde{Σ}$ ， $σ_{m, f, s_{0}}^{2} \to σ_{f, s_{0}}^{2} = ⟨ u^{}, \tilde{Σ} u^{} ⟩$ ；此极限恰为 Zhang 等 (2025) 框架下非参数模型的半参数效率界
定理 3.5（Berry–Esseen）	$\sup_t\bigl	P\{\sqrt n\,\sigma^{-1}_{m,f,s}(\eta_m^{(n)}-\eta_m)f\le t\}-\Phi(t)\bigr	\le C(M,f)\bigl(m^9\log m\log^5 n/n\bigr)^{1/4}$

2.5 核心技术贡献（证明层面）

Z-估计重构：将投影 Bellman 方程改写为有限维方程组 $H_{n} (θ) = τ$ ，再以 $\nabla H (θ_{m}) = G_{m}$ （对角占优、可逆）调用 Z-估计理论；
Donsker 性质：基于 VC 维估计 $N ≲ ∣ S ∣^{m} lo g (∣ A ∣ m)$ ，建立经验过程的中心极限定理；
算子嵌入框架：用平均算子 $R_{m}$ 、嵌入算子 $E_{m}$ 在无穷维 Hilbert 空间 $L = ⨁_{s} L^{2} [0, 1]$ 中表示 $K_{m} = D_{m}^{- 1} W_{m}$ ，证明 $E_{m} K_{m} R_{m} \to K$ 、 $\tilde{Σ}_{m} \to \tilde{Σ}$ （涉及边界奇异性与模量函数的细致控制）；
模数匹配：通过引理 4.9 与加权 $L_{w}^{2}$ 等价表示，连接分位数坐标协方差与符号测度坐标下的 $T^{π}$ ，完成半参效率证明；
非线性 Berry–Esseen 展开：将 $T = W + D$ 分解，应用 Chen-Shao 型非线性统计界，控制局部经验过程余项与二阶 Taylor 余项（Jacobian 通过样本替换论证耦合）。

3. 实验设计

3.1 实验场景

在小规模表格 MDP 上仿真：

$S = {s_{1}, s_{2}}$ ， $A = {a_{1}}$ （单动作）， $γ = 0.9$ ；
转移概率： $P (s_{1} ∣ s_{1}) = 0.7, P (s_{2} ∣ s_{1}) = 0.3, P (s_{1} ∣ s_{2}) = 0.4, P (s_{2} ∣ s_{2}) = 0.6$ ；
奖励密度： $p_{s_{1}} (x) = \frac{π}{2} sin (π x) 1_{[0, 1]} (x)$ ， $p_{s_{2}} (x) = 4 x (1 - x^{2}) 1_{[0, 1]} (x)$ ，满足假设 4；
测试函数： $f (x) = sin x - x cos x$ 。

3.2 参数扫描

分位数个数 $m \in {20, 50, 100}$ ；
样本量 $n \in {10, 100, 1000, 10000}$ ；
每个组合进行 1000 次独立蒙特卡洛重复。

3.3 验证内容

实验	内容
有限样本收敛	$lo g \overset{ˉ}{W}_{\infty} (η_{m}^{(n)}, η_{m})$ 对 $lo g n$ 回归，检查斜率是否接近 $- 1/2$
渐近正态	标准估计量的 QQ 图、偏度、峰度、Shapiro–Wilk $p$ 值
推断有效性	基于核密度估计（Scott 带宽规则）的 0.95 置信区间经验覆盖概率

3.4 对比基准

无外部对比基线。论文主要将经验数据与理论曲线/分布对比（如理论 $- 1/2$ 斜率、标准正态参考线、名义覆盖水平 0.95），验证理论预测。

4. 资源与算力

论文未明确披露任何 GPU 型号、数量或训练时长。由于实验仅涉及 2 状态、1 动作的小规模表格 MDP，单次仿真 $n = 1 0^{4}$ 、 $m = 100$ 时计算负担极轻，可能在普通 CPU 上即可完成；但因未提供任何硬件信息，无法评估真实资源使用。

5. 实验数量与充分性

5.1 数量概览

共 $3 \times 4 = 12$ 组 $(m, n)$ 组合，每组 1000 次重复；
3 张图（ $\overset{ˉ}{W}_{\infty}$ 回归散点 $\times 3$ 、QQ 图 $\times 3$ ）和 3 张表（回归系数表、Shapiro–Wilk 表、覆盖率表）。

5.2 客观性与公平性

同一数据生成过程下统一比较，公平；
实验结果与理论一致（斜率 $\approx - 0.50$ 到 $- 0.51$ ， $R^{2} > 0.999$ ；QQ 线接近对角线；Shapiro–Wilk $p > 0.24$ ； $n \geq 100$ 时覆盖率 $\geq 0.93$ ）。

5.3 充分性短板

缺少大规模 MDP 验证：仅 2 状态 1 动作表格 MDP，无法体现真实任务中 $∣ S ∣$ 、 $∣ A ∣$ 的影响；
缺少与现有 DRL 方法的实证对比（如 QR-DQN、IQN、categorical-TD 等），仅验证理论而非竞争力；
未检验假设条件敏感度：无违反假设时的鲁棒性测试；
核密度估计带宽选择仅用 Scott 规则，未考察其他规则；
小样本（ $n = 10$ ）覆盖率为 0.83–0.86，偏离名义 95%，但论文未深入讨论有限样本校正。

6. 主要结论与发现

1. 统计最优性：基于生成模型构造的分位数固定点估计量 $η_{m}^{(n)}$ 在 $\overset{ˉ}{W}_{\infty}$ 距离下达到 $\tilde{O} (m / n)$ 的非渐近误差率，对每个分位数而言达到最优 $n$ ；

2. 半参数效率： $θ_{m}^{(n)}$ 在固定 $m$ 下渐近正态，协方差矩阵 $G_{m}^{- 1} Σ_{m} G_{m}^{- ⊤}$ 等于半参数效率下界（在 $Q = {⨂_{s, a} Q_{s, a}}$ 模型类中），即 $θ_{m}^{(n)}$ 为半参数有效估计量；

3. 连续极限效率保持：当 $m \to \infty$ 时， $σ_{m, f, s_{0}}^{2} \to σ_{f, s_{0}}^{2}$ ，且该极限与 Zhang 等 (2025) 框架下的非参数 $η^{(n)}$ 估计量的半参效率界完全一致——分位数近似在无穷维极限下不会损失渐近统计效率；

4. Berry–Esseen 速率 $n^{- 1/4}$ ：远低于经典样本分位数的 $n^{- 1/2}$ ，原因有二：投影 Bellman 方程非光滑（含指示函数）、估计量不可显式表为经验分布函数，因此 Bahadur 表示等工具不可用；

5. 可推断性：构造 plug-in 置信区间 $\overset{η}{^}_{m}^{(n)} (s) f \pm z_{α /2} \overset{σ}{^}_{m, f, s} / n$ ，渐近覆盖准确率为 $1 - α$ 。

7. 优点与方法亮点

统一框架：首次将分位数 DRL 的非渐近误差、渐近正态、半参效率、无穷维极限与 Berry–Esseen 五类结果整合于同一分析体系；
算子理论嵌入：通过 $R_{m} / E_{m}$ 算子在无穷维 Hilbert 空间上严格建立离散到连续的转换，思路新颖；
跨表示连接：将分位数坐标协方差与 Zhang 等 (2025) 的符号测度半参界通过引理 4.7-4.8 显式对接，为 DRL 推断理论建立统一桥梁；
样本替换论证：在 Berry–Esseen 证明中通过单观测替换控制耦合，是处理非线性固定点估计的通用技巧；
理论与实验一致：所有理论预测（ $n^{- 1/2}$ 速率、渐近正态、覆盖有效性）均通过实验直接验证。

8. 不足与局限

8.1 方法论局限

依赖生成模型：假设对任意 $(s, a)$ 可独立采样，下游扩展至离线/在线场景（无生成模型）困难；
Bellman 方程可微性：方法需假设 2（避免 $θ_{m} (s, i) - γ θ_{m} (s_{1}, j) \in {0, 1}$ 的退化情形），推导核心依赖 Jacobian $G_{m}$ 的可逆性；
维度发散时 Berry–Esseen 速率差： $n^{- 1/4}$ 远低于经典 $n^{- 1/2}$ ，论文将其归结为投影算子非光滑与缺乏 Bahadur 表示，但未给出改进方向的具体困难分析；
奖励密度有界性与 Beta 型形状假设：分布 1、3、4 较强；连续但密度可能为 0、或非单调情形下方法能否推广未知；
量化误差分析依赖模量连续性 $ω_{s} (ρ) = o (1/ lo g (1/ ρ))$ （假设 5），相对较强。

8.2 实验局限

场景过于简单：2 状态 1 动作，方法在 $∣ S ∣$ 、 $∣ A ∣$ 、 $γ$ 接近 1 的真实场景下表现未知；
无真实世界/标准 RL benchmark（如 Atari、MuJoCo），削弱了实践说服力；
无消融实验：未对比不同带宽规则、不同核、不同 $f$ 的影响；
缺乏与已有分位数 DRL 算法（QR-DQN、IQN、non-crossing QR）的实证比较，难以判断渐进效率在实际问题中的兑现程度；
资源未披露：实验硬件、运行时间未报告，可复现性受限。

8.3 未来工作方向（论文末指出）

改善 $m$ 在 Berry–Esseen 界中的 $m^{9/4}$ 依赖；
扩展至无生成模型的离线场景；
推广至在线分位数 TD 学习（如 quantile TD 的真正在线版本），并构建对应推断程序。

（完）

✨ 编译论文

点「✨ 编译」开始,LLM 会按 Polaris 风格翻译并把图片/表格嵌到对应位置。结果存到浏览器 localStorage,下次访问自动加载。