arXiv 2606.29820v1 · 发布 2026-06-29

基于状态感知探索的双流强化学习

Dual-Flow Reinforcement Learning with State-Aware Exploration

AUTHORS Qijun Li, Zheng Fu, Qi Song, Yifei He, Weitao Zhou, Kun Jiang, Diange Yang

EVIDENCE 提出基于条件流匹配的多模态强化学习算法

SCORE 0.8

CATEGORIES TASK rl

PDF ↗ 2606.29820v1.pdf

GENERATED 2026-07-04 21:36:08 UTC

📝 TLDR

复杂连续控制任务中多模态最优动作伴随多模态回报分布，导致价值估计偏差大与探索不足。单模态高斯价值方法表达力受限，生成式策略虽能表征多模态动作却易坍缩且欠探索。本文提出Dual-Flow RL，以条件流匹配联合建模连续回报分布与多模态策略分布，并引入ECER调控器实现状态感知探索。在DM Control与Humanoid-Bench多数任务上达到SOTA，显著优于扩散与流基线方法。

🧭 速览

动机

多模态最优动作对应多模态回报分布，单模态高斯价值估计偏差大，生成式策略又易坍缩欠探索。

方法

Dual-Flow RL用条件流匹配联合建模回报分布与策略分布，并设计ECER基于策略熵与动作协方差实现状态感知探索调控。

结果

在DeepMind Control Suite与Humanoid-Bench多数任务上达到SOTA，显著优于扩散和流基线方法。

结论

通过双流联合建模与ECER探索调控，实现了可靠价值估计与持续多模态探索的统一强化学习框架。

📊 论文图表(共 45 张)

展开查看 45 张图

TL;DR

Dual-Flow RL 针对连续控制任务中多模态最优动作与多模态回报分布带来的价值估计偏差和探索不足问题，提出用条件流匹配同时建模回报分布与多模态策略分布的统一框架，并配套熵-协方差探索调节器实现状态自适应的探索增强。在 DeepMind Control Suite 和 Humanoid-Bench 上大多数任务达到 SOTA，较扩散与流基线方法提升显著。

研究背景与动机

在 [[强化学习]] 的连续控制场景中，智能体常常面临一个根本性的挑战：最优动作并非唯一存在。以四足机器人Walking任务为例，向前奔跑可以通过「小步快跑」或「大步跨越」等多种方式实现，这些不同的动作模式往往对应着不同的回报分布形态。这种多模态特性给 [[价值函数估计]] 带来了严峻考验：传统方法如 TD3、DDPG 等直接回归单一期望回报，无法捕捉回报的真实分布；分布式方法如 DSAC 虽然建模回报分布，但假设单峰高斯分布，表达能力受限；分位数方法如 C51、IQN 则受固定支撑点或分位数粒度的限制，对分布尾部的近似存在系统性误差。

与此同时，[[策略梯度]] 方法中的 [[连续动作空间]] 策略通常采用对角高斯分布，本质上仍是单模态的。这种设计导致采样概率被分散到大量低价值的过渡区域，限制了真正有价值动作的探索。生成式策略方法（如基于扩散模型或流模型的 QVPO、Diffusion-QL、FlowRL 等）虽然具备表示多模态动作的能力，但在实践中常常发生模式坍缩——模型倾向于收敛到少数几个模态，偏离了多模态探索的初衷。此外，这些方法的探索机制通常是全局温度调节或固定噪声注入，缺乏对状态上下文的感知，无法自适应地在高价值区域投入更多探索资源。

论文的核心切入点在于：现有的 actor-critic 框架中，价值估计（critic）与策略表示（actor）往往各自为政，没有形成统一的概率建模视角。如果能够用一个统一的概率流框架同时描述回报分布和动作分布，不仅可以实现更可靠的价值估计，还能实现更持续、更有效的多模态探索。

方法

Dual-Flow RL 的核心设计思路是用条件流匹配（Conditional Flow Matching, CFM）作为统一的概率建模语言，同时参数化价值函数和策略函数。整个框架包含三个核心模块：流式分布 Critic、流式策略，以及熵-协方差探索调节器（ECER）。

流式分布 Critic

传统的价值网络输出一个标量期望值 $Q (s, a)$ ，而流式分布 Critic 输出的则是一个完整的回报分布 $Z (s, a)$ 。具体而言，论文在标量回报轴上构建一个一维条件流，通过常微分方程（ODE）将标准正态分布 $z_{0} \sim N (0, 1)$ 演化到目标回报分布：

\frac{d z _{t}}{d t} = v_{z} (s, a, z_{t}, t), t \in [0, 1]

其中 $v_{z}$ 是学习得到的回报速度场。通过条件流匹配训练时，论文沿线性插值路径 $z_{t} = (1 - t) z_{0} + t y$ （ $y \sim p^{td}$ 为 TD 目标分布）定义损失函数，使得学习到的速度场能够准确恢复目标分布的演化轨迹。这种设计的优势在于：与单峰高斯相比，流模型可以表示任意形状的回报分布，包括多峰和重尾；与离散的分位数方法相比，ODE 演化提供了一种连续且无损的分布表示。

论文进一步给出了 Proposition 4.3（分布 Bellman 一致性）的形式化证明：在 CFM 可实现性和速度场 Lipschitz 连续性的假设下，若全局最优解达成，则学到的回报分布 $Z (\cdot ∣ s, a)$ 与其 TD 目标分布 $(T^{π} Z) (\cdot ∣ s, a)$ 同分布。这一理论保证为分布 critic 的收敛性提供了坚实基础，区别于多数生成式 RL 工作仅做经验验证的做法。

流式策略

策略端采用类似的设计：用条件流匹配建模多模态动作分布 $π (\cdot ∣ s)$ 。动作从标准高斯噪声 $a_{0} \sim N (0, I)$ 出发，经相同的 ODE 路径演化到策略分布：

\frac{d a _{t}}{d t} = v_{π} (s, a_{t}, t), a_{π} = a_{0} + \int_{0}^{1} v_{π} (s, a_{t}, t) d t

训练时，从当前回报分布 $Z (s, a)$ 中采样 $K$ 个回报样本，以其均值作为价值信号 $Q (s, a) ≜ μ (s, a) = \frac{1}{K} \sum_{k = 1}^{K} z^{(k)}$ 。策略优化目标结合了价值最大化和行为对齐：

L_{π} (ϕ) = E_{(s, a) \sim D} E_{a_{0}, t} [- Q (s, a_{π} (s)) + w (s, a) \cdot ∥ v_{π, ϕ} (s, a_{t}, t) - (a - a_{0}) ∥_{2}^{2}]

其中 $w (s, a) = exp (Δ (s, a) - \overset{ˉ}{Δ})$ 是基于优势估计的有界指数权重， $Δ (s, a) = max (Q (s, a) - Q (s, a_{π} (s)), 0)$ 衡量当前动作相对于策略采样动作的价值优势。第一项推动策略向高价值动作移动，第二项则保持策略分布与数据分布的行为一致性，防止模式坍缩。

熵-协方差探索调节器（ECER）

这是论文提出的创新性探索机制。ECER 的设计动机是：全局温度调节（如 SAC 的自动温度参数）无法适应不同状态的局部特性，而固定噪声注入则无法区分高价值和低价值区域。ECER 通过两个信号实现状态自适应的探索调节：

策略熵门 $g_{H} = exp (max (0, H_{tgt} - \hat{H} (s)))$ 检测当前状态的策略多样性，若策略过于集中（低熵），则增加探索；协方差门 $g_{D} = exp (ρ (s) - ρ_{thr})$ 则利用动作密度与回报不确定性的相关性 $ρ (s) = corr (lo g q (a ∣ s), σ (s, a))$ ，在高价值动作区域维持探索强度。最终的有效正则系数为 $λ_{eff} = \frac{λ _{0}}{g _{H}^{2} g _{D}^{2} + ϵ}$ ，使得 ECER 能够智能地将探索资源分配到真正需要探索的状态区域。

实验与结果

论文在三个基准环境上进行了全面评估：DeepMind Control Suite（DMC）的 10 个运动任务、Humanoid-Bench 的 6 个任务，以及 MuJoCo Gym 的 Humanoid-v3 和 Ant-v3。对比方法涵盖 13 个基线，包括 FlowRL、QVPO 等生成式策略方法，以及 SAC、TD3、D4PG 等经典无模型 RL 方法。

主实验结果 表明 Dual-Flow RL 在大多数任务上达到了 SOTA 性能。在 Humanoid-run 任务上，较 FlowRL 提升 31.6%，较 SAC 提升 112.3%；在 Dog-run 任务上，较 BRO 提升 6.6%、较 FlowRL 提升 10.8%；在 H1-reach 任务上，较 FlowRL 与 QVPO 分别提升 30.5% 和 56.8%。从训练曲线来看，Dual-Flow 不仅最终性能更高，而且在高维任务上展现出更快的收敛速度。

回报分布可视化 实验（Dog-run 任务）显示，Dual-Flow RL 预测的回报分布在形状上最接近真实分布，1-Wasserstein 距离显著低于 C51、IQN、DSAC 等基线方法，直观验证了流式分布 Critic 对多模态回报的有效建模能力。

消融实验 进一步揭示了各组件的贡献：用流式分布 Critic 替换期望值 Critic 带来更快的收敛和更稳定的训练；ECER 相比 DACER 熵调节器和固定初始噪声尺度表现更优，证明状态自适应探索的有效性；流步数 $M_{1} = M_{2} = 1$ 即可保持接近最优性能，验证了推理效率设计的合理性。

讨论与可借鉴点

Dual-Flow RL 的设计提供了几个值得借鉴的思路。首先，统一概率建模框架 的思路具有普遍意义——将策略和价值函数置于同一个概率流语言下，避免了各自为政的模块化设计可能带来的不一致性，这为未来 [[强化学习]] 算法设计提供了一种新的范式。其次，ECER 的设计哲学 值得关注：不是简单地增加探索噪声，而是通过熵和协方差的双重门控实现「对症下药」式的探索资源分配，这种状态感知的探索调节机制值得在更多任务中探索应用。

然而，论文也存在一些局限性。实验主要集中于运动控制任务，在高维操作、稀疏奖励、长视野规划等更具挑战性的场景中的表现尚待验证。ECER 每次更新需要拟合 GMM 估计熵和协方差，引入了额外的计算开销和超参数调优成本。此外，论文在算力披露方面不够详细，仅说明使用 4 块 RTX 3090 和 5 个随机种子，未给出绝对的时间和算力消耗指标。

对于未来的研究方向，论文明确提及将扩展到风险敏感控制领域，这意味着 ECER 的协方差机制可能与条件风险值（CVaR）等风险度量产生有趣的结合。同时，如何将流匹配框架与离线 RL 设置相结合，处理分布偏移条件下的价值估计和策略提升，也是一个值得探索的方向。

摘要

在复杂的连续控制强化学习任务中，多模态最优动作往往伴随着不确定的、多模态的回报分布，这使得可靠的价值估计和多模态探索具有很大挑战性。现有使用单峰高斯分布进行价值估计的方法表达能力受限，并会产生有偏估计。最近的生成式策略虽然能够表示多模态动作，但常常会退化为少数几个模态，并且对动作空间中高价值区域的探索不足。为应对这些挑战，我们提出了双流强化学习（Dual-Flow RL），这是一个统一的 actor-critic 框架，通过条件流匹配（CFM）联合建模连续回报分布和多模态策略分布。该设计支持可靠的价值估计和持续的多模态探索。为了进一步增强探索，我们引入了熵-协方差探索调节器（ECER），它能够利用策略熵和动作不确定性协方差实现状态自适应的探索调节。在 DeepMind Control Suite 和 Humanoid-Bench 上的实验表明，双流强化学习在大多数任务上达到了最先进的性能，显著优于以往的基于扩散和基于流的方法。

Abstract

In complex continuous-control reinforcement learning tasks, multimodal optimal actions often coincide with uncertain, multimodal return distributions, making reliable value estimation and multimodal exploration challenging. Existing value estimation methods using unimodal Gaussians restrict expressiveness and yield biased estimates. Recent generative policies can represent multimodal actions but often collapse to a few modes and under-explore high-value areas of the action space. Motivated by these challenges, we propose Dual-Flow RL, a unified actor-critic framework that jointly models a continuous return distribution and a multimodal policy distribution using conditional flow matching (CFM). This design supports reliable value estimation and sustained multimodal exploration. To further enhance exploration, we introduce an Entropy-Covariance Exploration Regulator (ECER) that enables state-aware exploration regulation leveraging policy entropy and action-uncertainty covariance. Experiments on DeepMind Control Suite and Humanoid-Bench show that Dual-Flow RL achieves state-of-the-art performance on most tasks, significantly outperforming prior diffusion-based and flow-based methods.

论文详细总结（自动生成）

Dual-Flow RL 论文总结

1. 核心问题与研究动机

复杂连续控制任务中，最优动作常呈多模态分布，且对应多模态、不确定的回报分布，给可靠价值估计与多模态探索带来双重挑战：

价值估计侧：传统 RL（TD3、DDPG、CQL）回归单一期望回报；分布式方法（如 DSAC）使用单峰高斯建模 $Z (s, a)$ ，无法表达多峰/重尾分布；分位数方法（C51、IQN、QR-DQN）受固定支撑或分位数粒度限制，对分布尾部存在近似误差。
策略表示侧：对角高斯策略本质单模态，采样概率被分散在低价值的过渡区；扩散/流策略（QVPO、Diffusion-QL、FQL、FlowRL、ReinFlow、SAC-Flow）虽能建模多模态动作，但探索机制通常为全局温度调节或固定噪声，缺乏状态自适应的探索控制，常发生模式坍缩且对高价值动作区域探索不足。

论文由此提出第一个同时用流匹配参数化策略与价值函数的统一框架，并配套一个状态感知探索调节器。

2. 方法论

2.1 整体架构

Dual-Flow RL 是一个 Actor-Critic 框架，包含三个模块：

流式分布 Critic $Z_{θ} (\cdot ∣ s, a)$ ：在标量回报轴上用一维条件流；
流式策略 $π_{ϕ} (\cdot ∣ s)$ ：用条件流匹配（CFM）建模多模态动作分布；
ECER 探索调节器 $σ_{ψ} (s)$ ：输出状态相关的探索尺度。

三者均通过 CFM 以概率流 ODE 的方式训练。

2.2 流式分布 Critic

从基分布 $z_{0} \sim N (0, 1)$ 经 ODE 演化到 $z_{1}$ ：

\frac{d z _{t}}{d t} = v_{z} (s, a, z_{t}, t), t \in [0, 1], z_{1} = z_{0} + \int_{0}^{1} v_{z} (s, a, z_{t}, t) d t

其中 $v_{z}$ 为回报速度场。对回报分布 $Z (s, a)$ 与单步 TD 目标 $p^{td} (\cdot ∣ s, a) = d (T^{π} Z) (\cdot ∣ s, a)$ 之间做 CFM，沿线性插值路径 $z_{t} = (1 - t) z_{0} + t y$ ， $y \sim p^{td} (\cdot ∣ s, a)$ ，训练目标为：

L_{Q} (θ) = E_{(s, a, r, s^{'}) \sim D} E_{z_{0}, t, y} [∥ v_{z, θ} (s, a, z_{t}, t) - (y - z_{0}) ∥_{2}^{2}]

文章给出 Proposition 4.3（分布 Bellman 一致性）：在 CFM 可实现性（Assumption 4.1）与 Lipschitz 连续性（Assumption 4.2）下，若全局最优解达成，则 $Z (\cdot ∣ s, a) = d (T^{π} Z) (\cdot ∣ s, a)$ 。证明通过 4 个 Lemma 完成：最优速度场为条件期望 $v^{*} (t, z) = E [u ∣ t, z_{t} = z]$ 、插值边际与 ODE 推前边际满足同一弱输运方程，并由 backward PDE 保证唯一性。

2.3 流式策略

策略端同样以概率流 ODE 演化：

\frac{d a _{t}}{d t} = v_{π} (s, a_{t}, t), a_{π} = a_{1} = a_{0} + \int_{0}^{1} v_{π} (s, a_{t}, t) d t, a_{0} \sim N (0, I)

训练时采样 $K$ 个回报样本 $z^{(k)} \sim Z (s, a)$ ，以均值 $μ (s, a)$ 作为价值信号：

Q (s, a) ≜ μ (s, a) = \frac{1}{K} k = 1 \sum K z^{(k)}

定义 advantage 与有界指数权重：

Δ (s, a) ≜ max (Q (s, a) - Q (s, a_{π} (s)), 0), w (s, a) = exp (Δ (s, a) - \overset{ˉ}{Δ})

策略优化目标：

L_{π} (ϕ) = E_{(s, a) \sim D} E_{a_{0}, t} [- Q (s, a_{π} (s)) + w (s, a) v_{π, ϕ} (s, a_{t}, t) - (a - a_{0})_{2}^{2}]

其中 $- Q (s, a_{π} (s))$ 推动策略向高价值动作移动，第二项为带权的行为对齐项。

2.4 熵-协方差探索调节器（ECER）

对每个状态 $s$ ，先用 $K_{m}$ 分量对角 GMM 拟合 $N$ 个采样动作，估计状态条件熵 $\hat{H} (s)$ （用 Huber 等人的 GMM 熵近似）；再定义 Action-Uncertainty Covariance：

ρ (s) ≜ corr (lo g q (a ∣ s), σ (s, a)), σ (s, a) = \frac{1}{K} k = 1 \sum K (z^{(k)} - μ (s, a))^{2}

由熵门 $g_{H} = exp (max (0, H_{tgt} - \hat{H}))$ 与协方差门 $g_{D} = exp (ρ - ρ_{thr})$ 组成组合门 $g = g_{H} g_{D}$ ，得到有效正则系数：

λ_{eff} = \frac{λ _{0}}{g ^{2} + ϵ}

最终 ECER 目标为：

L_{ECER} (ψ) = - E_{s \sim D, a_{e} \sim p (\cdot ∣ s)} [A_{e} (s) lo g p_{ψ} (a_{e} ∣ s)] + λ_{eff} (t) E_{s \sim D} [∥ σ_{ψ} (s) ∥_{2}^{2}]

其中 $A_{e} (s) = Q (s, a_{e}) - Q (s, a_{π} (s))$ ， $lo g p_{ψ}$ 为对角高斯对数似然。

执行时：

ϵ \sim N (0, I), a_{e} = a_{π} + σ_{ψ} (s) ⊙ ϵ

完整训练流程见 Algorithm 1：每个采样步采流动作 $a$ 、加 ECER 噪声得 $a_{e}$ 存入回放池；每更新步依次更新 critic $θ$ 、策略 $ϕ$ 、调节器 $ψ$ ，并以 Polyak 方式更新目标网络；每 $U$ 步更新一次 $g_{H}, g_{D}, λ_{eff}$ 。

3. 实验设计

3.1 基准与场景

DeepMind Control Suite (DMC)：Humanoid-run/stand、Dog-run/trot/stand/walk、Walker-run/walk/stand、Quadruped-walk，共 10 个运动任务。
Humanoid-Bench (H-Bench)：H1-balance simple/hard、H1-sit hard、H1-crawl、H1-maze、H1-reach。
MuJoCo Gym：Humanoid-v3、Ant-v3。

3.2 对比方法（共 13 个）

生成式策略：FlowRL、QVPO、DACER、QSM。
经典无模型 RL：SAC、TD3、D4PG、MPO、A2C、TRPO、DDPG。
强正则化变体：BRO、BRO-Fast。

评估指标为训练最后 10% 迭代内的最大回报均值±标准差（5 种子）。

4. 资源与算力

附录 C 明确说明：所有实验在 4 块 NVIDIA RTX 3090 GPU 上完成，5 个随机种子。其他算力细节（单次训练总时长、单卡显存、总 GPU·hour 等）未在论文中明确披露。Fig.1 右图给出 Dog-run 任务的相对效率对比（2M 步训练时间与单步推理时间），但未给出绝对数值。

5. 实验数量与充分性

实验覆盖较为充分：

1. 主结果：DMC 10 个任务 + H-Bench 6 个任务（Table I），含 16 张训练曲线（Fig.4）。

2. MuJoCo 对比：Humanoid-v3、Ant-v3 上的生成式策略对比（Fig.2(a)(b)）。

3. 回报分布可视化：在 Dog-run 上与 C51、IQN、DSAC 对比 1-Wasserstein 距离（Fig.3）。

4. 消融实验：

分布 critic vs. 期望值 critic（Dog-trot、Humanoid-run，Fig.5(a)(b)）。
ECER vs. DACER 熵调节器 vs. 固定初始噪声尺度 $ξ$ （Fig.2(c)(d)）。
流步数 $M_{1}, M_{2}$ 敏感性（Fig.5(c)(d)）。
正则系数 $λ_{0} \in {0.05, 0.1, 0.5, 1, 5}$ 敏感性（Fig.6）。

5. 效率比较：与 FlowRL、QVPO 在 Dog-run 上的 2M 步训练时间与推理时间对比（Fig.1）。

每个表格与曲线给出 95% 置信区间（阴影/IQM bootstrap），并按固定随机种子复现，公平性总体有保障。但所有基线均使用官方实现与默认超参，并未对每个 baseline 做针对 Dual-Flow 的调参对齐；同时 Humanoid-Bench 6 个任务的样本量偏少。

6. 主要结论与发现

SOTA 性能：在 DMC 大多数任务与 H-Bench 全部任务上达到 SOTA。例如 Humanoid-run 上较 FlowRL 提升 +31.6%，较 SAC 提升 +112.3%；Dog-run 上较 BRO 提升 +6.6%、较 FlowRL 提升 +10.8%；H1-reach 上较 FlowRL 与 QVPO 分别提升 +30.5% 和 +56.8%。
更快收敛：在多个高维任务上 Dual-Flow 的学习曲线明显更快达到高回报平台。
更准的回报分布：Dog-run 上的可视化显示 Dual-Flow 的预测回报分布在形状上最接近真实分布，1-Wasserstein 距离低于 C51、IQN、DSAC。
各组件均有效：用流式分布 critic 替换期望值 critic 带来更快、更稳定的提升；ECER 优于 DACER 熵调节器与固定初始噪声尺度。
对流步数与 $λ_{0}$ 鲁棒： $M_{1}, M_{2}$ 取 1 即可在 Dog-run 上保持相近性能； $λ_{0} \in [0.05, 0.5]$ 表现稳定，过大（1, 5）限制探索导致性能下降。
效率：推理单步时间短，2M 步训练时间显著短于 FlowRL 和 QVPO。

7. 优点与亮点

首个统一框架：同时用 CFM 参数化策略与价值函数，避免了分布式 critic（如 DSAC 用高斯）表达力受限的问题，也避免了流策略（如 FlowRL）需另设值网络的割裂。
理论保证：Proposition 4.3 给出分布 Bellman 一致性的形式化证明，为 CFM 学习到的分布 critic 提供收敛性背书，区别于多数仅做经验验证的生成式 RL 工作。
状态感知探索：ECER 同时考虑策略熵与"动作密度–回报不确定性"协方差，能将噪声更集中地注入高价值动作区域，弥补了 SAC 全局温度与 gSDE 状态噪声的不足。
即插即用的探索器：ECER 仅在策略输出端加一个噪声尺度网络，可独立于 critic/policy 训练，便于迁移。
轻量推理：流步数 $M_{1} = M_{2} = 1$ 即可稳定训练，部署友好。
可视化直观：回报分布对比图与多任务训练曲线展示充分，便于复现与理解。

8. 不足与局限

算力披露不全：仅说明 4×RTX 3090 与 5 种子，未给出单次训练 wall-clock、总 GPU·h、单卡显存占用、推理 FLOPs 等绝对指标，效率对比仅相对。
基线调参对齐有限：所有 baseline 采用官方默认配置，未在统一预算下做 hyperparameter sweep，理论上可能小幅低估部分 baseline 的性能。
回放分布依赖：策略训练用 replay buffer 中的 $(s, a)$ 估计 advantage 与指数权重 $w (s, a)$ ，对离线/在线数据分布偏移敏感，且 $w (s, a)$ 对 $\overset{ˉ}{Δ}$ 的归一化使梯度尺度受小批量影响。
ECER 统计估计开销：每次更新需采样 $N$ 个动作并拟合 $K_{m}$ 分量 GMM（ $N = 200, K_{m} = 3$ ），引入额外计算与超参数（ $K_{m}, ρ_{thr}, Δ ρ_{thr}$ 等 10 余项，Table II），实现复杂度高于 SAC 类算法。
任务范围偏运动控制：benchmark 集中于 DMC/H-Bench/MuJoCo 运动任务，缺少高维操作、稀疏奖励、长视野任务以及真实机器人/工业控制等更具挑战的场景；论文也明确指出未来将扩展到"risk-sensitive control domains"。
样本效率未单独报告：未与 BRO-Fast、FlowRL 等就 sample efficiency（如达到某回报阈值所需步数）做严格对比。
ODE 数值稳定性：CFM 的 BPTT 链对 $M_{1}, M_{2}$ 增大时存在梯度稳定性风险（论文自述），虽然实验上 $M = 1$ 表现良好，但未给出 ODE solver 误差对策略稳定性的系统分析。
风险敏感应用未验证：ECER 使用协方差门驱动噪声，理论上偏向"高不确定性动作"，但在风险厌恶或安全约束场景下的行为未被分析。

（完）

✨ 编译论文

点「✨ 编译」开始,LLM 会按 Polaris 风格翻译并把图片/表格嵌到对应位置。结果存到浏览器 localStorage,下次访问自动加载。