arXiv 2607.05957v1 · 发布 2026-07-07

面向反无人机系统的基于不确定性驱动多智能体强化学习的时延感知主动三角测量

Delay-Aware Active Triangulation with Uncertainty-Driven Multi-Agent Reinforcement Learning for Counter-UAS

AUTHORS Seungwook Lee, David Hyunchul Shim

EVIDENCE 面向反无人机场景的多智能体强化学习与协同决策

SCORE 0.9

CATEGORIES TASK mas

PDF ↗ 2607.05957v1.pdf

GENERATED 2026-07-08 21:41:42 UTC

📝 TLDR

多智能体主动视觉三角测量通过协调移动观测者与可控相机实现无人机3D精确定位，但现有方法假设状态反馈瞬时，忽略检测、通信与决策传播的累积延迟。本文提出延迟感知、不确定性驱动的多智能体强化学习框架，以AoI增强观测的Dec-POMDP建模为核心，结合多源解析协方差传播与感知一致奖励设计，基于MAPPO在4096并行环境中训练，达到0.547m RMSE与78.1%三角测量有效率，证明循环记忆对延迟补偿不可或缺、奖励设计需与感知噪声一致。

🧭 速览

动机

现有主动三角测量方法假设状态反馈瞬时，忽略检测、通信与决策传播中累积延迟对定位有效性的影响。

方法

Dec-POMDP框架融合AoI增强观测、多源解析协方差传播与感知一致奖励，基于MAPPO在4096并行环境中训练。

结果

4096并行环境下达到0.547m RMSE与78.1%三角测量有效率，MLP策略有效率仅0.7%，AoI带来10.6个百分点增益。

结论

循环记忆是延迟补偿的必要条件，奖励需与感知噪声一致以兼顾稳定性与精度，仅依赖角度噪声会致2.8倍退化。

📊 论文图表(共 9 张)

展开查看 9 张图

TL;DR

这篇论文针对反无人机系统中空中目标的精确3D定位问题，提出了一种时延感知、不确定性驱动的多智能体强化学习框架。通过在Dec-POMDP框架中引入信息年龄（AoI）增强观测、多源协方差传播与感知一致奖励设计，在4096并行环境下训练MAPPO策略，最终达到0.547m的定位RMSE和78.1%的三角测量有效率——相较于忽略循环记忆的MLP基线（有效率仅0.7%），验证了时延补偿与感知-奖励一致性在真实部署条件下的关键作用。

研究背景与动机

反无人机系统需要在复杂的小型无人机威胁场景下，对空中目标实现精确且连续的3D定位追踪。基于视觉的被动跟踪方案具备语义信息丰富、部署成本低的优势，而多智能体主动三角测量通过协调多台搭载可控云台变焦相机的移动观察者，在不依赖距离传感器或惯性测量单元的前提下，即可提供瞬时三维位置估计，相比传统仅测角的滤波方法收敛更快、精度更高。

然而，现有方法存在一个根本性的假设缺陷——它们普遍假定状态反馈是瞬时完成的，即智能体能够立即获取最新的环境信息。在真实的多智能体系统中，系统延迟无处不在：帧采集与图像检测需要时间，智能体间的状态与观测需要经过通信链路传输，控制指令在网络中传播同样存在延迟。这些因素累积可达数十至上千毫秒，且呈现出明显的非对称特征——本机状态由高频板载传感器和本地计算支撑，时延几乎可以忽略；而协作智能体的观测必须经历完整的采样-传输-丢包链路，时延显著更大。这种状态新鲜度的差异在多智能体协同场景中尤为关键，因为它直接决定了各观测者对目标位置的判断是否同步。

本文的切入点正是这一被长期忽视的延迟结构问题。论文以 Gavin 等人提出的解析协方差奖励多智能体三角测量方法为基础，向更现实的部署条件延伸：在随机通信时延导致视角非对称陈旧性的前提下，兼顾可控云台-变焦相机的视场约束，建立贯穿完整观测链路的多源不确定性传播模型，并在统一的强化学习框架下实现时延感知与不确定性驱动的协同三角测量。

方法

方法的整体框架将问题建模为带有随机通信模型的Dec-POMDP（部分可观测马尔可夫决策过程），基于MAPPO算法的CTDE（集中训练、分散执行）范式，使用参数共享与共享循环策略进行训练。系统由三条信号流驱动：观测路径必然经过噪声注入与延迟处理；奖励路径可选择特权干净路径或感知一致路径；AoI标签则直接作为附加观测传入策略网络。

在状态与动作空间的定义上，每个智能体状态包含16维向量，涵盖3D位置、3D速度、四元数姿态、角速度、云台角度和变焦倍率；目标状态为6维向量。动作空间为7维连续控制，分别控制3D速度、偏航速率、云台俯仰/偏航速率和变焦倍率。观测空间则明确纳入了本机延迟记录、邻机延迟记录以及每条邻机消息的AoI标签，使得策略能够显式感知信息的新鲜程度。

针对延迟建模，论文设计了完整的三阶段延迟管道，对每条消息流依次施加：陈旧性（Staleness），模拟离散采样间隔导致的样本保持现象；延迟（Latency），覆盖处理与网络传播延迟，仿真中以20ms为起点；丢包（Dropout），以一定概率丢弃整包消息。累积延迟范围控制在50至1000毫秒，精确匹配真实反无人机系统的时延量级。自机流采用更小的延迟参数以模拟板载感知近乎零的时延特性；邻机流则使用较大延迟参数匹配现实无线链路。

AoI（信息年龄）增强观测是本方法的核心创新之一。对于每条邻机观测，引入AoI标签 $Δ_{k}^{(j \to i)}$ ，定义为模拟器当前时间与消息时间戳之差，其递推形式为：消息成功接收时AoI重置为实际延迟值，消息丢失时AoI在上一时刻基础上累加1。这一机制将原本隐式存在的延迟假设暴露为策略可直接观测的显式信号，使其能够根据信息新鲜度进行自适应折扣。结合GRU循环网络维持跨时间的隐式信念状态，系统实现了对时变部分可观测环境的有效适应。

在三角测量几何层面，方法采用闭合形式最小二乘光线相交算法。对于 $C$ 路相机射线，最优3D交点估计为 $\hat{X} = (\sum_{i = 1}^{C} P_{i})^{- 1} \sum_{i = 1}^{C} P_{i} p_{i}$ ，其中 $P_{i} = I - \hat{d}_{i} \hat{d}_{i}^{⊤}$ 由反投影得到的单位方向向量构成。该形式对每步奖励计算既高效又数值稳定。

多源解析协方差传播是另一关键创新。传统方法仅考虑角度噪声，导致RMSE出现2.8倍退化。论文对目标坐标与干扰参数进行线性化，堆叠 $C$ 路相机得到 $δ u \approx J_{X} δ X + J_{θ} δ θ$ ，从而推导等效残差协方差 $Σ_{resid} = Σ_{pix} + J_{θ} Σ_{θ} J_{θ}^{⊤}$ ，并进一步得到信息矩阵与目标协方差 $Σ_{X} = H^{- 1} = (J_{X}^{⊤} Σ_{resid}^{- 1} J_{X})^{- 1}$ 。协方差矩阵同时纳入了像素检测噪声、位姿估计误差、云台偏航/俯仰标定误差以及焦距与主点误差，解释了为何某些几何构型（如近平行射线、窄基线）会在特定坐标方向上放大噪声。

奖励函数设计为四项加权组合：三角测量质量奖励 $r_{tri} = s_{tri} tr (Σ_{X})$ 促使智能体走向小协方差构型；图像空间跟踪奖励 $r_{img}$ 促使目标保持在图像中心并维持合适尺寸；安全约束奖励 $r_{coll}$ 惩罚智能体间的碰撞风险；动作正则化奖励惩罚过大的动作幅值与加加速度。

论文还设计了感知一致奖励与特权干净奖励的双路径对比实验，这是贡献2的核心消融维度。两条路径在CTDE下被分散执行的执行器看到的观测严格一致，唯一差异在于奖励计算的输入状态——感知一致路径使用与观测完全相同的延迟与噪声结构，而特权干净路径对真值施加延迟但不加噪。这一设计将“奖励-观测是否对齐”作为独立的实验轴，揭示了稳定性与鲁棒性之间的权衡关系。

训练采用三阶段课程学习策略：在0-60k步进行静止目标下的控制与传感器调节（清洁观测）；在20k-100k步引入目标运动与三角测量协同奖励；在80k-200k步渐进引入观测噪声、通信延迟、检测丢包与动力学随机化。通过先在理想条件下学习协作几何，再逐步面对部分可观性的挑战，避免了多因素耦合导致的训练失败。

实验与结果

实验基于NVIDIA Isaac Sim 4.5 / Isaac Lab 2.1物理仿真平台，在4096个并行环境下使用SKRL 1.4.3库训练MAPPO策略。策略网络采用双层MLP编码器将47维观测映射至64维隐空间，再接64单元GRU（序列长度32）处理时序信息。训练总步数为200k agent steps，约产生8.19亿transition样本。每组条件评测超过4000条episode，指标按第5-95百分位裁剪以减少极端值影响。

核心结果呈现于五组对比条件：感知一致策略（完全AoI + 完整延迟课程 + 多源协方差）达到最优性能，RMSE为0.547±0.217m，三角测量有效率达78.1%。特权干净奖励策略的RMSE为0.633m，轨迹丢失次数增加27%，说明在观测噪声条件下优化特权信息会产生训练-测试不匹配。移除AoI标签后，三角测量有效率下降10.6个百分点，验证了信息年龄增强观测的必要性。仅考虑角度协方差时，RMSE退化至约1.53m（感知一致策略的2.8倍），证实多源不确定性建模的不可替代性。最关键的消融是MLP基线——使用frame stacking替代GRU后，有效率从78.1%暴跌至0.7%，几乎丧失所有三角测量能力，直观证明了循环记忆机制对于延迟补偿的核心价值。

稳健性外推评测显示策略具有良好的泛化能力：在0-500ms通信延迟（训练默认100ms）范围内，RMSE保持相对稳定；在0-12m/s目标速度（训练默认5m/s）范围内，性能同样没有显著退化。这表明课程学习有效培养了策略对延迟和动态性的适应性。

讨论与可借鉴点

这项工作的核心贡献在于系统性地揭示了真实多智能体系统中延迟结构的不可忽视性，并提供了可行的解决方案。从技术角度看，AoI增强观测机制将隐式延迟假设转化为显式策略信号，是处理部分可观测环境的一种优雅方式；多源协方差传播超越了传统仅角度建模的局限，为不确定性感知决策提供了更完整的概率图景；感知一致奖励设计则暴露了RL训练中一个常见但易被忽视的问题——当优化目标与策略实际接收的观测不一致时，即使在相同噪声水平下训练，策略也会产生隐式的不匹配。

然而，方法仍存在一定局限性。首先，实验完全基于仿真环境，缺乏真实硬件平台的验证——实际相机标定误差、云台回差、通信丢包模式等工程细节可能引入仿真中未建模的因素。其次，课程学习的阶段划分和参数调整依赖经验性设计，缺乏理论指导。第三，论文使用自建仿真环境，未在公开数据集上与领域内其他方法进行横向比较，评估的公平性难以保证。第四，AoI的定义基于模拟器时间戳，在异步时钟的异构多智能体系统中需要额外的时钟同步机制。

对于后续研究，一个有价值的探索方向是将AoI机制与主动感知理论相结合，不仅被动地量化信息新鲜度，更主动地调度观测频率与传输优先级。此外，将多源协方差传播扩展到动态目标跟踪场景，结合目标运动模型的预测协方差，有望进一步提升快速机动目标下的定位精度。在算法层面，当前策略依赖集中式训练，可以探索完全分散的MARL方法以降低通信依赖。

摘要

多智能体主动视觉三角测量通过协同搭载可控相机的移动观察者，实现对空中目标的精确三维定位。然而，现有方法假设状态反馈是瞬时的，忽略了由检测、通信和决策传播所引入的累积延迟。本文提出了一种面向反无人机系统中目标定位的、时延感知的、不确定性驱动的多智能体强化学习框架。本文的主要贡献包括：（1）一种带有信息年龄（AoI）增强观测的 Dec-POMDP 建模方法，可实现时延感知协同——信息年龄将三角测量有效率提升了 10.6 个百分点；（2）一项受控对比实验，表明感知一致性奖励优于特权干净状态奖励（RMSE 分别为 0.547 m 和 0.633 m，轨迹丢失减少 27%）——两种策略在完全相同的观测噪声条件下训练，但其优化目标不同，由此产生了稳定性与鲁棒性之间的权衡；（3）一种多源解析协方差传播方法，综合纳入像素、位姿、云台以及相机内参的不确定性——若仅考虑角度噪声，RMSE 将出现 2.8 倍的性能退化。实验采用 MAPPO 算法，在 4096 个并行环境下取得了 0.547 ± 0.217 m 的 RMSE 和 78.1% 的三角测量有效率；而 MLP 策略的有效率几乎为零（0.7%），证实了循环记忆机制对于时延补偿是不可或缺的。

Abstract

Multi-agent active visual triangulation enables precise 3D localization of aerial targets by coordinating mobile observers with controllable cameras. However, existing methods assume instantaneous state feedback, ignoring cumulative latency from detection, communication, and decision propagation. We present a delay-aware, uncertainty-driven multi-agent reinforcement learning framework for target localization in Counter-UAS applications. Our contributions are: (1) a Dec-POMDP formulation with Age-of-Information (AoI) augmented observations enabling delay-aware coordination -- AoI improves triangulation validity by 10.6 percentage points; (2) a controlled comparison showing that perception-consistent rewards outperform privileged clean-state rewards (0.547 m vs.0.633 m RMSE, 27% fewer track losses) -- both policies are trained through identical observation noise but differ in what they are optimized for, producing a stability-robustness tradeoff; and (3) multi-source analytical covariance propagation incorporating pixel, pose, gimbal, and intrinsics uncertainties -- restricting to angular noise alone causes 2.8-fold RMSE degradation. Experiments with MAPPO in 4096 parallel environments achieve 0.547 +- 0.217 m RMSE with 78.1% triangulation validity, while MLP policies achieve near-zero validity (0.7%), confirming recurrent memory as essential for delay compensation.

论文详细总结（自动生成）

面向反无人机系统的时延感知主动三角测量：基于不确定性驱动多智能体强化学习

1. 核心问题与研究动机

1.1 背景

反无人机系统（Counter-UAS, C-UAS）需要在广泛的小型无人机威胁场景下，对空中目标进行精确、连续的 3D 定位。基于视觉的被动跟踪具备语义丰富、部署轻量的优势；而 多智能体主动三角测量（Multi-Agent Active Triangulation）通过多台搭载可控云台变焦相机的移动观察者动态调整位姿，可在不依赖距离/惯性量测的前提下提供瞬时三维位置估计，相比仅测角的滤波类方法收敛更快。

1.2 关键瓶颈

真实多智能体系统普遍存在 系统时延，其来源包括：

帧采集与图像检测延迟；
智能体间状态/观测的通信延迟；
控制指令的决策传播延迟。

整体时延累积可达 数十至上千毫秒，且具有 非对称性：本机状态（ego-state）由高频板载传感器与本地计算支撑，时延极小；而协作智能体（other-agent）观测需经过完整的采样–传输–丢包链路，时延显著更大。现有面向感知的方法多为 单智能体 设定（如 Perception-aware MPC），未触及分布式系统中固有的 多智能体延迟结构，因而难以直接部署。

1.3 研究目标

以 Gavin 等人基于解析协方差奖励的多智能体三角测量方法为基础，将其扩展到更现实的部署条件：随机通信时延带来的视角非对称陈旧性、可控云台–变焦相机的视场约束、贯穿完整观测链路的 多源不确定性传播。最终在统一的强化学习框架下实现 时延感知、不确定性驱动 的协同三角测量。

2. 方法论

2.1 整体框架

将问题建模为加入 随机通信模型 的 Dec-POMDP： $⟨ I, S, {A_{i}}, P, R, {Ω_{i}}, Z, γ ⟩$ 。基于 MAPPO 的 CTDE 范式，使用参数共享与共享循环策略进行集中训练、分散执行。系统由三类信号流驱动（见图 1 右）：

观测路径（noisy path）：必然经过噪声注入与延迟；
奖励路径：可选用 特权干净路径 或 感知一致路径；
AoI 标签：直接作为附加观测传入策略。

2.2 决策与状态空间

状态：智能体状态 $x_{k}^{i} \in R^{16}$ （3D 位置、3D 速度、4D 四元数姿态、3D 角速度、2D 云台角、1D 变焦倍率），目标状态 $x_{k}^{T} \in R^{6}$ ；
动作：7 维连续控制 $a_{k}^{(i)} = (a_{v_{x}}, a_{v_{y}}, a_{v_{z}}, a_{\dot{ψ}}, a_{\overset{α}{˙}}, a_{\dot{β}}, a_{\overset{z}{˙}})^{⊤} \in [- 1, 1]^{7}$ ，分别控制 3D 速度、偏航速率、云台 pan/tilt 速率与变焦速率；
观测空间： $Ω_{i} = \tilde{X}_{i} \times \prod_{j \in N_{i}} (\tilde{X}_{j} \times R_{\geq 0})$ ，包含本机延迟记录、邻机延迟记录以及 每条邻机消息的 AoI 标签。

2.3 三阶段延迟管道

对每条消息流依次施加（见图 2）：

1. Staleness（陈旧性）：离散采样间隔导致的样本保持；

2. Latency（延迟）：处理与网络传播延迟（仿真 20 ms 起）；

3. Dropout（丢包）：以 $p_{drop}$ 概率丢弃整包。

自机流采用更小延迟参数以模拟板载感知近乎零的时延；邻机流以较大延迟参数匹配现实无线链路。累积延迟范围控制在 50–1000 ms，匹配真实 C-UAS 时延量级。

2.4 AoI 增强观测

对每条邻机观测引入 AoI 标签 $Δ_{k}^{(j \to i)}$ ，定义为模拟器当前时间与消息时间戳之差：

Δ_{k + 1}^{(j \to i)} = {d_{k + 1}^{(j \to i)} Δ_{k}^{(j \to i)} + 1 若 χ_{k + 1}^{(j \to i)} = 1, 若 χ_{k + 1}^{(j \to i)} = 0,

策略据此 显式量化信息新鲜度，在使用陈旧协作信息时进行折扣。该方法将原本隐式存在的延迟假设暴露为可观测信号，结合 GRU 循环网络维持跨时间的隐式信念，是对 DSID-POMDP 在同步时钟多机器人场景下的扩展。

2.5 主动三角测量几何

对位于相机坐标系中的 3D 点 $X_{c} = [X, Y, Z]^{⊤}$ ，带线性变焦的针孔投影模型为：

u = f_{x} (z) \frac{X}{Z} + c_{x}, v = f_{y} (z) \frac{Y}{Z} + c_{y}, f (z)_{x, y} = z \cdot f_{x, 0}

对 $C$ 路射线，多视角最优点采用 Hartley & Zisserman 的 闭合形式最小二乘光线相交：

\hat{X} = (i = 1 \sum C P_{i})^{- 1} i = 1 \sum C P_{i} p_{i}, P_{i} = I - \hat{d}_{i} \hat{d}_{i}^{⊤},

其中 $\hat{d}_{i}$ 由检测像素反投影得到。该形式对每步奖励计算既高效又数值稳定。

2.6 多源解析协方差传播

针对相机 $i$ 的投影 $π (K_{i}, R_{i}, t_{i}, X)$ ，对目标坐标 $X$ 与干扰参数 $θ_{i}$ （位姿、云台、内参）进行线性化：

δ u_{i} \approx J_{X}^{(i)} δ X + J_{θ}^{(i)} δ θ_{i}

堆叠 $C$ 路相机得到 $δ u \approx J_{X} δ X + J_{θ} δ θ$ ，从而等效残差协方差：

Σ_{resid} = Σ_{pix} + J_{θ} Σ_{θ} J_{θ}^{⊤}

信息矩阵与目标协方差为：

H = J_{X}^{⊤} Σ_{resid}^{- 1} J_{X} \in R^{3 \times 3}, Σ_{X} = H^{- 1} = (J_{X}^{⊤} Σ_{resid}^{- 1} J_{X})^{- 1}

$Σ_{θ}^{(i)}$ 同时纳入：像素检测噪声、位姿估计误差、云台偏航/俯仰标定误差、焦距与主点误差。该多源模型解释了为何某些几何构型（近平行射线、窄基线）会在某一坐标方向上放大噪声。

2.7 奖励构成

每个智能体的奖励分解为四项：

三角测量质量： $r_{tri} = s_{tri} p tr (Σ_{X})$ ，促使智能体走向小协方差构型；
图像空间跟踪： $r_{img} = s_{ctr} exp (- λ_{ctr} ∥ c - c_{0} ∥) + s_{sz} exp (- λ_{sz} ∣ A - A_{ref} ∣)$ ，促使目标居中并保持合适包围盒尺寸；
安全约束： $r_{coll}^{(i)} = - s_{coll} Δ t \sum_{j \neq = i} 1 [∥ p_{i} - p_{j} ∥ < d_{m i n}]$ ；
动作正则化：惩罚动作幅值与加加速度。

总奖励 $r_{k}^{(i)} = r_{tri} + r_{img} + r_{coll} + r_{act}$ 。

2.8 双路径延迟架构（核心消融维度）

延迟使真实状态与策略可见信息之间产生根本错位。对于协方差类奖励，关键设计问题是：奖励应基于特权干净状态，还是基于与策略同步的噪声延迟状态？

特权干净路径：对真值施加延迟但不加噪；
感知一致路径：施加与观测路径 完全相同 的延迟与噪声结构，再叠加按课程因子 $s_{noise} \in [0, 1]$ 缩放的逐字段高斯噪声。

两条路径在 CTDE 下被分散执行的执行器看到的观测严格一致，唯一差异在奖励计算的输入。该设计将“奖励–观测是否对齐”作为独立的实验轴。

2.9 课程学习

分 三个阶段、八个维度 在 200k 步内线性推进：

阶段	步数区间	主要任务
Phase 1	0–60k	静止目标下控制本机运动与传感器以维持视觉跟踪（清洁观测）
Phase 2	20k–100k	引入目标运动与三角测量协同奖励
Phase 3	80k–200k	渐进引入观测噪声、通信延迟、检测丢包与动力学随机化

通过先在理想条件下学习协作几何，再面对部分可观性，避免多因素耦合导致的训练失败。

3. 实验设计

3.1 仿真平台与环境

物理仿真：NVIDIA Isaac Sim 4.5 / Isaac Lab 2.1；
RL 库：SKRL 1.4.3；
并行环境数：4096；
课程总步数：200k agent steps，约 8.19 亿 transitions；
策略网络：双层 MLP 编码器将 47 维观测映射至 64 维，再接 64 单元 GRU（序列长度 32）；
基线对比（MLP）：3 层 256 单元 MLP + frame stacking（ $K = 4$ , skip=10，约 1.2 s 上下文）；
评测统计：每个条件评测 $> 4000$ 条 episode，指标裁剪到第 5–95 百分位以减少极端值影响。

3.2 评估指标（Table I）

RMSE（m）：三角化点与真值的欧氏误差；
Tri Valid（%）：≥2 路有效检测且几何非退化的步比例；
Visibility（%）：≥2 路有效检测的步比例；
Convergence Steps：首次有效三角测量所需步数；
Collisions（%）：每 episode 碰撞事件占总长的百分比；
Track Loss：valid → invalid 的转移次数/episode。

3.3 对比与消融条件（5 组）

编号	条件	验证的贡献
(1) Perception-consistent（noisy reward）	完全 AoI + 完整延迟课程 + 多源协方差	主结果
(2) Privileged（clean reward）	仅奖励基于 clean delayed states	贡献 2
(3) No AoI	移除观测中的 AoI 标签	贡献 1
(4) Angular-only cov	协方差仅含角度噪声（复现 Gavin 等）	贡献 3
(5) MLP（stacked obs）	用 3 层 MLP + frame stacking 替代 GRU	时间建模消融

3.4 稳健性外推评测

延迟外推：在 0–500 ms 的通信延迟（训练默认 100 ms）下评估策略；
速度外推：在 0–12 m/s 的目标速度（训练默认 5 m/s）下评估策略。

> 关于基准数据集说明：本文属于控制/RL 类研究，使用自建的物理仿真环境（Isaac Lab）作为唯一基准，未在公开数据集上做横向比较；可视化与表格结果都是同一仿真在 5 组条件下的对照评测。

4. 资源与算力

文中明确给出的算力配置：

GPU：1 × NVIDIA RTX 3090（24 GB）；
CPU：AMD Ryzen 9；
操作系统：Ubuntu 20.04 + CUDA 12.2；
并行环境：4096；
训练规模：200k agent steps ≈ 8.19 亿 transitions；
评测规模：每组条件 $> 4000$ episode。

> 未明确给出训练总时长（小时/天数）与具体能耗；也未提供 3 智能体规模实验的完整计算开销信息。

5. 实验数量与充分性

5.1 数量与覆盖

核心消融：5 组条件 + 2 个外推扫描（延迟、速度）；
可视化分析：训练曲线（图 3）、代表性轨迹（图 4）、逐步时间剖面（图 5）；
随机性统计：指标给出均值 ± 标准差，并按 5–95 百分位裁剪；
每个条件样本量： $N \in [4096, 6784]$ episodes；
多尺度可视化：2D 时间演化 + 3D 协同轨迹，提供定性证据。

5.2 是否充分与公平

公平性：所有条件均使用相同的噪声注入（仅奖励路径差异）、相同的物理/通信/课程参数共享策略，仅在单一变量上做替换，符合 ablation 规范；
充分性：
三个贡献点各自都有针对性的消融设计；
提供了训练–评测动态不一致性的讨论（图 3 的“训练指标未必反映下游性能”）;
对每个 ablation 都给出了 RMSE、有效性、可见性、收敛步、碰撞率、轨迹丢失六维指标；
不足：
仅仿真验证，未给出真实飞行数据；
仅在双智能体最小场景下实验，三智能体仅做初步提及（碰撞率上升 9.5×）；
没有跨仿真器或跨任务域的迁移对比；
没有与 GPM/SMPC 等传统非学习方法或单智能体感知基线做并列比较；
外推评测虽给出趋势线，但误差棒与置信区间信息未显式呈现。

总体而言，对所提三项贡献的“是否存在贡献”层面证据是充分的；对“实际部署是否足够鲁棒”层面证据仍偏弱。

6. 主要结论与发现

6.1 主结果（Table II）

感知一致奖励：RMSE $= 0.547 \pm 0.217$ m，Tri Valid $= 78.1%$ ；
特权干净奖励：RMSE $= 0.633$ m，Tri Valid $= 79.1%$ ；
无 AoI：RMSE $= 0.701$ m，Tri Valid $= 68.5%$ ；
仅角度噪声协方差：RMSE $= 1.546$ m，Tri Valid $= 32.2%$ ；
MLP stacked obs：RMSE $= 1.561$ m，Tri Valid $= 0.7%$ 。

6.2 三个核心发现

1. AoI 是必要的陈旧性信号：AoI 标签使三角测量有效性提升 +10.6 个百分点，说明显式陈旧性元数据补充了循环网络无法完全恢复的时间簿记信息；

2. 感知一致 vs. 特权奖励存在稳定性–鲁棒性权衡：

感知一致奖励在聚合指标上更优（RMSE −14%、轨迹丢失 −27%、碰撞 −38%）；
但特权奖励具有 单调下降的 RMSE 与更稳定的航向维持；
两者并非严格支配，二者的选择是 部署相关 的设计决策；同时将“奖励–观测一致性”识别为延迟感知 RL 中一个独立的设计轴；

3. 多源协方差是几何奖励的最低必要条件：忽略位姿、云台、内参等噪声，RMSE 退化 2.8 倍，轨迹丢失增加 2.8 倍。

6.3 时间建模的关键结论

MLP + 帧堆叠虽覆盖约 1.2 s 上下文却几乎无法完成三角测量（0.7%），原因是随机延迟下观测时间戳 非均匀间隔，固定窗口无法适应变化时延结构；GRU 通过 隐式延迟补偿（与 Fu 等的显式补偿器网络功能类比但端到端吸收）成为必要组件。

6.4 外推结论

通信延迟在训练点 100 ms 附近能 优雅退化 至约 200 ms，之后性能显著下降；
目标速度在 0–12 m/s 范围内均维持较稳定的跟踪质量，说明协同策略对训练分布之外有 一定泛化能力。

7. 优点与亮点

7.1 方法层面

三重贡献同时验证：AoI、感知一致奖励、多源协方差各自独立消融，且都为正向贡献；
奖励–观测对齐作为独立设计轴：与既有延迟感知 RL（Hidden delay compensation、DSID-POMDP、Asymmetric DQN）形成 互补视角，指出噪声鲁棒性的优化景观重塑价值；
协方差建模扩展系统性强：将角度噪声升级为涵盖像素、位姿、云台、内参的完整误差预算，理论推导闭合；
循环策略 + AoI 标签的协同：把隐式记忆（GRU）与显式陈旧性元数据结合，提高了延迟补偿的可解释性与稳定性；
视角非对称延迟建模：ego/other 异质时延更贴合真实板载感知与无线链路差异；
多阶段课程：将目标可见性、基线几何、陈旧信息处理解耦学习，缓解多因素耦合训练失败问题。

7.2 实验层面

同条件公平对比：仅替换单一变量的消融范式严谨；
多维评测：RMSE、有效性、

可见性、收敛步、碰撞率、轨迹丢失六维指标，量化的统计信息完整；

外推扫描：覆盖训练分布外的延迟与目标速度，给出策略鲁棒性边界；
训练–评测差异的可视化讨论：明确指出训练曲线下降并不必然对应下游部署性能提升，体现了对 RL 实践陷阱的清醒认知。

7.3 工程层面

在 单张 RTX 3090 上完成 8.19 亿 transitions 训练，硬件门槛低、可复现性强；
基于 Isaac Lab + SKRL 的开源栈，便于后续研究者复现与扩展。

8. 局限性与待改进之处

8.1 系统规模与场景

仅在 双智能体 最小拓扑下完成全部量化实验，三智能体仅作为简要说明提及（碰撞率上升约 9.5 倍），未提供完整三智能体消融；
仿真环境对风扰、光照突变、传感器退化（如曝光/运动模糊）等未做建模，与真实户外 C-UAS 场景仍有差距。

8.2 算法层面

AoI 标签假设同步时钟：依赖真实时间戳减去当前时间的差值，需要可靠的时钟同步协议支撑，在松散耦合或对抗性时延条件下假设可能失效；
GRU 容量未做消融：未探讨更大/更小循环结构或 Transformer-based memory 的影响；
课程学习固定调度：超参（阶段切换点、噪声增长斜率）依赖经验，未做敏感性分析；
奖励权重未调优：四个 reward 项的尺度关系由作者经验设定，缺少 reward shaping 的消融。

8.3 评测层面

仅在 Isaac Lab 中评估，未在真实飞行数据或硬件在环（HITL）平台验证；
外推扫描（延迟、速度）的误差棒、置信区间、显著检验等未显式呈现；
与 传统非学习方法（如 GPM、SMC、分布式 EKF）以及 单智能体感知 MPC 等的横向对比缺失；
没有跨仿真器（AirSim、Gazebo）的迁移实验，难以判断环境特异性的影响；
性能退化边界（>200 ms 延迟、>12 m/s 速度）缺乏失效模式分析。

8.4 安全与可解释性

碰撞率虽下降 38%，但仍非零，且没有给出避障策略的失败案例；
协方差估计被用作奖励信号，但其与真实误差分布的校准关系（是否高估/低估不确定性）未做定量评估。

9. 未来工作与延伸方向

根据论文末尾的展望与领域发展脉络，可延伸的研究方向包括：

1. 扩展智能体规模与拓扑：将方法推广到 三智能体及以上的全连接或星型拓扑，研究 AoI 标签在高维信息流下的可扩展性；

2. 真实硬件在环验证：在 Gazebo + ROS 2 + 真实云台变焦相机的 HITL 平台上复现，并逐步迁移到外场飞行；

3. 鲁棒不确定性建模：将光照、模糊、检测置信度等纳入协方差传播，探索 学习式协方差估计 与解析方法的混合；

4. 延迟结构拓展：研究 异步决策、变采样率、丢包补偿 与 AoI 的耦合，引入更一般的网络模型（如马尔可夫切换信道）；

5. 替代记忆架构：将 GRU 替换为 Transformer 或状态空间模型（SSM），比较其在长时延、长视野下的表现；

6. 与传统滤波方法的混合：将 RL 学到的主动视角策略作为高层决策，与底层 GPM/EKF 形成 分层结构，验证性能上界；

7. 对抗与故障场景：研究协作智能体失效（拜占庭式丢包、恶意延迟）下的策略退化与恢复机制；

8. 奖励–观测对齐的更广义研究：将本文提出的 "感知一致 vs. 特权奖励" 设计轴推广到其他延迟感知 RL 任务（如自动驾驶、协作机械臂）。

10. 总体评价

10.1 学术贡献定位

本文在 多智能体主动感知 与 延迟感知强化学习 的交叉点上做出了清晰、可验证的贡献：

提出了 AoI 标签 + 循环策略 的显式–隐式陈旧性联合建模范式；
首次系统地将 奖励–观测对齐 识别为延迟感知 RL 的独立设计轴，并通过感知一致 vs. 特权两条路径的对比，揭示了稳定性–鲁棒性之间的真实权衡；
将单源角度协方差升级为 多源解析协方差，为几何奖励的物理合理性提供了更完整的误差预算。

10.2 与相关工作的关系

与 Gavin 等的解析协方差奖励工作形成 直接扩展：同一奖励哲学，但加入了完整的现实约束；
与 Perception-aware MPC 系列工作在 多智能体设定 上互补：后者聚焦单智能体连续优化，本工作聚焦分布式延迟结构下的协同；
与 DSID-POMDP、Asymmetric DQN、Hidden Delay Compensation 等延迟感知 RL 工作相比，贡献点不在延迟补偿算法本身，而在 奖励设计的一致性原则 上提供了新视角。

10.3 综合判断

本文在 方法严谨性、实验公平性、工程可复现性 三个维度均达到 ICRA/IROS/RAL 等顶级机器人会议/期刊的发表水准。三项贡献各自独立消融、结论方向一致且具有可解释性，是一篇 问题定义清晰、消融规范、结论可靠 的工作。其主要短板在于 真实部署验证不足与系统规模有限，但这并不削弱其在算法层面的贡献，反而为后续研究提供了明确的方向。整体而言，是面向实际部署的多智能体感知决策领域中一篇值得重视的方法论工作。

（完）

✨ 编译论文

点「✨ 编译」开始,LLM 会按 Polaris 风格翻译并把图片/表格嵌到对应位置。结果存到浏览器 localStorage,下次访问自动加载。