📊 论文图表(共 17 张)

展开查看 17 张图

‹ ›

TL;DR

论文针对 GNSS 拒止的室内多无人机协同导航问题，提出将共享体素地图世界模型与多智能体软演员-评论家（MASAC）控制器相结合的制导框架。核心设计遵循"在世界坐标系中融合、在自我坐标系中执行"的原则，使多架无人机能够在保持分布式实时控制的同时共享一致的空间感知。仿真走廊任务达到 90.3% 成功率，经真实数据离线模仿微调后，两机在室内复杂障碍环境中实现稳定协同飞行，验证了该框架的有效性与可扩展性。

研究背景与动机

在仓库巡检、灾害救援、密闭空间探索等应用场景中，多架无人机需要在没有全球导航卫星系统（GNSS）信号的室内环境中协同作业，这对感知共享与连续控制提出了双重挑战。传统方案大致分为两类：基于几何规划的 A* 算法配合占据栅格地图，能够提供可解释的全局路径，但在地图存在噪声、更新延迟或需要频繁重规划时性能显著下降；人工势场等反应式方法计算高效，却在死胡同、复杂几何结构下容易陷入局部极小或产生振荡。更关键的是，这两类方法通常将同伴无人机视为静态障碍物处理，缺乏真正意义上的动态协同能力。

在实际系统中，多机协同面临一个根本性的张力：各无人机必须在统一的世界坐标系下共享感知才能实现空间融合的一致性，但策略执行的实时性要求每个智能体的输入不应随团队规模扩张而膨胀。论文敏锐地捕捉到这一矛盾，提出"integrate-in-world, act-in-ego"的核心设计思想——感知在世界坐标系中融合，决策在以自我为中心的局部坐标系中执行，从而将空间一致性与策略规模可扩展性解耦。

方法

整个系统框架包含感知、共享地图构建、策略学习三条技术链路。

感知端采用 360° 激光雷达扫描，通过逆深度特征映射将点云编码为三个高度带（低/中/高）的特征图。所有无人机的观测数据被融合到一个统一的世界坐标系（NED）下的 3D 占据栅格地图中，分辨率为 0.25 米/体素，融合算法采用沿射线的 ray-casting 与末端击中累积机制。这张共享地图作为"世界模型"存储了所有机载传感器对环境的共同认知。

为了将沉重的 3D 地图转化为策略网络可处理的紧凑输入，系统沿高度 ±0.5 米切片投影为 2D 鸟瞰图（BEV）表示，并额外计算一个欧氏距离变换通道来表示"清空度"——即每个像素到最近障碍物的距离。这一双通道 BEV 张量（占据 + 清空度）随后被裁剪为以无人机为中心的 39×39 网格（约 9.75×9.75 米）作为策略的局部视觉输入。值得注意的是，地图在世界坐标系中维护，但输入策略的是局部裁剪，这种设计使得每个智能体的输入维度与团队规模完全解耦。

状态向量采用了紧凑的附加信息设计，包含到目标的平面距离 $d$、目标相对航向角的三角表示 $\sin \theta$ 与 $\cos \theta$、高度误差 $\Delta z$、以及与同伴无人机的间距 $d_{peer}$。这一设计同样保证输入维度不随环境复杂度或团队规模变化。动作空间为连续速度命令 $a=(v_x,\dot{\psi },v_z)$，经 $\tanh$ 激活函数缩放至物理可行范围。

策略学习采用多智能体软演员-评论家（MASAC）算法，在集中训练分散执行（CTDE）范式下运行。执行阶段每架无人机仅使用本地感知与附加状态向量；训练阶段集中式双 Q 头评论家接收所有智能体的潜在特征与联合动作，通过最小化双 Q 值估计的过估计偏差提升学习稳定性。目标 Q 值采用 SAC 标准形式，引入熵温度参数 $\alpha$ 平衡探索与利用，并通过 Polyak 平均更新目标网络。Actor 网络将 BEV 特征 CNN、障碍特征 CNN 与附加状态 MLP 的输出拼接，经层归一化融合后送入高斯策略头输出动作分布参数。

奖励函数设计是保证飞行行为安全高效的关键。整体采用密集有界设计，包含水平进度奖励、高度进度奖励、航向对齐奖励、可通行性奖励，以及若干惩罚项：时间惩罚避免拖延、动作平滑惩罚减少抖动、速度正则惩罚防止高速碰撞。特别值得关注的是两个垂直方向惩罚项——带内高度抖动抑制和带外远离目标抑制——它们协同工作，使无人机在接近目标高度时能够稳定悬停而非反复穿越目标平面。分离惩罚采用平滑铰链函数形式，在两机间距低于安全阈值时施加二次增长惩罚，引导形成协作式避让而非碰撞后被动分离。

训练初期采用专家混合策略，将策略动作与 A/APF 专家动作按比例混合，逐步将混合系数从纯专家退火至纯策略，确保初期探索的稳定性与安全性。Sim-to-Real 迁移通过离线行为克隆实现，以 A 参考控制器在真实数据上产生的轨迹作为监督信号微调仿真训练的策略。

实验与结果

仿真环境基于 Unreal Engine 4 与 AirSim 构建，场景为包含死胡同与迷宫结构的走廊型套件。训练规模约 10 万环境步、2000 个回合，基线对比包括 A* 规划算法、人工势场控制器，以及作者团队先前的 Sapience 1 单段近似线性航点制导方法。

在走廊导航任务中，MASAC 控制器达到 90.3% 的成功率，显著优于 A 的 55.0%、APF 的 21.5% 和 Sapience 1 的 30.0%。这一结果在长周期几何推理与动态机间交互的双重压力下验证了所提方法的优势。值得注意的是，即使在纯几何规划方法 A 表现尚可的简单走廊场景中，APF 等反应式方法已明显力不从心，说明动态协同能力对任务成功至关重要。

真实世界实验在约 13×8 米的室内飞行场地进行，平台为 Holybro X550v2 反向旋转八旋翼，配备 Cube Orange+ 飞控、Jetson Orin Nano 伴算机、Ouster OS-1 128 线激光雷达，以及 Doodle Labs Mesh Rider 通信模组。定位完全依赖 DLIO 激光雷达-惯性里程计。测试涵盖 5 种障碍布局（空场、单板、双板、三板、T 形），每种 10 次飞行试验。经过 A* 专家离线行为克隆微调后，两架无人机在全部 50 次试验中均成功完成任务，未发生碰撞或人工干预。特别值得关注的是，在三板布局中观察到一架无人机自发让行、另一架优先通过的行为，这种隐式协同完全由共享地图与多智能体训练涌现产生，并非通过显式排序模块强制编码。

讨论与可借鉴点

论文展示了将共享体素地图与多智能体强化学习相结合解决室内协同制导问题的完整 pipeline，其"integrate-in-world, act-in-ego"设计原则对类似的多机感知共享问题具有通用参考价值。BEV + 清空度双通道设计为策略同时提供了障碍物位置与可通行性梯度两种互补信息，有效弥补了纯占据表示缺乏梯度引导的缺陷。训练过程中专家混合退火、动作平滑正则、熵温度自适应等稳定化措施组合使用，确保了深度强化学习在物理系统上的安全收敛。

然而，这项工作也存在若干局限。论文仅在两架无人机上验证了框架效果，更大规模机队的通信拓扑与策略容量可扩展性尚不清晰。采用的 2.5D BEV 表示对显著垂直变化场景（如楼梯、立体障碍）缺乏适配能力，这限制了其在更复杂建筑环境中的直接应用。消融实验不够系统——BEV 通道设计的必要性、奖励各分量的独立贡献、专家退火曲线的敏感性等问题尚未独立验证。真实部署依赖离线行为克隆微调而非纯策略迁移，说明仿真到真实的差距仍不可忽视，早停微调策略避免过拟合的发现也值得其他研究借鉴。

从工程视角看，论文提供了从仿真训练到真实部署的完整闭环经验：共享地图数值稳定性、通信约束、定位可靠性、安全门控缺一不可。起飞瞬态的稳定性问题被明确指出，反映出仿真环境与真实硬件接口的细节差距。总体而言，这项工作为室内多无人机协同感知-决策一体化提供了有价值的实践参考，其设计思想对其他 GNSS 拒止环境下的多智能体系统亦具启发意义。

摘要

本文提出了一种协同室内无人机制导框架，该框架将共享体素地图世界模型与多智能体软演员-评论家（MASAC）控制器相结合。多架无人机将360度激光雷达观测数据融合到一个统一的世界坐标系占据地图中，该地图被转换为紧凑的鸟瞰图（BEV）表示形式，并以自中心对齐的局部裁剪方式提供给每个智能体。这种"在世界坐标系中融合、以自中心坐标系执行"的设计能够在保持分布式连续控制的同时，实现多无人机空间融合的一致性。该策略在集中训练、分散执行框架下，结合了BEV地图特征、近场障碍物观测以及紧凑的目标和同伴状态信息。在仿真环境中，所学习的控制器在走廊导航任务中达到了90.3%的成功率，优于Astar规划算法、人工势场控制器以及一种先前的制导方法。为解决残余的仿真到现实迁移差异，进一步利用来自真实世界数据的离线模仿微调对仿真训练的策略进行了适配。在无GNSS的室内环境中进行的真实世界实验表明，两架无人机能够在日益复杂的障碍物布局下实现稳定的协同运行。结果表明，共享体素地图表示为学习的协同室内无人机制导提供了一种有效且可扩展的空间基础。

Abstract

This paper presents a cooperative indoor UAV guidance framework that combines a shared voxel-map world model with a multi-agent Soft Actor-Critic (MASAC) controller. Multiple drones fuse 360 LiDAR observations into a common world-frame occupancy map, which is converted into a compact bird's-eye-view (BEV) representation and provided to each agent as an ego-aligned local crop. This integrate-in-world, act-in- ego design enables consistent multi-UAV spatial fusion whilst retaining decentralised continuous control. The policy combines BEV map features, near-field obstacle observations, and compact goal and peer-state information within a centralised-training, decentralised-execution framework. In simulation, the learned controller achieves a 90.3% success rate in corridor navigation, outperforming Astar planning, an artificial potential field controller, and a prior guidance method. To address residual sim-to-real mismatch, the simulation-trained policy is further adapted using offline imitation fine-tuning from real-world data. Real-world experiments in GNSS-denied indoor environments demonstrate stable two-UAV cooperative operation across increasingly chal- lenging obstacle layouts. The results show that shared voxel-map representations provide an effective and scalable spatial substrate for learned cooperative indoor UAV guidance.

论文详细总结（自动生成）

论文总结：基于共享体素地图的多智能体软演员-评论家室内无人机协同制导

1. 核心问题与研究动机

问题背景：在 GNSS 拒止的室内环境中，多架无人机需要同时完成障碍规避、互相避让、局部感知有限下的空间推理等任务。传统方案存在两类典型不足：

• 几何规划方法（A* + 占据图）：在地图噪声、更新延迟或重规划稀疏时性能下降，且常把同伴无人机当作静态障碍处理，缺乏动态协同能力；
• 反应式方法（人工势场 APF）：在死胡同、复杂几何结构下易陷入局部极小或震荡。

研究动机：作者认为需要一种能"既保持几何可解释性，又具备学习控制适应性"的混合框架，核心矛盾在于：

• 多机空间融合一致性：各无人机必须在世界坐标系下共享感知；
• 分散执行实时性：每个智能体的策略输入不应随团队规模扩张。

由此引出"在世界坐标系中融合、在自我坐标系中执行"（integrate-in-world, act-in-ego）的设计原则。

2. 方法论

2.1 整体架构

系统包含两条并行线程：仿真/部署线程（采集数据）+ 训练线程（优化网络）。

• 感知：360° LiDAR → 逆深度特征图（三个高度带：低/中/高）；
• 共享地图：世界坐标系（NED）下的 3D 占据栅格，分辨率 0.25 m/体素，沿射线做 ray-c carving 与末端击中累积；
• BEV 表征：将 3D 栅格沿高度 ±0.5 m 切片投影为 2D BEV，并通过欧氏距离变换得到"清空度"（clearance）通道；
• 策略输入：以无人机为中心的 $39\times 39$ 网格（约 $9.75\times 9.75$ m）的双通道 BEV 张量 $\{occupancy,clearance\}$。

2.2 状态与动作

• 附加状态向量（保持输入维度与团队规模无关）：

其中 $d$ 为到目标的平面距离，$\theta$ 为目标相对机体航向角，$\Delta z$ 为高度误差，$d_{peer}$ 为两机间距。

• 动作：连续速度命令 $a=(v_x,\dot{\psi },v_z)$，经 $\tanh$ 缩放。

2.3 MASAC 策略与评论家

• 集中训练、分散执行（CTDE）：
• 执行端：每架无人机仅用本地感知与 $g$；
• 训练端：集中式双 Q 头评论家接收所有智能体的潜在特征与联合动作，输出 $Q_{{\theta }_1}(s,a)$、$Q_{{\theta }_2}(s,a)$；
• 目标 Q 值（SAC 形式）：

其中 $\alpha$ 为熵温度，目标网络采用 Polyak 平均更新。

• Actor 结构：障碍特征 CNN + BEV CNN + $g$ 的 MLP → 拼接经 LayerNorm 融合 → 高斯策略头输出 $(\mu (z),\log \sigma (z))$ → $\tanh$ 缩放得到动作。

2.4 奖励设计

每架无人机奖励（密集、有界）：

其中分离项为平滑铰链惩罚：

2.5 训练流程

• 专家混合：初始阶段将策略动作与 APF/A\* 专家动作线性混合：

并随训练将 $\beta$ 从 0 退火到 1。

• 稳定化措施：评论家与 Actor 梯度裁剪、保守学习率、熵温度自适应优化、基于策略成功率的 checkpoint 选择。

• Sim-to-Real 适配：在真实数据上以 A\* 参考控制器为标签做离线行为克隆：

关键经验：最优硬件表现通常出现在微调早期，过度微调会退化仿真阶段学到的鲁棒策略。

3. 实验设计

3.1 仿真环境

• 平台：Unreal Engine 4 + AirSim；
• 场景：走廊型套件，包含若干死胡同与迷宫式结构，用于压力测试长期几何推理与机间交互；
• 终止条件：到达目标、碰撞、超界、超时；
• 训练量：约 100,000 环境步、2,000 episode；
• 算力：单台 NVIDIA RTX A4500 GPU 工作站。

3.2 基线方法

• A\*（基于世界坐标系 BEV 地图）；
• APF（人工势场）；
• Sapience 1：作者团队先前的单段近似线性航点制导策略。

3.3 模型选择协议

两阶段：

1. 检查所有 checkpoint，筛选在训练走廊上 100% 成功的策略；

2. 在逐步增难、含未见过的走廊几何结构上评估，挑最稳健者。

3.4 真实环境

• 场地：City St George's 室内飞行场地，约 $13m\times 8m$；
• 障碍：$1.2m\times 2.4m$ 木质墙板组成可重复布局；
• 平台：Holybro X550v2 改装的反向旋转八旋翼，搭载 Cube Orange+（PX4）、Jetson Orin Nano 伴算机、Ouster OS-1 128 线 LiDAR、Doodle Labs Mesh Rider 通信模组；
• 定位：DLIO LiDAR-惯性里程计（无 GNSS）；
• 测试配置：5 种布局（空场、单板、双板、三板、T 形），每种 10 次试验。

3.5 评估指标

• 仿真：双机协同成功率（任一架失败即整体失败）；
• 真实：在无碰撞、无安全触发、无人工干预前提下双机完成任务的比例。

4. 资源与算力

> 论文未给出训练总时长、CPU 配置或通信带宽预算；亦未报告推理延迟与端到端控制回路频率的精确测量值（仅给出共享地图约 5 Hz 更新、位姿信息更高频）。

5. 实验数量与充分性

• 仿真基线对比：4 种方法（含本文 MASAC）在走廊套件上的成功率（表 I），覆盖经典规划、反应式、先前学习方法和本文方法，对比维度明确；
• 真实场景：5 种布局 × 10 次 = 50 次飞行试验，覆盖从空场到最复杂三板/T 形布局；
• 消融/压力测试：
• 有：从仿真到真实的迁移对比（迁移前后差异）、共享地图通信降级（5 Hz）的影响；
• 缺失：未对 BEV 通道数量（仅用 occupancy vs occupancy+clearance）、奖励分量、专家混合退火曲线、Actor/Critic 网络规模做独立消融；
• 缺失：未对"分离惩罚项"、"垂直抖动抑制项"做单独消融。
• 充分性评价：仿真端基线齐全、真实端从空场到复杂几何的渐进验证合理；但缺少系统性消融实验，奖励与表示各分量的贡献尚不清晰，统计显著性检验亦未涉及。

6. 主要结论

1. 仿真性能：MASAC 在走廊套件上达到 90.3% 成功率，显著优于 A\*（55.0%）、APF（21.5%）、Sapience 1（30.0%）；

2. 真实部署：经过 A\* 专家离线行为克隆微调后，两架 UAV 在 5 种室内布局上 10 次试验均 100% 成功，未发生碰撞或人工干预；

3. 协同行为涌现：在三板布局中观察到"一架让行、另一架先过"的自发协同行为，并非由显式排序模块强制产生；

4. 空间共享价值：共享地图为单架 UAV 提供了其本体 LiDAR 看不到的中场结构信息（如图 12 中完整墙体结构被两机联合重建）；

5. 部署教训：仿真到真实迁移不能仅靠策略学习，必须同时保证共享地图数值稳定、通信约束可控、安全门控可靠。

7. 优点

• 设计理念清晰："integrate-in-world, act-in-ego"将空间一致性与策略规模可扩展性解耦，巧妙避免策略输入维度随团队规模膨胀；
• 混合架构实用：BEV + clearance 通道为策略提供"位置 + 可通行性"双重视觉提示，弥补纯占据表示缺乏梯度引导的缺陷；
• 训练稳定化措施全面：专家退火、动作混合、梯度裁剪、双 Q + 目标网络 + 熵温度自适应 + Polyak 平均；
• 真实落地完整：覆盖定位（DLIO）、感知（LiDAR + 体素）、通信（Mesh Rider）、安全门控、ROS 2 + PX4 offboard 集成；并给出部署中真实出现的工程问题（地图更新缺陷、需时间衰减修复等）；
• Sim-to-Real 方案务实：离线行为克隆 + 早停微调，避免了高风险在线交互式适配。

8. 不足与局限

• 团队规模受限：仅在两架 UAV 上验证，更大的机队规模下通信拓扑与策略容量可扩展性未验证；
• 环境结构假设过强：采用以 ±0.5 m 切片为主的 2.5D BEV，对显著垂直变化（楼梯、立体障碍、楼层跨越）的场景缺乏适配能力；
• 消融实验不足：缺少对 BEV 通道设计、奖励分量、专家退火曲线的独立消融，90.3% 这一关键数字的归因不完全清晰；
• 统计显著性：试验次数有限，未报告置信区间或多随机种子方差，结果的稳健性难以独立评估；
• 真实侧依赖离线微调：纯仿真训练策略无法直接部署，需借助 A\* 专家的真实数据再训练，限制了在演示场景之外快速迁移的能力；
• 工程盲点：起飞瞬态被明确指出仍不稳定；地图融合故障的发现依赖人工调试，未提出自动化监测与回退机制；
• 公平性争议：与 A\* 对比时未给出重规划周期、地图更新频率对齐后的对照；与 Sapience 1 的对比基线是先前工作，并非同时训练的同代基线，可能影响公平性；
• 数据规模有限：100,000 步 + 2,000 episode 对深度 RL 而言规模偏小，结果是否对超参数敏感未做敏感性分析。

（完）