机器人主动问路：支持通信的社会导航

📊 论文图表(共 2 张)

展开查看 2 张图

‹ ›

TL;DR

本文提出了支持通信的社会导航（CommNav）任务，让机器人在多人居住环境中不再只是被动躲避行人，而是能主动向居民询问目标个体的位置线索。研究者基于 Habitat 3.0 构建了支持多人交互的 Habitat 3.0c 平台，并在其中加入专门的通信模块（COMM），使最优社会导航模型的剧集成功率提升了整整 10 个百分点。更值得关注的是，经过预训练后，该系统对自然口语指令展现出强鲁棒性，性能与使用完美结构化数据的模型几乎无显著差异。

研究背景与动机

在家庭辅助场景中，机器人常常需要在多位居民中定位某一位特定用户——例如为老年人递送药品、或向某个家庭成员传递信息。然而，现有的社交导航研究几乎全部聚焦于反应式避障和轨迹规划：机器人检测到附近有人，就绕开；预测到可能碰撞，就调整路径。这种范式在单纯“不能撞到人”的任务里是合理的，但它隐含了一个不切实际的假设——环境信息是完全已知的，或者机器人可以从传感器数据中自行推断出一切。

现实恰恰相反。在真实的住宅环境中，目标个体可能躲在隔壁房间、刚出门散步、或者藏在机器人视野盲区里。单纯依靠视觉或激光雷达等感知设备，机器人根本无法“猜”到这些信息。而人类居民恰恰掌握着这些关键情报——他们知道谁在哪里、谁刚去了哪里。问题在于：现有的社交导航系统根本没有机制去主动获取这些信息。

这一研究空白催生了 CommNav 的核心动机：让机器人从被动避障的“独行者”变成主动沟通的“问路人”。研究者认为，真正的社会导航不应局限于物理层面的交互，还应包含信息层面的交互——通过语言请求获取人类才有的环境知识，从而做出更明智的导航决策。

方法

CommNav 的设计围绕一个核心思想展开：在导航过程中嵌入通信行为。机器人不仅需要规划路径、避开行人，还要判断何时向谁询问、询问什么、以及如何根据获取的回答调整后续策略。

具体而言，研究者将通信建模为一种离散动作：机器人在每个时间步可以选择继续移动，或者停下来向视野范围内的某位居民发起询问。询问内容被设计为结构化的信息请求，包括目标个体的最近目击位置、当前可能所在区域、以及已知的移动方向。居民（由模拟环境中的智能体扮演）收到询问后，会返回相应的信息片段——可能是精确坐标、模糊区域描述或“不知道”的反馈。

为了支持这种通信机制，研究者对 [[Habitat 3.0]] 平台进行了扩展，构建了 Habitat 3.0c。这个新环境在原有的多智能体框架上增加了信息交换协议，使机器人与居民之间能够进行可靠的多轮通信。环境还模拟了真实住宅中的多种布局和障碍，确保实验覆盖不同的导航难度。

通信模块 COMM 是整个方法的核心组件。它被设计为可插入的增强模块，能够挂载在任何现有的 [[社会导航]] 模型之上。COMM 的输入包括当前观测、导航状态编码以及历史通信记录；输出则是通信决策——是否询问、向哪个居民询问、以及询问的具体内容。研究者采用 [[模仿学习]] 框架训练 COMM，使其学会在合适的时机触发通信行为。

值得注意的是，通信本身并非总是可靠的。居民可能误解问题、给出模糊回答、或者干脆不回应。为此，研究者引入了一个预训练策略：在模拟的通信任务上对 COMM 进行预热，让它提前适应信息噪声和不完整反馈。这种预训练显著缓解了实际交互中信号偶发带来的性能波动。

在语言理解层面，研究者探索了从结构化数据到自然语言的过渡路径。一部分模型使用完美对齐的结构化指令进行训练；另一部分则使用 [[大语言模型]] 生成的自然语言指令；最挑战的设置则采用从真实人类研究中收集的口语化指令。这些口语指令包含省略、指代、方言表达等自然语言的典型特征，用来检验系统的鲁棒性。

实验与结果

实验在 Habitat 3.0c 的多种室内场景中进行，涵盖了从简单单房间到复杂多楼层住宅的广泛配置。基线方法选用当前最优的 [[社会导航]] 模型，在不加入通信能力的情况下测试其定位目标个体的表现。

核心结果非常直观：加入 COMM 模块后，Episode Success 从基线的约 40% 提升至约 50%，绝对涨幅达到 10 个百分点。这个提升在统计上是显著的，表明主动通信确实为机器人带来了有价值的信息优势。研究者进一步分析了通信的效益来源：那些机器人原本完全无法通过感知获取信息的剧集中，通信的介入几乎决定了任务的成功与否。

关于自然语言的鲁棒性实验尤其引人注目。当使用完美结构化数据时，模型表现最优；但经过预训练后，使用 LLM 生成的自然语言指令的模型已经非常接近这个上限；更令人惊喜的是，使用人类收集的口语化指令的模型，其成功率与使用结构化数据的模型之间不存在统计显著差异。这意味着 COMM 能够在几乎不损失性能的情况下理解和响应真实的人类语言表达。

消融实验进一步验证了预训练策略的价值。移除预训练步骤后，COMM 在低信息质量场景中的表现明显下滑，说明预训练帮助模型建立了对通信不确定性的耐受能力。此外，研究者还发现通信并非越多越好——过度频繁的询问反而会浪费时间、降低效率。COMM 学到了在关键时刻才发起询问的策略，这与人类的社交直觉是一致的。

讨论与可借鉴点

CommNav 最有价值的贡献在于重新定义了社会导航的边界：它不再仅仅是一个运动规划问题，更是一个信息获取与整合问题。这一视角的转变启发我们，许多“导航困难”的根本原因并非机器人不会走路，而是缺乏获取决策所需信息的渠道。

从方法论层面看，COMM 模块的即插即用设计是一个很好的工程实践。研究者没有从头训练一个完整的导航系统，而是将通信能力作为增强层叠加到已有模型上，这种方式降低了复现门槛，也便于在其他社交导航框架中推广。

然而，这项工作也存在明显的局限。首先，Habitat 3.0c 中的居民智能体仍然是被预设的模拟对象，其回复模式与真实人类的差异尚未被充分检验。其次，通信行为本身被建模为离散的“是否询问”决策，现实中人类对话的流式交互特性没有被纳入考量。再次，研究聚焦于静态的“问路”场景，对动态更新目标位置、时间窗口约束等更复杂情况尚未涉及。

对于后续研究而言，一个重要的方向是多轮对话式导航——让机器人能够追问、确认、甚至协商信息，而非单次问答后盲目行动。另一个开放问题是选择性询问策略：在多人环境中，机器人应该优先询问谁、避免打扰哪些居民，这涉及对社交礼仪的计算建模。此外，将 CommNav 扩展到真实机器人平台上、在人类受试者参与下验证效果，也是推进该方向的关键步骤。

总的来说，这篇论文以最小的改动撬动了显著的效能提升，证明了让机器人“开口问路”比让它“独自摸索”更有效。这一洞察不仅对辅助机器人有意义，也为[[人机协作]]研究提供了新的思路范式。

摘要

在多智能体环境中运行的辅助自主机器人需要高效策略来在多位居民中定位特定个体。现有的社会导航方法侧重于反应式避障与轨迹调整，但缺乏通过人机通信主动收集信息的机制。

我们提出了支持通信的社会导航（Communication-enabled Social Navigation，CommNav）。在这一全新任务中，机器人智能体通过向居民请求近期目击位置、所在地点与移动情况等信息，主动寻求居民的帮助以定位目标个体。

为了评估 CommNav，我们扩展了 Habitat 3.0，构建了其支持通信的变体 Habitat 3.0c，该环境支持多人环境下的信息交换协议。在最先进的社会导航模型中加入我们的通信模块（COMM）后，剧集成功率（Episode Success）提高了 10 个百分点。我们进一步通过在由大语言模型生成的指令和从人类研究中收集的口语化指令上训练的模型，考察从结构化数据向自然语言的过渡。

我们的实验揭示：(i) 明确的人机通信显著提升了多人导航性能；(ii) 在通信预训练任务上对 COMM 进行预训练，有效应对了交互信号偶发带来的挑战；(iii) 导航策略对自然的、口语化的人类语言具有高度鲁棒性，其剧集成功率达到与使用完美结构化数据的模型在统计上相近的水平。

Abstract

Assistive autonomous robots operating in multi-agent environments require efficient strategies to locate specific individuals among multiple residents. Current social navigation methods focus on reactive collision avoidance and trajectory adaptation, but lack mechanisms to proactively gather information through human-robot communication. We introduce Communication-enabled Social Navigation (CommNav). In this novel task, robotic agents actively seek assistance from residents to locate target individuals by requesting information about recent sightings, locations, and movements. To evaluate CommNav, we extend Habitat 3.0 to create Habitat 3.0c, a communication-enabled variant supporting multi-human environments with information exchange protocols. Adding our communication module (COMM) to a state-of-the-art social navigation model yields a 10 percentage-point improvement in Episode Success. We further investigate the transition from structured data to natural language by evaluating models trained on LLM-generated instructions and on colloquial instructions collected from a human study. Our experiments reveal that: (i) explicit human-robot communication substantially enhances multi-person navigation performance; (ii) pre-training COMM on a communication pretext task effectively addresses the challenge of occasional interaction signals; and (iii) the navigation policy is highly robust to natural, colloquial human language, achieving an episode success statistically similar to the model using perfect structured data.