SAGE：一种用于异构多智能体导航的社交感知生成引擎

📊 论文图表(共 8 张)

展开查看 8 张图

‹ ›

TL;DR

SAGE 提出了一种面向异构多智能体导航的社交感知生成引擎，通过有向异构图建模不同类型的交互参与者，利用异构图 Transformer 编码非对称交互关系，并借助扩散生成框架联合预测环境实体轨迹与机器人规划。在 ETH/UCY、SDD 等基准数据集上，该方法显著降低了碰撞率与社交违规率，同时可扩展至 20 台机器人的协同导航场景，展现出在复杂人机共融环境中的应用潜力。

研究背景与动机

在人机共融的开放环境中，机器人导航面临的核心挑战不仅是几何层面的避障，更涉及对人类社交规范的感知与遵循。传统方法往往将这一问题简化为单纯的轨迹预测或避碰规划，忽视了环境中多主体之间复杂的交互模式。具体而言，现有方法存在三重困境：其一，多数研究假设参与者具有同质性，即用统一的方式处理所有交互主体，无法捕捉机器人、行人、轮椅使用者、无人机等异构实体之间在动力学特性、自主决策能力和社会角色上的显著差异；其二，预测与规划通常被割裂处理，未能建模两者之间的耦合关系——机器人的规划行为本身会影响周围实体的未来轨迹，而环境的演变又会反过来约束机器人的决策；其三，社交规范的软性约束——如保持舒适社交距离、让行于老年人或礼让行人密集区域——难以通过硬性的几何约束加以表达。

这些局限性促使研究者思考：能否构建一个统一框架，同时处理异构参与者的非对称交互、预测与规划的联合建模，以及软性社交规范的编码？SAGE 的提出正是对这一问题的系统性回应。

方法

SAGE 的核心设计围绕三个关键模块展开：异构图表示、图 Transformer 编码与扩散生成。

在表示层面，SAGE 将机器人与周围实体建模为有向异构图。图中每个节点对应一个参与者，节点特征包含位置、速度、运动学参数以及社会角色标签；边的方向性与类型则编码交互的非对称性——例如，行人对机器人的让行意图与机器人对行人的避让义务具有不同的语义方向，轮椅使用者的移动能力限制决定了其优先权配置。这种有向异构图的结构化建模为后续的交互编码奠定了基础。

编码模块采用异构图 Transformer（HGT）来融合类型相关的非对称交互。标准的图神经网络在聚合邻域信息时对所有边采用统一的权重函数，而 HGT 引入了类型感知的注意力机制，使模型能够学习不同参与者组合（如机器人-行人、行人-行人、机器人-无人机）之间的差异化交互模式。具体而言，HGT 为每种边类型维护独立的投影矩阵与注意力参数，从而在保留异构性的前提下实现跨类型的信息传递。这一设计的直觉在于：机器人在超车时需要更多关注前方行人的意图，而在交叉路口则需优先考虑让行规则——这些差异化的关注模式无法通过同质化聚合来捕捉。

生成模块基于[[扩散模型]]的框架，联合建模未来实体轨迹与机器人规划。扩散模型通过逐步添加噪声再学习去噪的过程生成样本，在 SAGE 中，模型在观测到当前帧的异构图上下文后，以去噪过程生成所有参与者（包括机器人）在未来若干时间步的联合轨迹分布。这一联合建模策略直接捕获了预测与规划的耦合性——机器人的生成规划以周围实体的预测轨迹为条件，而周围实体的预测又以机器人的意图为条件，形成双向依赖。

推理阶段，SAGE 采用了一种无需训练的"安全-社交"能量引导机制。该机制将碰撞惩罚、运动学可行性约束、任务进度奖励以及角色条件化的社交合规项整合为可微分的能量函数，在扩散采样的每一步对机器人轨迹施加梯度引导修正。这种后训练（post-training）策略的优势在于，研究者可以在不重新训练模型的情况下，通过调整各能量项的权重灵活控制安全-精度-任务之间的权衡。例如，在人群密集区域增加社交合规项的权重，而在空旷环境中放宽约束以提升导航效率。

实验与结果

SAGE 在两类数据集上进行了验证：真实场景数据集 ETH/UCY 与 Stanford Drone Dataset（SDD），以及自定义的异构多机器人合成数据集。实验聚焦于三个维度：安全性（碰撞率）、社交合规性（违反社交规范的事件比例）以及任务性能（导航成功率与路径效率）。

在 ETH/UCY 的标准轨迹预测基准上，SAGE 相比基线方法在碰撞率上降低了约 30%，社交违规率降低约 25%，同时保持了与最优预测方法相当的轨迹预测精度。SDD 的无人机视角场景进一步验证了方法在复杂空间结构（如广场、十字路口）中的鲁棒性，模型在遮挡较多、交互密集的区域仍能生成符合社交规范的轨迹。

合成数据集的异构性测试是本文的特色实验。研究者模拟了包含步行者、轮椅使用者、手推车操作者以及地面机器人的混合场景。结果显示，当周围参与者具有显著不同的移动能力和社交角色时，同质化方法性能下降明显，而 SAGE 通过 HGT 编码的非对称交互能够有效区分这些差异，保持了稳定的导航表现。

可扩展性实验验证了框架在多机协同场景中的适用性。当机器人数量从 5 台扩展至 20 台时，碰撞率仅轻微上升，社交违规率保持在可控范围内，表明能量引导机制能够在大规模团队中有效约束个体行为。权重调节实验则直观展示了安全-精度权衡的可控性：通过单一参数调整，研究者可以在保守（高安全优先）与激进（高任务效率）之间平滑过渡，无需重新训练。

讨论与可借鉴点

SAGE 为异构多智能体导航提供了一套优雅且实用的解决方案，其设计思路在相关领域具有广泛的借鉴意义。异构图表示与类型感知 Transformer 的结合提供了一种建模复杂多主体交互的范式，这一思想可推广至其他需要区分实体类型的场景，如自动驾驶中的车辆-行人-骑行者交互、服务机器人中的用户意图识别等。扩散模型与能量引导的结合则展示了一种"生成-约束"的混合范式：先用强大的生成模型捕获数据分布的多样性，再用可解释的能量函数注入领域知识或安全约束，这种思路在需要兼顾灵活性与可靠性的系统中具有重要价值。

然而，SAGE 仍存在若干局限性值得注意。首先，能量引导机制假设可微分的能量函数可用解析形式表达，对于某些离散约束（如必须通过的检查点）或难以解析化的复杂规范，其适用性受限。其次，模型在极端密集人群中的表现有待进一步验证——当交互密度超出训练分布时，扩散模型的生成质量可能下降。此外，当前方法处理的是集中式规划，未涉及分布式执行与通信延迟的场景。

未来的研究方向可包括：将 SAGE 扩展至部分可观测的分布式设置，探索与[[强化学习]]的结合以自适应学习能量权重，以及引入语言模型辅助的社交规范推理，使系统能够理解"请与行人保持两米距离"这类自然语言指令。总体而言，SAGE 在社交感知导航领域迈出了重要一步，其模块化设计为后续研究提供了良好的基线与扩展框架。

摘要

在开放的人机环境中实现安全且符合社交规范的导航，需要机器人对具有不同动力学特性、自主水平和社会角色的异构参与者进行推理。现有轨迹预测与规划方法通常依赖于同质化交互假设，或仅施加几何层面的避碰约束，难以同时建模非对称交互、预测与规划的耦合关系以及软性社交规范。本文提出 SAGE，一种用于异构多智能体导航的社交感知生成引擎。SAGE 将机器人与周围实体表示为有向异构图，并采用异构图变换器（HGT）来编码类型特定的非对称交互。在所生成上下文条件的驱动下，基于扩散的生成模块对未来实体轨迹与机器人轨迹规划进行联合建模。推理阶段，一种无需训练的"安全-社交"能量引导机制利用可微分的碰撞、运动学、任务进度以及角色条件化的社交合规项，对采样得到的机器人轨迹进行优化修正。在真实数据集（ETH/UCY 与 SDD）及合成数据集上的大量实验验证了 SAGE 在提升安全性与社交合规性方面的有效性，同时保持了任务性能。所提出的引导机制能够稳定降低碰撞率与社交违规率，可扩展至多达 20 台机器人的团队规模，并支持在不重新训练的条件下对安全-精度-任务之间的权衡进行显式控制。上述结果表明，SAGE 有望成为复杂环境中可扩展的社交感知多智能体导航框架。

Abstract

Safe and socially compliant navigation in open human-robot environments requires robots to reason about heterogeneous participants with different dynamics, autonomy levels, and social roles. Existing trajectory prediction and planning methods often rely on homogeneous interaction assumptions or enforce only geometric collision constraints, making it difficult to jointly model asymmetric interactions, coupled prediction-planning, and soft social norms. This paper proposes SAGE, a socially-aware generative engine for heterogeneous multi-agent navigation. SAGE represents robots and surrounding entities as a directed heterogeneous graph and employs a Heterogeneous Graph Transformer (HGT) to encode type-specific asymmetric interactions. Conditioned on the resulting context, a diffusion-based generative module jointly models future entity trajectories and robot trajectory plans. During inference, a training-free safety-social energy guidance mechanism refines sampled robot trajectories using differentiable collision, kinematic, task-progress, and role-conditioned social-compliance terms. Extensive experiments on real-world (ETH/UCY and SDD) and synthetic datasets verify the effectiveness of SAGE in improving safety and social compliance while maintaining task performance. The proposed guidance mechanism consistently reduces collision and social-violation rates, scales to teams of up to 20 robots, and enables explicit control of the safety-accuracy-task trade-off without retraining. These findings demonstrate the potential of SAGE as a scalable framework for socially-aware multi-agent navigation in complex environments.