一手观另一手：面向动态环境下双手操作的样本高效动态多智能体协作

📊 论文图表(共 7 张)

展开查看 7 张图

‹ ›

TL;DR

这篇论文针对动态环境下机器人双臂协作操作提出了一种名为 DynaMAC 的新型框架。核心贡献在于打破传统多流策略依赖「环境参考帧严格外生」这一因果假设，将对侧机械臂建模为动态任务参数，从而实现动态操作与双手协调的统一建模。在配套发布的 DynaBench 基准测试上，DynaMAC 仅需现有方法二十分之一的训练样本，就能取得超过 35 个百分点的性能领先，并且能够从静态演示数据零样本迁移到动态环境，大幅简化了数据采集流程。

研究背景与动机

在机器人操作领域，让机械臂完成精准抓取、放置等任务一直是核心挑战。近年来，[[多流策略架构]]凭借其卓越的样本效率和泛化能力成为主流范式。这类方法的核心思想是将「动作」建模为相对于环境参考帧的相对运动——例如抓住一个杯子时，不是输出绝对空间坐标，而是预测从当前指尖位置到目标位置的位移向量。这种建模方式天然地赋予了策略对物体位置变化的鲁棒性，因此训练数据的需求量相对较少，策略也能更好地泛化到未见过的场景。

然而，现有的多流策略都隐含了一个关键假设：这些环境参考帧必须严格外生于机器人自身。直观地说，这意味着参考帧必须完全由环境决定，而不受机器人自身动作的影响。这一假设在静态场景下完全成立——杯子放在桌上，桌面坐标系就是一个完美外生的参考帧。但当我们把目光投向更复杂的动态场景时，这个假设就开始失效了。

一个典型的例子是双臂协作任务。假设我们让两条机械臂共同完成「将一个盒子从左侧搬运到右侧」的任务。在这种情况下，左臂在移动盒子的同时，右臂需要持续调整自身的运动以保持对盒子的控制。此时，左臂的运动会直接影响右臂应当采用的参考帧——因为右臂需要「跟随」的物体正在被左臂移动。换言之，每条机械臂实际上都成为了另一条机械臂的「动态环境」的一部分。传统的多流策略无法处理这种相互依赖关系，因为它的参考帧假设不再成立。

除了双臂协作，单臂操控运动中的物体也面临类似的挑战。当目标物体本身在运动时，将动作建模为相对运动需要以运动物体为参考帧，但这同样使参考帧内生于机器人的操控行为。现有方法要么回避这类问题，要么通过引入显式的领导者-跟随者机制来强行建立主从关系，这不仅增加了系统复杂度，也限制了双臂协作的灵活性。

方法

DynaMAC 的核心洞察极为简洁：既然对侧机械臂会动态地改变我们应该参考的坐标系，那就不如将对侧机械臂的状态显式地建模为「动态任务参数」。这意味着在策略网络的输入层面，除了传统的视觉流、关节状态流之外，系统还会接收一个额外的「对侧臂状态流」，实时感知另一条机械臂的位置、姿态和运动趋势。

具体而言，DynaMAC 采用了一种轻量级的、即插即用的设计。假设原有的多流策略网络由若干个独立的流编码器和一个融合模块组成，每个流编码器负责将一类输入（如图像、关节角）映射到一个特征向量。在 DynaMAC 中，我们只需新增一个流编码器来处理对侧机械臂的本体感知数据——包括对侧各关节的角度、角速度，以及末端执行器的位姿信息。这个新流的输出与其他流的输出在融合模块中进行拼接或注意力加权，最终生成动作预测。

这样做的好处是双重的。首先，通过将「对侧臂状态」明确引入决策过程，策略能够学习到在双臂协作场景下应有的协调模式，而不再将另一条臂视为静态背景。其次，由于 DynaMAC 并不修改底层策略网络的架构或学习目标，它是一种与具体策略无关的框架——无论原有的多流策略是基于模仿学习、强化学习还是两者的结合，都可以直接应用 DynaMAC 的思路进行扩展。

值得强调的是，这种建模方式天然地避免了显式主从关系的建立。在传统方法中，需要预先指定哪条臂是「领导者」、哪条臂是「跟随者」，这在实际应用中往往难以抉择，且一旦指定错误就会导致协调失败。而 DynaMAC 让每条臂都持有对另一臂状态的完整感知，两者的地位是对称的，协作模式完全由学习得到，这赋予了系统更大的灵活性。

形式化地，如果原有的多流策略可以表示为：

其中 $o_t^v$ 和 $o_t^j$ 分别是视觉观测和关节状态，$g_v$ 和 $g_j$ 是各自的流编码器，$\theta$ 是策略参数。则 DynaMAC 的扩展形式为：

这里 $o_t^{oa}$ 代表对侧臂的状态观测，$g_{oa}$ 是新增的流编码器。整个框架的参数 ${\theta }^{\prime }$ 可以通过标准的模仿学习或强化学习算法端到端训练。

实验与结果

为了严格评估 DynaMAC 在动态场景下的能力，研究团队提出了 DynaBench 基准测试，这是一个专门针对动态环境和双手操作任务的机器人操控评测基准。DynaBench 包含了多样化的任务场景，涵盖单臂追踪运动物体、双臂协同搬运、双臂交接物体等复杂情形，每个任务都设计了静态版本和动态版本用于对比。

实验结果表明，DynaMAC 在各项指标上都大幅超越现有方法。在动态操作任务上，相比当前领先的概率方法（如基于贝叶斯推断的策略）和生成式基线（如基于扩散模型的策略），DynaMAC 的任务成功率平均高出超过 35 个百分点。更为关键的是，DynaMAC 达到这些性能水平所需的训练样本量仅为对比方法的二十分之一。这一 [[样本效率]] 的巨大优势意味着在实际部署中，研究者和工程师可以用更少的数据收集和计算资源获得更好的效果。

最令人惊喜的发现是 DynaMAC 的零样本迁移能力。由于动态演示数据的采集成本远高于静态数据，研究团队尝试直接使用静态演示训练的策略在动态环境中测试。实验显示，传统的多流策略在从静态到动态的场景迁移中性能骤降，因为其参考帧假设在动态环境下根本不成立。而 DynaMAC 虽然同样在静态演示上训练，却能零样本泛化到动态环境，性能损失极小。这一特性极大地简化了数据采集流程——只需要在静态场景下录制演示数据，就可以通过 DynaMAC 部署到动态任务中。

讨论与可借鉴点

DynaMAC 的成功揭示了一个重要的设计原则：在机器人[[双臂协调]]这类多智能体协作场景中，将协作对象的状态显式建模为决策上下文的一部分，往往比试图建立显式的通信或主从协议更为有效。这种「观测即协作」的思路与人类双手协作的机制也有一定相似性——我们在用双手配合完成任务时，并不需要一方「发送指令」给另一方，而是通过视觉反馈持续感知对方的状态，据此调整自己的动作。

DynaMAC 目前仍有一些局限值得注意。首先，它假设两条机械臂之间可以获取对侧的本体感知数据，这在同一控制系统下的双臂机器人上是合理的，但如果扩展到真正的多机器人协作场景，通信延迟和信息完整性就会成为新的挑战。其次，DynaBench 目前覆盖的任务类型仍然有限，更复杂的长期任务规划和故障恢复场景尚未验证。

尽管如此，这项工作为动态环境下的机器人学习开辟了一条新路径。[[零样本迁移]]能力的展示尤其令人振奋，它暗示着在静态数据上学到的「相对运动模式」具有比预期更强的通用性。未来，如果能将这一思路与更大规模的预训练策略结合，机器人或许只需要在受控的实验室环境中收集静态演示，就能部署到工厂、家庭乃至开放世界的动态场景中，真正架起实验室到真实应用之间的桥梁。

摘要

多流机器人操作策略通过将动作建模为相对于环境参考系的运动，实现了卓越的样本效率和泛化能力。然而，现有方法通常假设这些参考系严格外生于机器人自身。这一因果假设在动态场景下会失效，例如当单个机械臂操纵一个运动中的物体，或者两个机械臂进行协作时，每个机械臂实际上都成为了另一个机械臂动态环境的一部分。我们提出了 DynaMAC，一个轻量级、与具体策略无关的框架，它在保留多流策略样本效率、计算速度和灵活性的同时，解决了这一因果局限性。DynaMAC 将对侧机械臂视为动态任务参数，从而为动态操作和双手协调提供了统一的建模方式，且无需显式的领导者-跟随者关系。为了严格评估这些能力，我们提出了 DynaBench，一个用于动态环境下机器人操作的新型基准测试。在动态环境和双手操作任务上，DynaMAC 相比领先的概率方法和生成式基线方法，性能提升超过 35 个百分点，同时所需样本量减少 20 倍。至关重要的是，DynaMAC 能够从静态演示零样本泛化到动态环境，极大简化了数据采集过程，并为实现人机协作搭建了一座优雅的桥梁。

Abstract

Multi-stream robot manipulation policies achieve unparalleled sample efficiency and generalization by modeling actions relative to environmental reference frames. However, existing approaches typically assume these frames to be strictly exogenous. This causal assumption collapses in dynamic settings, such as when a single robot arm manipulates a moving object or when two arms coordinate, where each arm effectively becomes part of the dynamic environment of the other. We propose DynaMAC, a lightweight, policy-agnostic framework that resolves this causal limitation while preserving the sample efficiency, computational speed, and flexibility of multi-stream policies, DynaMAC treats the opposite arm as a dynamic task parameter, thereby providing a unified formulation for dynamic manipulation and bimanual coordination without requiring an explicit leader-follower relationship. To rigorously evaluate these capabilities, we introduce DynaBench, a novel benchmark for robot manipulation in dynamic environments. Across both dynamic environments and bimanual manipulation tasks, DynaMAC outperforms leading probabilistic and generative baselines by over 35 percentage points while requiring 20 times fewer samples. Crucially, DynaMAC generalizes zero-shot from static demonstrations to dynamic environments, substantially simplifying data collection and establishing an elegant bridge toward human-robot collaboration.