📊 论文图表(共 24 张)

展开查看 24 张图

‹ ›

TL;DR

这篇论文让大语言模型智能体通过自主协商契约来达成合作承诺。在一个名为 CT-Bench 的时空博弈环境中，研究者发现程序化交易契约（Prog-Trading）能够将联合奖励从无契约时的 0.77 提升到 0.89，并将背叛率降低 38%。契约不仅是条款的载体，其表示形式本身就深刻影响着合作结果——自然语言契约反而会导致模型过度锚定、拒绝后续交易。

研究背景与动机

[[多智能体系统]]中，合作从来都不是免费的午餐。合作的成本往往在早期就已支付——你需要先付出、先让步、先承担风险——但收益却要等到后期才能兑现。这种时间上的错配制造了背叛的动机：我先付出，他后期耍赖怎么办？人类社会用了几千年才找到答案：法律、契约、强制执行机制。契约本质上是对协议的一种可观察表示——白纸黑字写下来，谁该做什么、什么时候做、违约了怎么办，清清楚楚。执行机构负责监督和惩罚，让承诺变得可信。

问题在于，当前的 [[LLM]] 智能体并没有内置这样的契约能力。传统多智能体强化学习方法依赖长期的重复博弈和声誉机制来维持合作，但 LLM 智能体可以被随时实例化和终止，缺乏稳定的身份来积累信任。它们如何在开放世界中与其他智能体、甚至与人类达成可信的合作承诺？

这篇论文的切入点是：从人类社会解决委托代理问题的制度设计中汲取灵感，将契约机制引入 LLM 多智能体协作。核心问题是：LLM 智能体能否自主谈判、签订并执行契约？如果能，契约的表示形式（形式化的代码 vs. 自然语言）会如何影响合作效果？

方法

CT-Bench 环境

研究者基于经典的 Colored Trails 游戏构建了一个名为 CT-Bench 的评估基准。游戏设定很简单：两位玩家 P-Red 和 P-Blue 在一个 $4\times 4$ 的棋盘上各自从 (0,0) 出发，目标都是到达 (3,3)。每移动一格需要消耗对应颜色的筹码——P-Red 有 14 个红筹，P-Blue 有 14 个蓝筹，但双方各自缺少对方颜色的筹码。如果不交易，谁都无法到达目标。

这带来了真实的谈判压力：你需要对方的筹码，对方也需要你的筹码，但谁先付出、谁后获益？这正是背叛激励产生的温床。

Pay-for-Partner 机制

与直接交换筹码不同，研究者采用了一种更微妙的代付机制：玩家不是交换筹码，而是承诺为对方覆盖若干步的移动费用。承诺非绑定——到了执行时刻，对方可以选择不履约。这完美模拟了"先付出、后获益"的时间延迟，让研究者能够直接测量信任与背叛。

三种棋盘类型

为了系统研究，研究者生成了三类棋盘：Independent（独立型）——双方各自有不依赖对方的路径；Mutually Dependent（相互依赖型）——双方都必须交易，谈判地位对等；Asymmetric（不对称型）——一方可独立到达，另一方必须依赖对方，谈判地位悬殊。通过穷举搜索，研究者从 3432 种颜色分配方案中筛选出 80 块具有代表性的棋盘。

三种契约表示

这是论文最有趣的设计维度。研究者在形式化-自然语言的光谱上考察了三种契约表示：

Prog-Trading（程序化交易契约） 将谈判结果编译为 JSON 结构，精确描述每一步移动由谁支付、支付给谁、什么颜色。执行时由程序自动判定并强制执行，违约者立即得 0 分。这是一种硬约束——契约条款直接转化为可执行代码。

NL-Trading（自然语言交易契约） 则保留完整的谈判对话原文，不做结构化提取。执行时由一个 LLM 法官（Qwen-3-235B）读取谈判历史，判定当前移动是否在契约覆盖范围内。这是一种软约束——契约的意义需要被"重新解读"。

Prog-Points（程序化积分契约） 则在更高层次抽象：双方约定游戏结束时各自向对方转移多少分数（0-20 分），由法官归纳为 JSON 后在结算时自动执行。

研究者想回答的核心问题是：契约的表示形式本身——而非仅仅是条款内容——是否会影响合作结果？

实验与结果

实验在 6 个来自不同提供商的 LLM 上展开，涵盖 OpenAI GPT-4.1、Anthropic Haiku-4.5、Meta LLaMA Maverick/Scout 以及 Qwen-3-235B/30B。温度统一设为 1.0，主要采用自对弈设置。

总体结果

程序化交易契约（Prog-Trading）表现最佳：联合奖励 $\hat{R}$ 从无契约的 0.77 提升至 0.89（$p<0.001$），代付承诺的背叛率降低 38%。这说明契约机制确实有效。

契约表示的差异

然而，契约表示形式的影响远超预期。在 Mutually Dependent 棋盘上，自然语言契约（NL-Trading）的表现反而比无契约更差——双方到达率仅 46%，对比无契约的 61%、Prog-Trading 的 79%。原因是模型会过度锚定于已签订的自然语言契约：一旦契约签订，模型就拒绝继续谈判或修改条款。在 NL-Trading 条件下，模型引用合同作为拒绝交易理由的比例高达 94%，而 Prog-Trading 仅为 74%。

这揭示了一个深刻洞见：契约表示本身塑造了智能体的行为模式。形式化契约让智能体更灵活地看待协议条款；自然语言契约却让智能体将条款"固化"，失去了动态调整的能力。

棋盘类型的影响

在 Independent 棋盘上，契约的作用不大——既然不依赖对方，何必谈判？在 Asymmetric 棋盘上，契约主要帮助弱势方：P-Blue 的奖励平均提高 68%（$p<0.001$），契约提供了可信的承诺机制，让弱势方敢于先付出。但 Prog-Points 契约在不对称场景下容易产生极端不平等，"赢者通吃"在 39% 的棋盘中出现，Qwen 模型甚至高达 74%。

跨模型泛化

当强模型（GPT-4.1）与弱模型（Qwen-3-30B）配对时，Prog-Trading 契约让强模型有效"拉动"弱模型，即便能力差距悬殊仍能维持高联合奖励。但在无契约条件下，弱模型的背叛率高达 94%，合作完全崩溃。

讨论与可借鉴点

这篇论文的核心贡献不在于某个具体的契约条款设计，而在于揭示了一个常被忽视的事实：契约的表示形式本身就是设计决策。形式化契约带来可执行性和灵活性，自然语言契约带来表达力但引入了过度锚定风险。在构建多智能体协作系统时，这一权衡值得深思。

局限性同样值得注意。实验仅考察两个智能体的单次博弈，缺乏对长期重复博弈中声誉累积、信任演化等动态的研究。环境也较为简化——$4\times 4$ 棋盘、完美信息、零交易成本，与现实多智能体场景仍有距离。更重要的是，当前仅在同质目标（双方都希望最大化自己的奖励）的自对弈设定下验证，异质目标、目标冲突或恶意诱导的场景尚待探索。

对实践者而言，论文的启发是：如果你在构建 LLM 多智能体系统并需要可信的合作承诺，优先考虑形式化的契约表示，并确保有可靠的执行机制（无论是程序化的自动执行还是可信赖的 LLM 法官）。同时，设计时需要考虑信息结构——完全信息与不完全信息下，谈判策略的效果差异显著。

最后，论文开源了 CT-Bench 基准和完整实验代码，为后续研究提供了可复现的基础。随着 LLM 智能体越来越深入地嵌入多智能体世界，如何让它们学会"签订合同"而非"空口承诺"，将是一个持续重要的议题。

摘要

随着AI智能体在多智能体世界中以越来越高的自主性运行，它们需要学习如何与其他智能体以及人类进行合作，以创造互利共赢的局面。然而，合作是一项挑战，因为合作的成本往往在早期就已承担，但收益却只能在后期实现，这就产生了背叛的动机。AI智能体如何才能以承诺的方式进行合作？在此，我们从人类社会为解决此类委托代理问题所使用的法律制度与契约机制中汲取灵感。契约提供了协议的可观察表示形式，通过条款的强制执行来实现可信承诺。我们使用基于大语言模型（LLM）的智能体，在一个称为\CT的时空博弈游戏中研究了基于契约的合作机制，该游戏将议价与目标导向的导航任务相结合。我们研究了一系列契约表示方法，涵盖了从可编译为代码的形式化契约到需要重新解读的自然语言契约。我们使用不同规模和不同提供商的多种LLM骨干网络对智能体进行了评估。我们发现，自主协商的契约能够将合作成果提升到常规交易所无法企及的水平。

Abstract

As AI agents operate with increasing autonomy in a multi-agent world, they will need to learn to cooperate with other agents and with humans to generate mutual benefits. However, cooperation is a challenge because the costs of cooperation are often incurred early on, but the benefits are only realized later, creating an incentive to defect. How can AI agents cooperate with commitment? Here, we draw on inspiration from legal institutions and contracting that human societies have used to solve principal-agent problems of this kind. Contracts provide observable representations of agreements that enable credible commitments through the enforcement of terms. We study the role of contract-based cooperation using LLM-based agents in \CT, a spatial-temporal game that combines bargaining with navigation towards a goal. We study a suite of contract representations that range from formal contracts that compile to code to natural contracts that require reinterpretation. We evaluate agents with a range of LLM backbones using different sizes and providers. We find that self-negotiated contracts can improve cooperative outcomes beyond what is possible with regular trading.

论文详细总结（自动生成）

论文总结：自主协商契约下的合作承诺

1. 核心问题与研究动机

• 核心问题：随着大语言模型（LLM）智能体在多智能体世界中以越来越高的自主性运行，它们需要在互惠互利的前提下学会合作。然而合作存在时间错配的激励问题：合作成本往往在早期支付，收益却要到后期才能实现，由此产生背叛激励。LLM 智能体可被任意实例化与终止，缺乏稳定的声誉机制来支撑长期互惠，使得承诺与履约变得困难。
• 研究意义：在多智能体 AI 系统的"科斯奇点"愿景下，自主协商契约（self-negotiated contracts）是解决承诺问题、避免欺骗与操纵、确保合作可信执行的关键机制，对 AI 安全与多智能体协作具有重要意义。
• 理论基础：借鉴人类社会通过法律制度、契约机制解决委托-代理问题的思路，将契约视为对协议的可观察表示，并通过条款的强制执行实现可信承诺。

2. 方法论

2.1 CT-Bench 基准环境

• 基于经典 Colored Trails 游戏的多智能体评估框架，将议价（bargaining）与导航（navigation）相结合。
• 基础设定：两位玩家 P-Red 与 P-Blue 在 $4\times 4$ 棋盘上各自从 $(0,0)$ 出发，目标为到达 $(3,3)$。每移动一格需支付对应颜色的筹码。
• 初始筹码：双方各有 2 个绿色筹码；P-Red 有 14 个红筹，P-Blue 有 14 个蓝筹。由于缺少对方颜色的筹码，必须通过交易才能到达目标。
• 得分：到达目标得 20 分 + 剩余筹码 × 5 分；未到达得 0 分。

2.2 Pay-for-Partner（代付）机制

• 玩家不直接交换筹码，而是约定为对方覆盖若干步的移动费用。
• 协议非绑定：执行时对方可选择不履行，制造承诺-收益之间的时间延迟，用以研究信任与背叛问题。

2.3 三种棋盘类型

• Independent（独立型）：双方各自拥有不需合作即可到达目标的路径。
• Mutually Dependent（相互依赖型）：双方都必须交易才能到达目标，谈判地位对等。
• Asymmetric（不对称型）：一方（P-Red）可独立到达，另一方（P-Blue）必须依赖前者，谈判地位不对等。

2.4 三种契约表示

2.5 评估指标

• 归一化联合奖励 $\hat{R}=R/R_{\max }$，其中 $R={\sum }_i{r}_i$，$r_i=20+5n_i$（到达目标时）。
• Gini 系数（奖励不平等度）：$e=\frac{r_2-r_1}{2(r_1+r_2)}$（$r_2\ge r_1$）。
• Both Finished（双方都完成）：布尔值。
• BBB（Both Beat Baseline）：双方奖励是否都严格 Pareto 优于无交易基线（仅在 Asymmetric 棋盘有意义）。
• Defection Rate（背叛率）：代付承诺未履行的比例。

3. 实验设计

3.1 基准与棋盘集

• CT-Bench：本文开源的新基准，包含通过穷举搜索生成的 $80$ 块棋盘：Independent（20 块）、Mutually Dependent（20 块）、Asymmetric（40 块）。
• 棋盘生成流程：(1) 穷举生成所有 $\left(\genfrac{}{}{0ex}{}{14}{7}\right)=3432$ 种颜色分配方案；(2) 对每块棋盘用 DFS 计算双方最短路径与筹码缺口；(3) 按缺口条件分类。

3.2 对比模型

• 评估了 6 个来自 4 个提供商的 LLM：
• GPT-4.1（OpenAI）
• Haiku-4.5（Anthropic）
• LLaMA Maverick、LLaMA Scout（Meta）
• Qwen-3-235B、Qwen-3-30B（Qwen）
• 温度统一设为 $1.0$；主要采用自对弈（self-play），GPT-4.1 额外做 $n=5$ 重复以分析采样随机性。

3.3 对比方法

• 基线：无契约（No Contract）。
• 契约变体：Prog-Trading、NL-Trading、Prog-Points。
• 补充实验：
• 常规交易模式（Regular Trading）下的对比。
• 跨模型配对（GPT-4.1 vs Haiku-4.5；GPT-4.1 vs Qwen-3-30B）以检验非自对弈下的泛化。
• 完全 vs. 不完全信息实验：通过每玩家可见性切换，检验信息结构对谈判的影响。
• 判官准确性评估：NL-Trading 中 Qwen-3-235B 判官的错误率仅 0.26%（3/1155）。

4. 资源与算力

• 论文未明确报告所使用的 GPU 型号、数量或训练时长等具体算力细节。
• 仅提到实验作为 Algoverse AI Safety Fellowship 的一部分完成，由该机构提供计算额度（compute credits）支持。
• 推算实验规模：6 模型 × 80 棋盘 × 4 契约条件（含 No Contract）≈ $6\times 80\times 4=1920$ 局游戏（GPT-4.1 实际为 $5\times 80\times 4=1600$ 局用于稳健性分析），加上跨模型与信息结构实验，总游戏数估计在数千局量级。

5. 实验数量与充分性

• 主要实验：$6\text{ 模型}\times 80\text{ 棋盘}\times 4\text{ 条件}\approx 1920$ 局。
• 稳健性实验：GPT-4.1 在 $n=5$ 下的 $1600$ 局重复（确认板间方差是板内方差的 $2.2\times$）。
• 跨模型实验：GPT-4.1 与 Haiku-4.5、Qwen-3-30B 配对，按双方先后手顺序共 $320$ 局。
• 消融/对比维度：
• 三种棋盘类型（独立性梯度）
• 三种契约表示形式
• Pay-for-Partner 与 Regular Trading 两种交易机制
• 信息可见性（完全 vs. 隐藏）
• 谈判策略分类（10 种策略的胜率分析）
• 充分性评价：实验设计在多模型、多棋盘、多契约类型、多交易模式下系统展开，结果通过均值与 95% 置信区间报告，并附显著性检验（t-test）；总体上较充分且较为客观，但样本规模（6 个模型）仍然有限，且对较新模型（如 Claude Haiku 4.5、LLaMA 4 系列）覆盖不足。

6. 主要结论与发现

• 总体：自主协商契约能提升合作结果，超越普通交易机制所能达到的水平。
• 最佳契约：Prog-Trading（程序化交易契约） 在多数场景下表现最优，使 $\hat{R}$ 从 $0.77$（无契约）提升至 $0.89$（$p<0.001$），并使 Pay-for-Partner 协议数减少 38%。
• 板型依赖：
• Independent 板上各契约差异不大。
• Mutually Dependent 板上 Prog-Trading 与 Prog-Points 表现良好，NL-Trading 反而表现更差（双方到达率仅 46%，对比 No Contract 61%、Prog-Trading 79%）。
• Asymmetric 板上契约主要帮助弱势方（P-Blue），使其奖励平均提高 68%（$p<0.001$），但强势方（P-Red）未能利用契约显著获益。
• NL-Trading 的副作用：模型会过度锚定于已签订的自然语言契约，导致拒绝继续交易——拒绝交易的模型引用合同作为理由的比例在 NL-Trading 中为 94%，而 Prog-Trading 中为 74%。
• 谈判结果不平等性：Prog-Points 契约在 Asymmetric 板上常出现极端不平等（如"赢者通吃"在 39% 的板中发生，Qwen 模型高达 74%）；Prog-Trading 契约更倾向于平衡分配。
• 判官可靠性：Qwen-3-235B 作为 NL-Trading 判官时错误率仅 0.26%。
• 跨模型泛化：Prog-Trading 能让能力强模型有效"拉动"能力弱模型，且在能力差距大时仍能维持高联合奖励；No Contract 模式下弱模型（Qwen-3-30B）背叛率达 94%，导致合作崩溃。

7. 优点

• 新颖的基准 CT-Bench：将议价、导航、背叛风险、承诺机制集成于一个结构化空间博弈，填补了多智能体 LLM 评估中关于"承诺与契约"的空白，并开源以促进后续研究。
• 契约表示的多样性对比：系统对比了程序化与自然语言两种契约表示，揭示了契约表示本身（而非仅仅是条款内容）对合作结果的重要影响，这一发现具有方法论价值。
• 丰富的评估指标体系：包含 $\hat{R}$、Gini、Both Finished、BBB、Defection Rate 等多维度指标，且引入策略分类（10 种谈判策略）与策略-结果关联分析。
• 系统性的稳健性验证：通过 GPT-4.1 的 $n=5$ 重复实验验证了结论的稳定性，并量化了板间/板内方差分解。
• 跨模型泛化实验：检验了非自对弈、能力差距大场景下的契约有效性，增强了结论的现实意义。
• 完整的方法透明度：附录公开了系统提示词、游戏上下文、JSON 契约格式、样例谈判记录以及代码仓库，便于复现。

8. 不足与局限

• 模型覆盖有限：仅评估 6 个模型，且实验基于较旧的 LLaMA-4 Maverick/Scout、Claude Haiku 4.5 等版本，未覆盖 GPT-4.5/5、Claude Opus、Gemini 等更新、更强的前沿模型。
• 仅自对弈与同质配对：默认实验为同一模型的两个实例对弈，缺乏对异质目标（如一方被恶意诱导、目标不完全对齐）的研究，与现实多智能体场景有距离。
• 环境过于简化：$4\times 4$ 棋盘、2 名玩家、单次博弈、信息结构受限；无法研究更大规模、更多玩家、重复博弈下的声誉机制、信任演化与策略性背叛。
• 单次博弈局限：缺乏对长期重复博弈中信任建立、声誉累积等动态的研究。
• 契约空间探索不完整：仅考虑三种契约表示，对自然语言契约的更细粒度变体、违约惩罚、再谈判机制、成本设置等未深入研究。
• "自私"提示与实际行为的偏差：尽管提示词强调"selfish"，LLaMA 模型仍表现出过度亲社会行为（如接受"坏交易"），说明提示工程对模型行为的引导有限，实验结果可能受提示设计影响。
• 数据规模：Asymmetric 板虽占 40 块，但其他板型相对较少，可能影响统计功效（尤其 BBB 等指标）。
• 未涉及伦理与安全维度：论文聚焦于合作效率，未深入讨论契约机制可能带来的操纵风险、权力滥用或算法歧视等 AI 安全议题。

（完）