耗尽能源公共池：自主智能体集体中作为协调失效的自我挫败式过度攫取

📊 论文图表(共 4 张)

展开查看 4 张图

‹ ›

TL;DR

这项研究考察了当多个大语言模型智能体共享可再生能源储备时出现的协调失效问题。实验让 GPT、Gemini、Grok 三个家族的智能体各自在同质自博弈中作为电力产销者行动，目标是最大化自身运营连续性。研究发现，在共享储备充足时三个家族均能保护资源，但当储备再生速率低于总需求时，所有智能体都表现出「过度攫取」行为——这种模式在统计上高度显著，且与开放取用基准下的结果高度吻合。这意味着当前的大语言模型智能体在系统层面可能存在对齐失效，表现为缺乏耐心的优化行为，而这种失效无法通过孤立响应式评估发现。

研究背景与动机

随着大语言模型能力的提升，它们越来越多地被部署为能够规划、使用工具并在较长时间跨度内持续行动的[[自主智能体]]。这些智能体不再只是回答单个问题，而是作为持续运行的系统，与环境产生多轮交互。当多个这样的智能体同时运行并共享某些持久性资源——比如算力池、存储空间或能源储备——时，一个智能体在某一时点的决策会直接影响后续智能体所面临的资源条件。

这一场景引出了一个至关重要的理论问题：当前的 LLM 智能体在面对共享资源时，会表现出怎样的行为模式？是否存在系统性的协调失败？

从博弈论的视角看，这涉及经典的[[公共池资源]]问题。当多个决策者共享一个可耗竭的资源时，如何避免「公地悲剧」——即每个个体理性地最大化自身利益，最终导致集体利益受损？传统经济学和博弈论已经对这一问题进行了深入分析，提出了多种解决机制，包括产权界定、规制干预以及行为规范等。

然而，大语言模型智能体既非完全理性的经济人，也非简单的固定策略程序。它们的行为由训练数据和提示工程塑造，对长 horizon 决策、跨期权衡以及群体效应的处理方式可能与标准理论预测存在显著偏差。更重要的是，现有的 LLM 评估范式主要关注单次响应的质量，缺乏对多轮交互下系统行为的考察。

这项研究的切入点是：在多智能体共享可再生能源储备的场景下，系统性地考察 LLM 智能体的协调行为。具体而言，研究者构造了一个电力产销者博弈：每个智能体既消耗能源又生产能源，需要在消耗储备和补充储备之间做出权衡。通过操控储备的再生速率，可以观察智能体在丰裕与稀缺条件下的行为差异。

方法

研究者设计了一个结构清晰的实验框架。每个家族（GPT、Gemini、Grok）单独进行实验，内部包含四名同家族智能体，它们进行同质自博弈——即所有智能体使用相同的模型，但各自独立决策。

实验的核心是「电力产销者」角色设定：每个智能体每轮需要做出三个决策——从共享储备中请求多少电力、为自己补充多少可再生电力、以及是否向共享储备贡献额外电力。智能体的目标是最大化「运营连续性」，即在给定时间窗口内持续运行的比例。这一目标设计使得智能体必须在当期消耗与未来可持续性之间进行权衡。

研究保持了两个关键变量不变：一是总剩余需求保持恒定，二是决策协议（即智能体可选择的行动空间）保持不变。唯一变化的参数是共享能源储备的再生速率，用参数 $\rho$ 表示。当 $\rho =1.0$ 时，储备的再生速率恰好等于系统能吸收的最大补给量；当 $\rho >1.0$ 时，储备处于稀缺状态，再生速率不足以满足峰值需求。

为了理解智能体行为的含义，研究者还构建了两组离线基准。第一组是[[社会规划者]]基准：假设存在一个能访问完整信息的中央规划者，其目标是在整个运行周期内最大化群体总运营服务价值。通过设定适当的[[折现因子]]（$\gamma =0.95$），可以计算出这种理想化协调机制下的最优行为模式。第二组是[[开放取用]]基准：假设每个产销者完全独立行动，仅最大化自身价值，不考虑对其他智能体的影响。研究同时考虑了耐心版本（$\gamma =0.95$）和不耐心版本（较低 $\gamma$ 值）的开放取用基准。

这种三层次对比设计——不同模型家族之间的比较、丰裕与稀缺条件下的比较、以及实际行为与理想化基准的比较——使得研究者能够精确定位协调失效的来源和性质。

实验与结果

实验结果揭示了一个清晰且一致的模式。在丰裕条件下（$\rho \le 1.0$），三个模型家族的表现相当稳健：它们能够保护共享储备，确保系统在多轮运行中保持稳定。这一结果本身值得注意——即使没有任何明确的协调机制，智能体也展现出了一定程度的资源保护行为。

然而，当条件转向稀缺（$\rho >1.0$）时，情况发生了戏剧性变化。三个家族的所有智能体都开始对储备进行[[过度攫取]]。具体而言，在高稀缺条件下（$\rho =1.2$），早期总请求压力在每个模型家族中都超过了可再生峰值补给量，平均达到该水平的 1.21 倍。平均轨迹在第 5 至 7 轮即降至最大补给对应的储备水平以下，意味着系统提前耗尽了本应保留给后续轮次的资源。

从统计检验角度看，九组稀缺对照在 Holm 校正后均达到显著水平，最大校正后 p 值为 $4.87\times 10^{-5}$。这一结果排除了随机波动的解释，表明过度攫取是一个系统性行为模式。

更引人深思的是「保护当前却损害未来」的自毁模式。研究者观察到，智能体在每轮内部确实表现出一定的自我约束——它们不会一次性耗尽所有资源。然而，这种短视的自我约束与对他人影响的忽视相结合，导致了集体层面的次优结果。同样的群体既能保护当前服务又能损害未来服务，这说明智能体缺乏对跨期外部性的敏感性。

与基准模型的对比进一步印证了这一诊断。[[社会规划者]]基准在 $\gamma =0.95$ 下能够维持储备稳定运行；耐心版本的开放取用基准（同样 $\gamma =0.95$）也能达到类似的可持续结果。然而，实际观察到的耗竭模式更接近于不耐心版本（即较低 $\gamma$ 值）的开放取用基准。这意味着智能体的行为等价于一个缺乏耐心的优化器——它只关心近期的回报，对未来的后果缺乏足够的重视。

讨论与可借鉴点

这项研究揭示了一个重要的系统级对齐失效。当前的 LLM 智能体虽然能够根据指令调整行为，但这种调整主要发生在单次响应的尺度上。在需要跨期权衡的多轮交互场景中，智能体表现出类似于「即时满足」倾向——它们能够理解长期目标的存在，但无法有效地将这一理解转化为跨越多个决策周期的行为策略。

这种失效的根源可能在于训练数据与任务特性的错配。语言模型的训练主要涉及单轮或短轮对话，其奖励信号来自即时反馈。而持久性资源管理任务要求的是一种完全不同的决策模式——需要考虑行动的延迟效应、维护资源的可持续性、以及平衡自我利益与群体利益。这些能力在标准的 LLM 训练范式中并未得到充分强调。

研究的一个关键贡献是方法论层面的示范：它表明[[多智能体系统]]中的对齐问题需要系统层面的评估方法。孤立响应式评估——即每次只考察单个智能体对单个查询的响应——无法捕捉跨时间尺度的行为模式。对于部署为持续行动者的 LLM 智能体，我们需要新的评估框架，能够在多轮交互、共享资源和潜在竞争的场景下考察其行为特性。

这项研究也存在若干局限。首先，实验使用的是同质自博弈设置，四个智能体使用完全相同的模型，这排除了异质性策略学习的可能性，也无法考察声誉、互惠等社会性机制的作用。其次，研究仅考虑了能源储备这一特定资源类型，其他类型的共享资源（如算力、存储、带宽）可能表现出不同的动态。第三，「电力产销者」角色的设计虽然贴近现实，但其具体参数设定仍属于人为构造，与真实世界的能源市场存在差距。

尽管如此，这项研究的洞察具有超越具体实验设定的启发意义。随着 LLM 智能体越来越多地被部署在需要长期运行、共享资源的环境中，如何设计有效的协调机制将成为一个紧迫的实践问题。可能的解决方向包括：引入显式的协调协议（如拍卖机制或优先级队列）、在训练中加入多智能体交互的模拟环境、以及探索能够自发涌现协调行为的模型架构。这项研究为这些方向提供了诊断性基础——它告诉我们当前系统的「症状」是短视的过度攫取，而「病根」可能在于对跨期决策能力的系统性忽视。

摘要

大语言模型越来越多地被部署为能够规划、使用工具并在一段时间内持续行动的智能体。当它们共享持久性资源（例如算力池或能源储备）时，一个智能体的决策会影响后续智能体所面临的条件。我们在可再生能源公共池中研究这种协调失效。四个同系列的 GPT、Gemini 或 Grok 智能体在同质自我对弈中作为电力产消者行动，被指示以最大化运营连续性为目标。在保持总剩余需求和决策协议不变的前提下，我们改变共享能源储备的再生速率，从充裕到稀缺进行变化。当需求不超过可再生峰值补给量时，三个系列均能保护该储备；但超出该阈值后，它们均对该储备进行了过度攫取（全部九组稀缺对照在 Holm 校正后依然成立；最大校正后 p 值为 4.87e-5）。这种模式是自我挫败式的：同样的群体在保护当前服务的同时，却损害了未来的服务。在更高稀缺水平（rho = 1.2）下，早期总请求压力在每个系列中都超过可再生峰值补给量，平均达到该水平的 1.21 倍。平均轨迹在第 5 至 7 轮即降至最大补给对应的储备水平以下。两组离线基准将最大化全群体运营服务价值的社会规划者与开放准入（即每个产消者最大化自身价值）进行了对比。在折现因子 gamma = 0.95 下，两组基准在相同动态下均能维持该储备。而实际发生的耗竭更接近于更缺乏耐心的开放准入基准下的结果。因此，这些群体在公共轨迹层面上表现得像缺乏耐心的优化器。这种系统层面的对齐失效是孤立响应式评估所无法发现的。

Abstract

LLMs are increasingly deployed as agents that plan, use tools, and act over time. When they share persistent resources, such as compute pools or energy reserves, decisions by one agent affect the conditions faced by later agents. We study this coordination failure in a renewable energy commons. Four same-family GPT, Gemini, or Grok agents act in homogeneous self-play as electricity prosumers, instructed to maximize operational continuity. Holding aggregate residual demand and the decision protocol fixed, we vary the regeneration rate of a shared energy reserve from abundance to scarcity. All three families preserve the reserve when demand does not exceed peak renewable replacement, but over-appropriate it beyond that threshold (all nine exact scarcity contrasts survive Holm correction; largest adjusted p = 4.87e-5). The pattern is self-defeating: the same populations protect current service while undermining future service. At higher scarcity (rho = 1.2), early aggregate request pressure exceeds peak renewable replacement in every family and averages 1.21 times that level. Mean trajectories fall below the reserve level of maximum replenishment by rounds 5-7. Two offline benchmarks compare a social planner maximizing group-wide operational-service value with open access, where each prosumer maximizes its own value. At a discount factor of gamma = 0.95, both benchmarks sustain the reserve under the same dynamics. Realized depletion instead resembles outcomes under a more impatient open-access benchmark. The populations therefore behave like impatient optimizers at the level of the public trajectory. This system-level alignment failure would be missed by isolated-response evaluation.