三元狼人杀：面向大语言模型多跳心智理论的弄臣角色

📊 论文图表(共 16 张)

展开查看 16 张图

‹ ›

TL;DR

这项研究在传统狼人杀中引入了一个「弄臣」角色——他的获胜条件与所有人相反，必须被投票出局才能赢。研究团队在 GPT-4.1、DeepSeek-V3.1 和 Llama-3.3-70B 三个模型上累计进行了 60 局游戏，发现弄臣的胜率高达 60%–70%，而狼人从未超过 20%。最引人注目的是，GPT-4.1 的狼人在多数对局中会在第一天就把弄臣投出局——这实际上是一种严格意义上的自毁行为，因为它帮助了第三方获胜。这一结果揭示出，当前大语言模型在 [[多智能体推理]] 场景下存在一种被二元博弈设计所遮蔽的推理盲区。

研究背景与动机

[[心智理论]]（Theory of Mind）是人工智能领域衡量模型「理解他人心理状态」能力的核心指标。传统评估方式往往依赖二元社会推理博弈——最典型的如「沉默的羔羊」类游戏，其中每条可观察线索都指向唯一的隐藏阵营：要么你是好人，要么你是坏人。在这种结构下，一个拥有强大语言先验的模型即便根本不模拟对手的真实动机，仅凭「语料库中'可疑的人通常怎么说'」这类统计规律就能做出看似合理的判断并获得高分。

问题的关键在于：二元结构人为简化了真实世界的复杂性。现实中的博弈往往是多方参与的，每一方都有自己独特的效用函数——他们想要的东西不同，获胜的方式也不同。当模型需要在三个以上相互对立的利益方之间进行推理时，单靠语言统计先验还能走多远？这正是这项研究试图回答的问题。

研究者选择了狼人杀作为实验载体，并引入了一个经典桌游变体中的角色——弄臣。弄臣的设定极具洞察力：他的胜利条件与所有其他玩家完全相反，不是「活到最后」而是「第一个被投出局」。这意味着弄臣必须表现出足够的可疑性来吸引票数，但不能表现得过于刻意，否则其他玩家会意识到这是个陷阱。这种「恰到好处的可疑」要求模型不仅理解自己阵营的利益，还要推测其他两个阵营会如何看待自己的行为，并进一步推测那两个阵营之间会如何互动——这是一个典型的多跳推理链条。

方法

研究的核心设计围绕弄臣角色的效用函数倒置展开。在标准狼人杀中，所有玩家——无论是村民还是狼人——的共同利益都是「找出并驱逐狼人」，分歧仅在于信息不对称。而弄臣的加入打破了这种一致性：他需要被投出才能赢，这意味着他与狼人之间存在一种奇特的对立-合作关系——弄臣不希望狼人暴露，但狼人偶尔会为了转移视线而把票投给弄臣，这恰恰帮助了弄臣达成目标。

实验采用了三种模型：GPT-4.1、DeepSeek-V3.1 和 Llama-3.3-70B。每个模型分别扮演狼人、村民和弄臣。研究团队运行了 60 局游戏，并设计了一个关键变量：弄臣是否开启自学习（self-learning），即是否能够从之前的对局中提取经验并调整策略。这一设计用来检验模型是否能在重复博弈中习得「微妙的可疑」策略——既要看起来值得投，又不能显得在故意伪装。

GPT-4.1 在实验中的行为最为戏剧性。狼人角色在 60%–70% 的对局中选择了在第一天就把弄臣投票出局。从博弈论角度看，这是一个严格意义上的自毁举动：狼人的胜利条件是「活到最后并消灭村民」，而帮助弄臣获胜只会让狼人更接近失败。然而模型为什么会做出这种选择？一个可能的解释是，GPT-4.1 的语言先验让它识别出「弄臣说了很多可疑的话」，于是将其标记为威胁并优先处理——但它没有考虑到弄臣的效用函数与狼人并不对立。这种「看到可疑就投」的启发式策略在二元博弈中可能奏效，因为可疑的人通常确实是敌人；但在三元结构中，这一逻辑会导致灾难性的后果。

DeepSeek-V3.1 则展现出截然不同的行为模式。它是唯一一个在自学习循环中逐渐习得「看似可疑却又显得自然」这一微妙策略的模型。这种策略的核心张力在于：弄臣需要足够的可疑性来被投票，但不能表现得像个正在「扮演可疑角色」的演员——后者会触发其他玩家的元认知推理，意识到有人在利用逆向心理。DeepSeek 在多局游戏中展现出了对这一平衡点的把握，并因此获得了最高的收益。

Llama-3.3-70B 的表现介于两者之间，没有展现出像 DeepSeek 那样精细的策略学习能力，但其基础推理水平足以让弄臣维持较高的胜率。

实验与结果

60 局游戏的统计数据呈现出清晰的格局：弄臣的整体胜率在 60%–70% 区间内浮动，而狼人的胜率从未超过 20%。这一数字本身就极具说明力——在标准的二元狼人杀中，狼人的理论胜率通常在 30%–40% 左右，而弄臣的出现几乎将其砍半。这说明三元激励结构对狼人的生存空间构成了严重挤压，因为弄臣的存在让投票结果变得更加不可预测，狼人更难通过控制投票节奏来隐藏身份。

自学习的影响在不同模型间呈现出戏剧性的分化。对于 DeepSeek 和 Llama，开启自学习后弄臣胜率有所上升，模型逐渐学会了如何更好地伪装和诱导。但对于 GPT-4.1，自学习反而降低了弄臣的胜率——这一反直觉的结果指向一个深层问题：GPT-4.1 在自我改进的过程中似乎强化了某种错误的推理模式。具体来说，当弄臣在自学习过程中变得更加「刻意可疑」时，GPT-4.1 反而更坚定地在第一天将其投出。这种行为模式暗示，GPT-4.1 可能将「学习后变得更可疑」解读为「确凿的威胁证据」，从而变本加厉地执行自毁策略。自学习的代价最终落在了村民身上——他们因为狼人的错误决策而成为最终的受害者，而狼人则毫发无损。

DeepSeek 的策略演化路径最为引人注目。在最初的若干局中，它的行为模式与 GPT-4.1 类似——过于直接地表现出可疑性。但在某个临界点之后，它开始调整策略：可疑的言行依然存在，但同时伴随着大量「合理化解释」，使得整体发言看起来像是一个紧张但真诚的玩家，而非一个刻意操纵的演员。这种「让伪装融入真实」的转变体现了模型对多方博弈的更深层次理解。

讨论与可借鉴点

这项研究的价值在于它提供了一种诊断 [[多智能体推理]] 能力的新工具。二元社会推理博弈长期主导着 LLM 心智理论的评估，但这种设计本质上是对真实场景的过度简化。当博弈扩展到三个以上相互对立的效用函数时，模型的真实推理能力才会浮出水面——语言先验可以处理「这个人说话可疑」，但无法处理「这个人说话可疑这件事本身会被对方如何解读」这类嵌套信念问题。

研究也揭示了模型规模与推理深度之间的非线性关系。GPT-4.1 作为参数规模最大的模型，反而展现出最严重的推理失误——它在第一天投出弄臣的频率甚至高于 DeepSeek。这提示我们，强大的语言模型可能在「模式匹配」方面过于高效，以至于绕过了更深层的推理过程。当「可疑特征 → 投票对象」这条规则链被触发得太容易时，模型就失去了停下来思考「为什么这个人要表现得可疑」的动力。

DeepSeek 的表现则暗示，推理能力的涌现可能与模型架构和训练方式的交互有关，而非单纯由参数量决定。它在「微妙策略」上的突破说明，某些类型的多跳推理可能需要特定的归纳偏置来激活。

研究的局限性值得注意。首先，60 局游戏的样本量对于统计推断而言并不算大，模型行为的变异性需要更大规模的实验来确认。其次，狼人杀本身是一种高度结构化的对话场景，模型的表现能否泛化到其他形式的多智能体交互（如谈判、协作问题解决）仍是开放问题。第三，弄臣角色的设定虽然精巧，但它毕竟是一个「规则明确」的博弈设定；真实世界中的逆向激励往往更加模糊和多层。

从方法论角度看，这项研究为 [[LLM 评估]] 开辟了一条值得深耕的路径：通过设计具有内在矛盾的激励结构来暴露模型的推理漏洞。三元博弈只是起点——更复杂的四元、五元结构，更长的推理链条，以及动态变化的联盟关系，都可能成为未来研究的实验田。更根本地，这项研究提醒我们：评估 LLM 心智理论的标准，可能需要从「能否理解对手在想什么」升级为「能否理解对手如何理解对手在想什么」。

摘要

对大型语言模型的心智理论评估通常采用二元社会推理博弈，其中每一个可观察线索都指向唯一的隐藏阵营，因此即便完全不模拟对手的激励，仅凭强大的语言先验模型也能取得较高分数。我们在狼人杀博弈中扩展引入弄臣（Jester）这一第三个阵营——其效用函数相对于同伴怀疑是倒置的，因为该阵营以被投票出局为胜，故而最优玩法要求对三个相互对立的效用函数进行推理。我们在 GPT-4.1、DeepSeek-V3.1 与 Llama-3.3-70B 上对弄臣分别开启与关闭自学习，共运行 60 局游戏：弄臣在 60%–70% 的游戏中获胜，而狼人的胜率从未超过 20%；GPT-4.1 的狼人在 60%–70% 的游戏中于第一天就将弄臣投出，这是一种严格意义上的自毁举动。自学习对 DeepSeek 与 Llama 有所助益，却会损害 GPT-4.1，其代价由村民而非狼人承担。只有 DeepSeek 习得了"看似可疑却又不显刻意"的精妙策略，并从该循环中获益最多。三元激励结构揭示出一种被二元推理博弈所遮蔽的多智能体推理层次。

Abstract

Theory-of-mind evaluations of large language models typically use dyadic social-deduction games, where every observable cue points to a single hidden side, so a model with strong language priors can score well without ever simulating opponents' incentives. We extend the Werewolf game with a Jester, a third faction whose utility on peer suspicion is inverted because it wins by being voted out, so optimal play requires reasoning across three opposing utility functions. Across 60 games on GPT-4.1, DeepSeek-V3.1, and Llama-3.3-70B with Jester self-learning on and off, the Jester wins 60-70% of games while Werewolves never exceed 20%, and GPT-4.1 wolves vote the Jester out on day 1 in 60-70% of games, a strictly self-defeating action. Self-learning helps DeepSeek and Llama but hurts GPT-4.1, with the cost landing on Villagers rather than Werewolves. Only DeepSeek learns the subtle strategy of looking suspicious without looking intentionally suspicious, and it gains the most from the loop. Triadic incentive structure exposes a layer of multi-agent reasoning that dyadic deduction games leave invisible.