arXiv 2607.17924v1 · 发布 2026-07-20

Aggregate in the Advantage, Not the Ratio: A Canonical-Form Analysis of Cooperative Multi-Agent Policy Optimization

AUTHORS Zijian Zhao, Sen Li

EVIDENCE 对基于PPO的合作多智能体策略优化进行规范化形式分析

SCORE 0.9

GENERATED 2026-07-21 22:05:31 UTC

📝 TLDR

合作型多智能体策略优化在聚合邻居智能体时面临优势与比率两个维度的设计选择。现有IPPO、MAPPO、HAPPO等方法各自占据不同点，缺乏统一理论。本文将两种聚合选择形式化为支撑矩阵SA与SR，证明期望优化目标仅依赖其矩阵积T=SR·SA，并推导出冗余性与方差阶序两项核心结论。最终给出明确设计原则：仅在优势维度按耦合邻域规模聚合邻居，比率端则保持逐智能体。

🧭 速览

动机

在合作型MARL中，PPO类方法需确定在优势与比率两个维度上各聚合多少邻居智能体的信息，但现有方法各自孤立于设计空间，缺乏统一理论框架。

方法

将优势与比率的聚合选择形式化为支撑矩阵SA与SR，证明期望多智能体策略优化目标仅依赖于矩阵积T=SR·SA，并据此推导出冗余性与方差阶序两条结论。

结果

优势作为奖励的加和聚合，方差随支持规模线性增长且存在偏差-方差最优耦合点；比率作为似然乘积聚合，方差随支撑规模指数增长且无对应偏差下降。

结论

设计原则清晰：邻居聚合应放在优势维度，规模限于耦合邻域，比率维度保持逐智能体形式。

📊 论文图表(共 8 张)

展开查看 8 张图

TL;DR

这篇论文系统分析了合作型多智能体强化学习中邻居信息聚合的两个维度——优势（advantage）与比率（ratio）——并通过引入支撑矩阵 $\SA$ 和 $\SR$ 的形式化框架，证明了期望优化目标仅由矩阵积 $\tS = \SR \SA$ 决定，由此推导出方差阶序这一核心结论：优势作为奖励的加和呈线性方差增长、存在最优邻域规模，而比率作为似然的乘积呈指数方差增长却不伴随偏差下降。最终设计原则清晰明确：优势维度按耦合邻域规模聚合邻居，比率维度严格保持逐智能体。

研究背景与动机

合作型多智能体策略优化的核心挑战在于：当每个智能体独立更新策略时，如何有效利用全局信息来实现协调。典型的基于 PPO 的方法在决定"聚合多少邻居"时面临两个正交的设计选择——优势维度决定哪些智能体的奖励信号贡献信用分配，比率维度决定哪些智能体的似然比构成裁剪重要性权重。这两条轴线上的不同选择将现有方法分隔在分散的位置：IPPO 在两个维度都保持逐智能体；MAPPO 使用团队级优势配合逐智能体比率；HAPPO 采用顺序比率为逐智能体优势；集中式方法则将两者都聚合为完全联合的形式。

这种设计空间长期缺乏统一理论支撑。研究者通常凭借直觉或实验试错来选择某种配置，而不同方法之间表面上的差异让人难以判断它们是否真的存在本质区别。更关键的是，当面对一个新的合作任务时，从业者缺乏明确的设计原则来指导实践——是应该尽可能聚合邻居信息，还是保守地保持逐智能体处理？优势端和比率端的聚合是否应该采用相同的策略？

这篇论文的切入点正是回答"在两个聚合维度上各应选择什么规模"这一根本问题。通过将两种聚合选择形式化为支撑矩阵 $\SA$ 和 $\SR$ ，研究者试图揭示不同方法之间的深层联系，并推导出可执行的设计原则。

方法

研究者首先建立了一个完整的形式化框架。对于 $n$ 个智能体的合作任务，联合策略可分解为 $π_{θ} (a) = \prod_{i = 1}^{n} π_{θ}^{i} (a^{i})$ ，这一条件动作独立假设（Assumption 1）是后续分析的基础。在此基础上，研究者定义了耦合图 $C \in {0, 1}^{n \times n}$ ： $C_{ij} = 1$ 当且仅当智能体 $i$ 的奖励 $r_{i}$ 依赖于智能体 $j$ 的动作。耦合邻域 $\partial_{i} = {j : C_{ij} = 1}$ 及其半径 $ρ^{⋆}$ 刻画了影响每个智能体回报的直接范围。

优势支撑 $\SA$ 和比率支撑 $\SR$ 均为对称的 0/1 矩阵，对角线元素为 1。智能体 $i$ 的优势由 $\SA$ 决定哪些邻居的奖励被加总进信用信号，比率则由 $\SR$ 决定哪些邻居的似然比被乘入重要性权重。具体而言：

A_{i} = j : \SA_{ij} = 1 \sum r_{j} (a) - b_{i}, w_{i} (θ) = j : \SR_{ij} = 1 \prod ρ_{j} (a)

其中 $ρ_{j} = \frac{π _{θ}^{j} ( a ^{j} )}{π _{θ_{old}}^{j} ( a ^{j} )}$ 是智能体 $j$ 的单智能体似然比。

这些定义的数学内涵通过两个关键引理得到揭示。Lemma 1 证明了在 on-policy 条件下，加权期望保持无偏性，即 $E [w_{i}] = 1$ 。Lemma 2 则给出了方差的具体形式：

Var j \in S \prod ρ_{j} = j \in S \prod (1 + χ_{j}^{2}) - 1

其中 $χ_{j}^{2} = χ^{2} (π_{θ}^{j} ∥ π_{θ_{old}}^{j})$ 是当前策略与旧策略之间的卡方散度。这个乘性方差的表达式是整个分析的枢纽——当 $χ_{j}^{2} \geq c > 0$ 时，方差以 $(1 + c)^{∣ S ∣} - 1$ 的速率指数增长。

Theorem 1 作为理论核心，证明了在 $θ = θ_{old}$ 处，期望多智能体策略梯度仅依赖矩阵积 $\tS = \SR \SA$ ：

g_{m} = j : C_{j m} = 1 \sum \tS_{mj} E [r_{j} \nabla_{θ^{m}} lo g π^{m} (a^{m})]

这意味着表面上截然不同的方法（如 IPPO 和 MAPPO）如果产生相同的 $\tS$ ，它们在 on-policy 点的期望梯度完全等价。Corollary 1 进一步指出，任意 $(\SA, \SR)$ 在 on-policy 点与 $(S^{R} = I, S^{A} = \tS)$ 等价，因此联合比率 $\SR = 1 1^{⊤}$ 仅对优势做线性重加权，不带来额外的期望信号。

Proposition 1 通过两条路径的对比给出了方差阶序的核心洞察。路径 P（ $\SA = C, \SR = I$ ）的优势加权和有界，方差呈线性增长；路径 Q（ $\SA = I, \SR = C$ ）的比率乘积导致二阶矩 $\prod_{j \in \partial_{m}} (1 + χ_{j}^{2})$ 趋向无穷。当步长或邻域规模增大时，路径 Q 的方差相对路径 P 趋向无穷大。

Proposition 2 则给出了优势支撑的偏差-方差权衡分析。遗漏耦合邻域中的任何智能体会引入偏差，但加入非耦合智能体仅增加方差而不改变均值。因此，在均方误差意义下，最优的优势支撑恰好等于耦合邻域 $\partial_{m}$ 。

综合以上分析，设计原则被凝练为： $\SR = I$ （逐智能体比率）严格优于任何跨智能体比率聚合；优势支撑应匹配耦合邻域的规模。

实验与结果

实验设计分为合成环境和真实场景两部分，以多角度验证理论预测。合成环境包含四个耦合结构不同的场景：密集两两耦合（环上固定半径）、定向困境（非对称耦合以检验外部性内化效应）、局部拥塞（多智能体竞争共享资源）、块社区（非几何图结构）。真实场景采用 SUMO 仿真的 196 交叉口 Manhattan 网格交通信号控制任务。

实验首先扫描了优势半径 $ρ_{A}$ 和比率半径 $ρ_{R}$ 的不同取值。在合成环境中的结果一致表明，优势端存在明确的方差-偏差权衡——过小的 $ρ_{A}$ 引入偏差，过大的 $ρ_{A}$ 增加方差，最优点出现在接近耦合半径 $ρ^{⋆}$ 的位置。比率端的结果则更加戏剧性：在保守的 PPO 配置下（较小步长），不同 $ρ_{R}$ 的表现相近；但在激进配置或大规模场景下，联合比率（large $ρ_{R}$ ）的学习完全崩溃。196 交叉口的交通实验进一步证实了这一现象——团队优势 return 为 1068，局部优势 return 达到 1663，而联合比率配置下学习直接停滞。

智能体规模扩展性实验揭示了触发条件的细节。在标准 PPO 配置下，即使 $n = 160$ 时 per-agent 与 joint ratio 仍表现相近；但在离策略压力测试中，joint ratio 在 $n$ 增长时迅速失效。研究者指出，真正的触发器是 $χ^{2}$ 而非 $n$ 本身——只有当策略偏离较大（步长激进）或规模极大时，乘性方差的指数增长才会显现。

值得注意的是，在具有对称耦合（外部性已被自身内化）的场景中，不同 $ρ_{A}$ 最终收敛到相近的策略，但曲线方差仍存在差异；而在定向困境中（外部性未被内化）， $ρ_{A}$ 的选择显著影响了学习到的均衡。这些结果精确对应了 Proposition 2 的预测。

讨论与可借鉴点

这篇论文的核心贡献在于提供了[[偏差-方差权衡]]分析在多智能体信用分配问题上的完整框架。它揭示了一个看似违反直觉的结论：跨智能体聚合在优势维度是有价值的（因为奖励可加、方差线性增长、存在最优规模），但在比率维度是有害的（因为似然比相乘导致方差指数爆炸、且不伴随任何偏差改善）。这一洞察统一了 IPPO、MAPPO、HAPPO 等方法，并给出了清晰可执行的设计原则。

对研究者的启发是，[[信用分配]]问题的形式化分析可以揭示表面方法差异下的深层等价性。当两个维度看似独立时，它们的交互可能产生出人意料的约束——Theorem 1 证明的冗余性正是如此。对于实践者，论文提供了直接可用的诊断方法：观察 clip fraction 指标可以作为联合比率失效的早期预警。

研究的局限主要体现在假设的约束上。耦合图已知是一个较强的前提，当耦合关系未知或状态依赖时，问题转化为优势支撑的学习问题，这正是未来工作的方向。此外，逐智能体奖励的分解要求限制了方法在团队奖励场景（SMAC、Google Research Football 等）中的直接适用性——在这些场景下，仅"比率端应保持逐智能体"的结论仍然成立，但优势端的原则失去落点。策略分解假设排除了自回归联合动作等更复杂的架构，而合成实验的规模（tabular actor， $n \leq 24$ ）与真实深度网络场景之间也存在一定的鸿沟。

Abstract

Multi-agent policy optimization, exemplified by PPO-based methods, is a key branch of cooperative Multi-Agent Reinforcement Learning (MARL). A central design question is how many neighboring agents\footnote{In this paper, "neighbors" refer not only to physical proximity but also to agents whose actions influence one another.} to aggregate in order to effectively utilize global information for cooperation. This decision must be made along two dimensions: in the advantage (which agents' rewards contribute to the credit signal) and in the ratio (which agents' likelihood ratios form the clipped importance weight). Existing methods occupy scattered, underexplored points on these two axes: IPPO treats both separately; MAPPO pairs a team-level advantage with per-agent ratios; HAPPO employs sequential ratios with per-agent advantages; and single-agent reductions operating on factorized joint policies aggregate both into fully joint products. We formalize these two design choices as support matrices $\SA$ and $\SR$ , and prove a canonical structure: the expected multi-agent policy optimization objective depends on the pair $(\SA, \SR)$ only through their matrix product $\tS = \SR \SA$ . This yields two key consequences: (i) Redundancy: the two support matrices are interchangeable with respect to the signal, meaning neither aggregation pattern is inherently superior.(ii) Variance Ordering: the advantage aggregates rewards as a sum (additive variance with an interior bias-variance optimum at the coupling neighborhood), whereas the ratio aggregates likelihood ratios as a product (multiplicative variance that grows exponentially with support size, with no accompanying bias reduction). The resulting design principle is unambiguous: aggregate neighbors in the advantage, sized to the coupling neighborhood, and keep the ratio per-agent.

论文详细总结（自动生成）

论文总结：合作型多智能体策略优化中优势与比率聚合的规范化分析

1. 核心问题与研究动机

在基于 PPO 的合作型多智能体强化学习（MARL）中，对每个智能体进行策略更新时，需要回答一个长期被忽视的设计问题：应当聚合多少邻居智能体的信息？ 这一问题在两个相互独立的维度上被分别决定：

优势支撑 $\SA$ ：将哪些智能体的奖励信号聚合进智能体 $i$ 的 advantage（信用信号）中；
比率支撑 $\SR$ ：将哪些智能体的似然比乘入智能体 $i$ 的裁剪重要性权重（信任域对象）中。

现有方法在这两条轴线上各自占据孤立的点：

方法	优势支撑 $\SA$	比率支撑 $\SR$
IPPO	$I$ （逐智能体）	$I$ （逐智能体）
MAPPO	$1 1^{⊤}$ （团队）	$I$ （逐智能体）
HAPPO	$I$	$\prod_{j \leq i}$ （顺序）
集中式多动作 PPO（CMAT 等）	$1 1^{⊤}$	$1 1^{⊤}$ （联合）
局部优势方法（MA2C 等）	$k$ -hop 邻域	$I$

本文的核心动机：两条支撑从未被联合分析，也缺少关于"应当位于哪一点"的统一设计原则。论文通过规范化形式分析回答：所有方法实际上仅由矩阵积 $\tS = \SR \SA$ 决定。

2. 方法论

2.1 形式化建模

MAMDP： $n$ 个智能体，参数 $θ = (θ^{1}, \dots, θ^{n})$ 不相交；联合策略可分解为 $π_{θ} (a) = \prod_{i = 1}^{n} π_{θ}^{i} (a^{i})$ （条件动作独立假设 Assumption 1）；
耦合图 $C \in {0, 1}^{n \times n}$ ： $C_{ij} = 1$ 当且仅当 $r_{i}$ 依赖于 $a^{j}$ ；定义耦合邻域 $\partial_{i} = {j : C_{ij} = 1}$ 和耦合半径 $ρ^{⋆}$ ；
比率支撑 $\SR$ 与优势支撑 $\SA$ ：均为对称 0/1 矩阵， $\SR_{ii} = \SA_{ii} = 1$ 。智能体 $i$ 的优势与重要性权重为：

A_{i} = j : \SA_{ij} = 1 \sum r_{j} (a) - b_{i}, w_{i} (θ) = j : \SR_{ij} = 1 \prod ρ_{j} (a), ρ_{j} = \frac{π _{θ}^{j} ( a ^{j} )}{π _{θ_{old}}^{j} ( a ^{j} )} .

2.2 关键引理与定理

Lemma 1（无偏权重）：在条件动作独立且全支撑假设下， $E [w_{i}] = 1$ ， $E [\prod_{j \in S} ρ_{j}] = 1$ 。
Lemma 2（乘性方差）：定义 $χ_{j}^{2} = χ^{2} (π_{θ}^{j} ∥ π_{θ_{old}}^{j})$ ，则

Var j \in S \prod ρ_{j} = j \in S \prod (1 + χ_{j}^{2}) - 1,

当 $χ_{j}^{2} \geq c > 0$ 时该方差以 $(1 + c)^{∣ S ∣} - 1$ 指数增长。

Theorem 1（支撑分解/规范化形式）：在 $θ = θ_{old}$ 处，期望多智能体策略梯度为：

g_{m} = j : C_{j m} = 1 \sum \tS_{mj} E [r_{j} \nabla_{θ^{m}} lo g π^{m} (a^{m})], \tS = \SR \SA .

即 $(g_{m})$ 仅依赖乘积 $\SR \SA$ ，与单独的 $\SA, \SR$ 无关。

Corollary 1（逐智能体比率规范化形式）：任何 $(\SA, \SR)$ 在 on-policy 点与 $(S^{R} = I, S^{A} = \tS)$ 期望梯度相同，故联合比率 $\SR = 1 1^{⊤}$ 仅对优势做线性重加权，不带来额外期望梯度信号。
Proposition 1（离策略方差支配）：
路径 $P$ ： $\SA = C, \SR = I$ ，权重 $∣ \sum_{j \in \partial_{m}} r_{j} ∣ \leq ∣ \partial_{m} ∣ r_{m a x}$ ，方差有界；
路径 $Q$ ： $\SA = I, \SR = C$ ，权重含 $n$ 因子乘积，二阶矩 $\prod_{j \in \partial_{m}} (1 + χ_{j}^{2}) \to \infty$ 。

因而 $Var (g_{m}^{Q}) / Var (g_{m}^{P}) \to \infty$ （步长或 $∣ \partial_{m} ∣$ 增长时）。

Corollary 2（设计原则）：在所有实现同一 $\tS$ 的 $(\SA, \SR)$ 中， $\SR = I$ （逐智能体比率）且 $\SA = \tS$ 最小化梯度估计方差；联合/复合比率为弱/严格劣势。
Proposition 2（优势支撑偏差–方差权衡）：固定 $\SR = I$ ，则
(偏差) $E [g_{m}] = \sum_{j \in \partial_{m}} \SA_{mj} E [r_{j} \nabla lo g π^{m}]$ ，故 $\SA$ 漏掉 $\partial_{m}$ 中任一耦合智能体即引入偏差；
(方差) 加入非耦合智能体 $j \in / \partial_{m}$ 不改变均值但增加方差。

因而 MSE 最优的优势支撑恰好等于耦合邻域 $\partial_{m}$ 。

2.3 总体设计规则

邻居聚合应放在优势维度（规模等于耦合邻域 ρ^{⋆} ），比率维度严格保持逐智能体 (\SR = I) .

3. 实验设计

3.1 合成环境（4 个耦合族）

环境	耦合结构	外部性是否被自身内化	主要目的
密集两两（dense pairwise）	环上半径 $ρ^{⋆}$	是（对称 $M = M^{⊤}$ ）	基本对照 + 单步诊断
定向困境（directed dilemma）	定向环	否	验证优势支撑对均衡的决定性影响
局部拥塞（local congestion）	环邻域内同资源均分	部分自身承担	拥塞型耦合
块社区（block community）	块内全连接、块间无连接	块内均分	非几何图结构检验

参数范围： $n = 20 - 24$ ， $K = 4$ ， $ρ^{⋆} = 2 - 4$ ，clip $0.2$ ，5 个随机种子。

3.2 真实场景

196 个交叉口交通信号控制（SUMO 28×7 Manhattan 网格）；
使用 SUMO-RL，每 10 s 控制周期，离散相位动作；
共享 MLP actor，参数共享但动作独立采样，仍满足联合策略分解；
奖励为局部队列、延误、压力、均速的加权和（权重 $(3.0, 1.0, 0.3, 1.5)$ ）；
物理邻接即为耦合图，因此 1-hop/2-hop 邻域即为候选 $ρ^{⋆}$ 。

3.3 对比维度

优势半径 $ρ_{A} \in {0, 1, 2, ρ^{⋆}, \infty}$ ，固定逐智能体比率；
比率半径 $ρ_{R} \in {0, 1, 2, ρ^{⋆}, \infty}$ （联合），固定团队或 $k$ -hop 优势；
智能体规模 $n$ 扫描（最多至 $n = 320$ ）；
两套 PPO 配置：标准（lr= $3 \times 1 0^{- 3}$ ，batch 64）与离策略压力（lr= $0.15$ ，batch 16），用于揭示方差惩罚的显现条件。

4. 资源与算力

论文未明确给出 GPU 型号、数量、训练时长等具体算力信息；
仅说明 PPO 训练曲线在最后 40 个 iteration 上取收敛值，并以 3（交通）–5（合成）个种子报告均值与标准差；
合成实验规模较小（ $n \leq 24$ ，单步 20 智能体或短序列），理论上无需大规模 GPU；交通信号实验使用 SUMO + 标准 MLP，规模亦有限。

5. 实验数量与充分性

优势支撑扫描：4 个合成族 × 多档 $ρ_{A}$ × 5 种子 + 1 个真实交通场景 × 3 种子；
比率支撑扫描：4 个合成族 × 多档 $ρ_{R}$ × 5 种子 + 1 个真实交通场景 × 3 种子；
智能体规模扩展：每个族、两种 PPO 配置，扫描到 $n = 320$ ；
真实部署：196 交叉口 × 4 种比率支撑 × 2 种优势基线 × 3 种子；
统计显著性通过多种子标准差报告；所有曲线均展示收敛标准差带；
充分性评估：
涵盖 on-policy / off-policy、环 / 块社区、有 / 无外部性内化、几何 / 非几何四种轴线，对核心理论三个预测（R / D / A）均做了检验；
标准与压力两种 PPO 设置配合正交地揭示了 $χ^{2}$ 触发条件；
真实场景与合成实验互相印证；
局限：合成环境相对简化（tabular actor），未覆盖连续动作空间或部分可观测挑战；
未与最先进的多智能体信用分配算法（如 COMA、difference-reward 系列）的最新版本做端到端基准对比。

6. 主要结论与发现

1. 规范化形式：多智能体 PPO 期望梯度仅依赖 $\tS = \SR \SA$ ；两者对信号等价（冗余性，Corollary 1）。

2. 方差阶序：

优势作为奖励的加和，方差按 $∣ \SA ∣$ 线性增长，并存在内部 MSE 最优点（耦合邻域 $\partial_{m}$ ）；
比率作为似然的乘积，方差按 $(1 + χ^{2})^{∣ \SR ∣} - 1$ 指数增长，且不伴随偏差下降（Proposition 1）。

3. 设计原则： $\SR = I$ （逐智能体比率）严格（或弱）优于任何跨智能体比率；优势支撑应匹配耦合邻域 $\partial_{m}$ 。

4. 触发条件：比率的方差惩罚仅在 $χ^{2}$ 不可忽略（步长较大）或 $n$ 较大时才显现，故保守 PPO 下二者表现相当；激进或大规模场景下联合比率崩溃（在本实验中 $n = 196$ 的交通网络即直接失败）。

5. 优势支撑的均衡效应：仅当外部性未被自身内化（如 directed dilemma）时， $ρ_{A}$ 改变学习到的策略；内化情境下 $ρ_{A}$ 主要影响方差。

7. 论文亮点

理论统一：将 IPPO / MAPPO / HAPPO / 集中式多动作 PPO / MA2C 等表面无关的方法放入同一 $(\SA, \SR)$ 平面，并证明其期望目标仅由 $\tS = \SR \SA$ 决定；
清晰的偏差–方差分离：通过 Lemma 2 将"加和 vs 乘积"的方差阶序机制完整展开，给出显式的指数增长下界；
设计原则明确且可执行：仅需把跨智能体聚合移到 advantage，无需改动网络结构或训练流程，立即适用于现有 MAPPO/IPPO 代码库；
真实场景验证：在 196 交叉口的 SUMO 上观察到联合优势与联合比率的失败（团队 advantage return 1068 vs 局部 1663；联合比率下学习直接停滞），且无需构造离策略压力即可显现；
渐进性：在 $n = 160$ 标准配置与 $n \leq 24$ 玩具环境上准确解释为何"per-agent 与 joint ratio 看起来差不多"，并指出真正的触发器是 $χ^{2}$ 而非 $n$ 本身（Remark 7）；
诊断指标：clip fraction 作为联合比率失效的早期、通用信号被明确提出。

8. 不足与局限

耦合图已知假设：分析要求 $\partial_{m}$ （耦合邻域）已知。论文在"未来工作"中明确指出当耦合未知或状态依赖时，问题转化为一个优势支撑的学习问题（bias–variance model selection），本文未给出解决方案；
逐智能体奖励要求：偏差–方差权衡的完整力量需要任务可拆分为 per-agent reward；当环境只提供单一不可分解的团队奖励时（如 SMAC、Google Research Football），优势不可局部化，仅"比率端 per-agent 优于 joint"仍成立，但"耦合邻域定优势"原则失去落点；
策略分解限制：依赖条件动作独立假设（Assumption 1），不适用于自回归联合动作头（链式分解，因果屏蔽等场景下需不同的 chain-rule 分析）；
方向性与偏置奖励：当前分析以对称耦合 + 有界奖励为简化条件，方向性扩展（Remark 5）给出了形式但未深入实验；
实验覆盖：
合成实验 actor 为 tabular，规模仅到 $n = 24$ ，结论的外推到深度网络 + 大规模场景主要靠 $n = 196$ 交通实验单一支撑；
未与 value-decomposition、COMA、difference-reward 系列等专门信用分配方法在同一基准上做端到端对比；
真实交通实验仅给出最终数值与曲线，缺少消融：是否能在不知道耦合图时通过自动学习支撑恢复同等性能；
算力信息缺失：未提供 GPU 型号、训练时长、每个实验的计算代价，对实验可重复性的算力评估不足；
clipping 的双重影响：Remark 3 指出裁剪会进一步放大 Q 路径的方差–偏差权衡，但未给出量化分析，停留在定性论述；
团队优势的极端情形：当耦合邻域直径 $> >$ 智能体数 / 团队很小时，团队优势回归为合理选择，本文未给出明确"何时 $\SA = 1 1^{⊤}$ 仍可接受"的判定准则。

（完）

✨ 编译论文

点「✨ 编译」开始,LLM 会按 Polaris 风格翻译并把图片/表格嵌到对应位置。结果存到浏览器 localStorage,下次访问自动加载。