📊 论文图表(共 15 张)

展开查看 15 张图

‹ ›

TL;DR

这项研究揭示了 AlphaZero 的一个核心张力：它能训练出超人类水平的强策略，但无法保证在可精确评估的博弈中走出理论最优路径。在 Connect Four 和 Chomp 两个有 oracle 精确求解的环境中，研究者对比了 vanilla AlphaZero、仅增加历史帧输入的 Multi-Frame 变体，以及在训练阶段引入 oracle 策略监督的辅助损失方法 AZAL。实验表明，vanilla AlphaZero 在两个博弈中都出现了系统性的轨迹偏离，而 AZAL 在 Chomp 10×11 棋盘上实现了完美的 oracle 一致性，但在 Connect Four 上仍未能消除偏差，说明博弈结构本身对辅助监督的有效性有重要调节作用。

研究背景与动机

AlphaZero 通过将[[蒙特卡洛树搜索]]与[[自对弈]]相结合的范式，在围棋、国际象棋和将棋上取得了超越人类的表现。然而，这种"强策略"（strong play）与博弈论意义上的"完美策略"（perfect play）之间存在一个尚未被充分研究但至关重要的差距。强策略允许偶尔的次优选择——只要这些错误不足以改变胜负结果；但完美策略要求在每一个决策节点都做出最优选择，没有任何容错空间。

这个差距在稀疏奖励的博弈环境中尤为关键。当博弈的胜负判断高度依赖于远期的全局结构而非密集的局部战术时，策略估计中的细微误差会通过[[蒙特卡洛树搜索]]传播并放大：网络对某个局面的评估偏差会导致搜索树偏向错误的方向，而自我对弈收集到的训练数据又会以这个偏差的搜索结果为目标，形成一个自我强化的偏差循环。研究者将这个问题称为"移动目标问题"——神经网络的训练目标本身在不断被自己产生的偏差所污染。

为了系统地刻画这一现象，研究者选取了两个结构对比鲜明但均可由外部 oracle 精确评估的博弈环境：Connect Four 是一个已被完全求解的偏对策（partisan game），其博弈论价值可以通过 alpha-beta 搜索精确计算；Chomp 是一个无偏对策（impartial game），其最优策略完全由 Grundy 数决定。两者都提供了 move-by-move 的精确答案，使得研究者能够在每一步的粒度上判断 agent 是否选择了最优动作，而不是笼统地统计胜负率。

方法

研究者采用统一的 AlphaZero 自我对弈加蒙特卡洛树搜索流程，三种方法仅在输入表征或训练监督信号上有所不同。这种控制变量设计使得实验结果的变化可以干净地归因于所操纵的那个因素。

Vanilla AlphaZero 使用标准的 AlphaZero 配置：网络以单帧棋盘状态作为输入，策略目标由 MCTS 的访问计数分布产生，价值目标由终局胜负结果产生。这是研究者的基线方法。

Multi-Frame AlphaZero 受 Riis (2024) 的启发，将网络输入从单帧改为最近 K 帧历史状态的通道维堆叠，其余训练流程保持完全一致。这个变体仅在 Chomp 上评估，目的是隔离"增加输入历史信息"这一表征改进的单独效果。

AlphaZero Auxiliary Loss（AZAL）是研究者的核心改进方案。其核心思想是在标准目标函数上附加一个由 oracle 导出的辅助策略损失项。总损失函数为：

其中辅助策略损失对 oracle 最优动作集合 $B(s)$ 进行软化处理：

这里 $\epsilon =10^{-3}$ 是一个平滑常数，确保 oracle 认定非最优的动作也保留极小的概率质量。$L_{\text{aux}}(s)$ 是该软化分布与网络输出的 softmax 之间的交叉熵。关键的设计选择在于：AZAL 不修改 MCTS 的搜索过程，不修改价值目标，也不在搜索时注入 oracle 信息——它仅在训练阶段偏置策略头朝向 oracle 一致的动作。这种设计保持了自我对弈数据采集的完整性，同时为策略学习提供了额外的监督信号。

在 Connect Four 上，oracle 使用 Pascal Pons 的完美求解器，通过 negamax alpha-beta 加置换表计算每步精确得分 $\sigma (s,a)$，正分对应必胜、负分对应必败、零分对应必和。在 Chomp 上，oracle 递归计算 Grundy 数 $g(s)=\text{mex}\{g(s^{\prime }):s^{\prime }\in N(s)\}$，当 $g(s)\ne 0$ 时最优动作就是使后继局面的 Grundy 数为零的那一步。

网络采用卷积残差架构：初始 $3\times 3$ 卷积层加批归一化和 ReLU，随后接 9 个残差块（每块含两次 $3\times 3$ 卷积加批归一化和 ReLU 加恒等跳跃连接），策略头线性投影至动作空间，价值头以 $\tanh$ 输出标量。搜索采用 PUCT 选择规则，根节点注入 Dirichlet 噪声 $(\epsilon =0.25,\alpha =0.3)$，自对弈温度常数设为 $1.25$。

实验与结果

实验在三个维度上评估各方法的表现：整局自我对弈轨迹的 oracle 一致性、采样状态上的 oracle 匹配率，以及细粒度的失败模式分析（首次出错 ply、最长一致链长度等）。

Connect Four 上的结果揭示了 vanilla AlphaZero 的系统性缺陷。在 60 条整局轨迹中，没有任何一条达到完美——平均首次 oracle 错误发生在第 $0.867\pm 1.310$ 步，意味着 agent 在开局阶段就已经偏离了最优解。采样状态的 oracle 匹配率仅为 $0.589$，远低于完美对弈应有的水平。AZAL 带来了显著但有限的改善：匹配率从 $0.785$ 提升到 $0.849$，采样状态匹配率从 $0.589$ 提升到 $0.768$，首次错误 ply 从 $0.867$ 延后至 $5.283$。然而，AZAL 在 Connect Four 上仍然没有产生任何一条完美轨迹，最长一致链长度基本保持不变。这一结果表明，对于分支因子大、存在复杂长视距延续与和棋面的博弈，仅靠训练阶段的 oracle 策略监督还不足以完全纠正偏差。

Chomp 上的结果则呈现出更分明的层次。Vanilla AlphaZero 在矩形棋盘（$9\times 10$ 和 $10\times 11$）上表现堪忧：match rate 分别仅为 $0.609$ 和 $0.474$，首次错误 ply 均为 0。作为对照，研究者在方形棋盘（$9\times 9$ 和 $10\times 10$）上的实验显示 vanilla AlphaZero 已能实现 Grundy 最优交替，证实了故障确实源自任务本身的难度而非流水线缺陷。Multi-Frame 变体未能改善这一状况：$9\times 10$ 的整局匹配率反而下降到 $0.483$，$10\times 11$ 与 vanilla 持平（$0.463$ vs. $0.474$）。研究者分析认为，Chomp 的一步动作会引发大规模的棋盘简化，产生非局部的可达空间变化，单纯增加短历史帧不足以暴露类似 Nim 游戏那样可局部读取的格局不变量。

AZAL 在 Chomp 上取得了最显著的成功。在 $10\times 11$ 棋盘上，AZAL 在 60 条轨迹中实现了 60 条完美轨迹，pooled match 率达到 $1.000$（$793/793$ 采样状态全部 oracle 一致）。在 $9\times 10$ 上，AZAL 达到 $34/60$ 完美轨迹，pooled match 为 $0.948$，平均首次错误延后至 $11.923$ ply。这些结果表明，对于最优动作能引发大规模棋盘简化、目标信号"尖锐"且直接对齐 oracle 的博弈类型，AZAL 的辅助监督能够有效关闭"强策略"与"完美策略"之间的差距。

研究还发现了一个值得关注的诊断现象。在 Connect Four 上，oracle 判定为必败的同一玩家最终却赢得对局的比例（losing-but-won 诊断）在 vanilla 和 AZAL 下分别为 $0.144$ 和 $0.174$。这意味着即使 agent 早期走出了 oracle 认为必败的着法，由于对手同样存在偏差，它仍有机会翻盘。这一现象揭示了自我对弈目标的脆弱性：对手的配合性偏差可以暂时掩盖策略错误，使训练信号在局部看起来合理，但这种掩盖本身就是一种系统性的偏差积累。

讨论与可借鉴点

这项研究的核心贡献在于系统地刻画了"强策略"与"完美策略"之间的定量差距，并通过 AZAL 证明了训练阶段的 oracle 辅助监督是一条可行的弥补路径。然而，研究也清晰地揭示了这一方法的边界条件：AZAL 在 Chomp 上取得了近乎完美的结果，但在 Connect Four 上仍存在显著差距。这种差异可能源于两个博弈的结构差异——Chomp 的最优动作往往引发大规模棋盘简化，使目标信号高度集中且可分离；而 Connect Four 的最优解包含复杂的分支与和棋可能性，辅助监督的信号相对更分散。

从更广泛的角度看，这项研究对强化学习领域有几点重要启示。首先，它提醒我们不应仅以任务表现（如胜率）作为评判 agent 能力的唯一指标——在需要精确决策的场景中，"几乎最优"与"理论最优"之间可能存在质的差距。其次，它展示了使用可精确评估的环境作为测试平台的学术价值：当我们在围棋或象棋上用 AlphaZero 已经无法找到更优解时，Connect Four 和 Chomp 这类小型但结构各异的博弈提供了更敏感的评估粒度。第三，它指出了自我对弈的一个深层陷阱——当策略偏差与搜索目标相互强化时，单纯的表征改进（如增加历史帧输入）可能不足以打破这一循环。

研究的局限性主要包括：仅在两个微型博弈上验证，结论的泛化性有待更多游戏类型的检验；每个配置仅使用 3 个随机种子，统计可靠性有限；未对搜索预算、网络容量、辅助损失权重 ${\lambda }_{\text{aux}}$ 等超参进行系统消融；AZAL 本身依赖外部 oracle，偏离了 AlphaZero "仅靠规则加自对弈"的原始设定，限制了其在实际问题中的应用。此外，研究者有意排除了 Go-Exploit 等针对深状态欠采样的方法对比，这使得"辅助监督"与"数据分布修复"两条路径的优劣比较仍是一个开放问题。

摘要

AlphaZero 已经证明，神经引导的蒙特卡洛树搜索能够达到超越人类水平的表现，但强大的对弈能力并不必然意味着完美的对弈。我们在两个结构不同但均可由神谕（oracle）评估的领域上研究这一差距：Connect Four，一个已求解且具有精确博弈论价值的偏对策（partisan game）；以及 Chomp，一个最优对弈由 Grundy 数结构决定的无偏对策（impartial game）。在统一的自我对弈 + MCTS 框架下，我们比较了原始 AlphaZero、一种多帧输入变体（仅适用于 Chomp）以及一种引入由神谕导出的策略监督的 AlphaZero 辅助损失（AZAL）。我们发现，原始 AlphaZero 在两个领域均能达到强大的对弈水平，但无法保持最优对弈所需的精确轨迹：在 Connect Four 中，它未能维持最优对弈线路；而在 Chomp 中，它无法持续恢复 g=0 不变量。在矩形 Chomp 棋盘上，仅依靠多帧输入并不能消除这一差距。尽管如此，AZAL 在多随机种子的整局对弈轨迹以及采样状态评估中，均显著改善了与神谕的一致性。在 Chomp 上，AZAL 在 10x11 棋盘上达到了完美的整局神谕一致性，在 9x10 上则达到了较高但未完全的一致性；在 Connect Four 上，AZAL 提升了与神谕的匹配率并推迟了首次神谕错误的发生，但仍未能达到完美对弈。

Abstract

AlphaZero has demonstrated that a neural-guided Monte Carlo Tree Search can achieve superhuman performance, but strong play does not necessarily imply perfect play. We study this gap in two oracle-evaluable domains with contrasting structure: Connect Four, a solved partisan game with exact game-theoretic values, and Chomp, an impartial game whose optimal play is governed by Grundy-number structure. Under a unified self-play $+$ MCTS pipeline, we compare vanilla AlphaZero, a multi-frame variant (limited to Chomp), and an AlphaZero Auxiliary Loss (AZAL) that adds oracle-derived policy supervision. We find that vanilla AlphaZero achieves strong play across both domains but cannot preserve the exact trajectories required for optimal play: in Connect Four, it fails to maintain the optimal line of play, while in Chomp, it fails to consistently restore the $g=0$ invariant. On rectangular Chomp boards, multi-frame inputs alone do not remove this gap. Nevertheless, AZAL substantially improves oracle consistency across multi-seeded full-game traces and sampled-state evaluations. On Chomp, AZAL reaches perfect full-game oracle consistency on 10x11 and high but not complete consistency on 9x10; on Connect Four, AZAL improves oracle-match rate and delays the first oracle mistake, but does not reach perfect play.

论文详细总结（自动生成）

AlphaZero 在稀疏奖励博弈中的研究：局限性与辅助监督

1. 核心问题与整体含义

研究动机：AlphaZero 通过神经引导的蒙特卡洛树搜索（MCTS）在围棋、国际象棋和将棋上达到了超人类水平，但"强策略"（superhuman play）与博弈论意义上的"完美策略"（perfect play）之间存在系统性差距。在依赖稀疏全局结构（而非密集局部战术）的博弈中，策略与价值估计的误差并非孤立存在：它们会影响 MCTS 用来产生下一步自我对弈数据的搜索目标，从而削弱 AlphaZero 所依赖的正反馈循环。

整体含义：论文选取两个结构对比鲜明且可由神谕（oracle）精确评估的小型完备信息博弈——Connect Four（已求解的偏对策，具有精确博弈论价值）与 Chomp（无偏对策，最优对弈由 Grundy 数 $g(\cdot )$ 刻画）——在统一的自我对弈 + MCTS 框架下量化 vanilla AlphaZero 与两种改进变体在"与神谕一致性"上的差异，并通过引入由神谕导出的策略监督来检验"辅助监督"是否能够关闭这一差距。

2. 方法论

2.1 总体框架

论文采用统一的 AlphaZero 自我对弈 + MCTS 流程，三种方法仅在表征或监督信号上有所不同：

• Vanilla AlphaZero：标准 AlphaZero 配方，网络仅接收单帧棋盘状态作为输入，策略目标由 MCTS 访问计数产生，价值目标由终局结果产生。
• Multi-Frame AlphaZero（仅用于 Chomp）：受 Riis (2024) 启发，将输入改为最近 $K$ 帧历史 $(s_t,s_{t-1},\dots ,s_{t-K+1})$ 在通道维上堆叠，其余训练循环完全一致，用以隔离表征变化的单独效果。
• AlphaZero-Auxiliary Loss (AZAL)：在标准目标函数上附加由神谕导出的辅助策略损失。

2.2 AZAL 的核心公式

AZAL 的总损失为：

辅助目标对 oracle 最优动作集合 $B(s)$ 进行软化：

其中 $\epsilon =10^{-3}$。辅助策略损失是对该软化分布与网络输出 softmax 之间的交叉熵：

关键设计点：AZAL 不修改 MCTS 搜索过程、不修改价值目标、不在搜索时注入 oracle 信息，仅在训练阶段偏置策略头朝向神谕一致动作。

2.3 神谕定义

• Connect Four oracle：使用 Pascal Pons 的完美求解器，通过 negamax alpha–beta + 置换表计算每步精确得分 $\sigma (s,a)$，正分对应必胜、负分对应必败、零分对应必和，幅度反映距离终局的层数。
• Chomp oracle：递归 Grundy 数求解器 $g(s)=\text{mex}\{g(s^{\prime }):s^{\prime }\in N(s)\}$；当 $g(s)\ne 0$ 时，最优动作即满足 $g(s^{\prime })=0$ 的后继。

2.4 网络结构与搜索

卷积残差策略-价值网络：初始 $3\times 3$ 卷积 + BN + ReLU 后接 9 个残差块（每块为两次 $3\times 3$ 卷积 + BN + ReLU + 恒等跳跃），策略头线性投影至动作空间，价值头以 $\tanh$ 输出标量。使用 PUCT 选择规则，根节点注入 Dirichlet 噪声 $\epsilon =0.25,\alpha =0.3$，自对弈温度常数 $1.25$。

3. 实验设计

3.1 数据集/场景（博弈与棋盘）

3.2 对照方法

1. Vanilla AlphaZero

2. Multi-Frame AlphaZero（仅 Chomp）

3. AZAL（Connect Four 与 Chomp）

论文明确说明不与 Go-Exploit 等深度状态重采样方法对比，目的是隔离"表征/监督"与"数据分布修复"的差异。

3.3 评估指标

• Oracle-match rate：在有 oracle 标签的局面中，agent 选择落在 $B(s)$ 中的比例。
• Perfect trace fraction：整局中无任何 oracle 错误的轨迹占比。
• Longest oracle-consistent chain：单条轨迹中连续 oracle 一致步的最大长度。
• First non-oracle ply：首次出错所在 ply。
• Sampled-state evaluation：从随机可达状态出发评估 oracle 一致性，超越标准开局轨迹。
• Connect Four 还报告 oracle 值与自对弈实际结果之间的"losing-but-won"诊断（oracle 判负的同一玩家最终赢得该局的比例）。

3.4 评测规模

主实验：每种（游戏、方法）组合聚合 60 条整局自我对弈轨迹，来自 3 个训练种子（种 0, 1, 2），外加每游戏每组合大约 35–56 个随机起始采样状态（同样 3 个种子）。评测仅在最后一次训练 checkpoint 上进行。

4. 资源与算力

论文中未明确报告 GPU 型号、数量或训练墙钟时间。仅在附录 D 的复现表（Table 5）中给出训练规模常数：

复现代码在 https://anonymous.4open.science/r/AlphaZero-Auxiliary-Loss-F74E/ 提供。

5. 实验数量与充分性

实验数量统计（粗略）：

• Chomp：3 种方法（Vanilla / Multi-Frame / AZAL）× 4 个棋盘（$9\times 9,9\times 10,10\times 10,10\times 11$）= 12 种配置，每配置 60 条轨迹 + ~35 采样状态；外加训练曲线。Multi-Frame 在 Connect Four 上未做。
• Connect Four：2 种方法（Vanilla / AZAL）× 1 个棋盘 = 2 种配置，每配置 60 条轨迹 + 56 采样状态；外加训练曲线与 losing-but-won 诊断。
• 附带表层消融：单帧 vs. 多帧（Chomp），加入/不加入 oracle 辅助损失（两类游戏），单/双玩家分层指标。

充分性评价：

• 优势：所有实验在三种方法之间共享搜索预算与自我对弈流程，仅改变表征或监督项，确保差异来源明确；使用多随机种子且同时报告整局轨迹与采样状态，兼顾分布内与分布外评估；对训练损失曲线也作了追踪。
• 不足：
• 每个设置只跑 3 个种子，对统计可靠性的支撑有限；
• 仅在最终 checkpoint 上评测，作者本人亦标注为未来工作；
• 多帧输入只在 Chomp 上评估，未在 Connect Four 上做并行对照；
• 没有搜索预算、网络容量或 ${\lambda }_{\text{aux}}$ 的消融，难以隔离"辅助监督"与"总梯度信号强度"的贡献；
• AZAL 依赖外部 oracle，本身已偏离"无领域知识"的 AlphaZero 设定，对其解读需注意。

6. 主要结论与发现

6.1 Vanilla AlphaZero：强而不准

• Connect Four：60 条轨迹无一条完美，平均首次 oracle 错误 ply 为 $0.867\pm 1.310$，开局即偏出最优解；采样状态匹配率仅 $0.589$。
• Chomp 矩形棋盘（$9\times 10$, $10\times 11$）：match rate 仅 $0.609$ 与 $0.474$，首次错误 ply = 0；与之对照，方形棋盘 ($9\times 9,10\times 10$) 下 vanilla AlphaZero 已可达到 Grundy 最优交替，证实故障源自任务而非流水线。
• 诊断：策略损失与价值损失进入长时间震荡平台，说明网络在追逐一个由自身不断演变分布生成的搜索目标，验证了"移动目标问题"。

6.2 Multi-Frame AlphaZero：未能修复 Chomp

• $9\times 10$ full-game match $0.483$（低于 vanilla 的 $0.609$），$10\times 11$ 与 vanilla 持平（$0.463$ vs. $0.474$），采样状态匹配率也都更差。
• 原因分析（论文给出）：Chomp 的一步同时移除一个二维集合，诱导非局部的可达空间变化，单纯短历史不足以暴露类似 Nim 的可局部读取的格局不变量。

6.3 AZAL：收益显著但有规模边界

• Chomp $10\times 11$：60/60 完美轨迹，pooled match $=1.000$（$793/793$）。
• Chomp $9\times 10$：$34/60$ 完美轨迹，pooled match $=0.948$（$1065/1123$），平均首次错误延后至 $11.923$ ply。
• Connect Four：match rate 从 $0.785$ 提升到 $0.849$，采样状态匹配率 $0.589\to 0.768$，首次错误 ply 从 $0.867$ 延后至 $5.283$，但 0/60 完美轨迹，最长一致链长度基本不变。
• losing-but-won 诊断：Connect Four 上 Vanilla 与 AZAL 分别为 $0.144$ 与 $0.174$，揭示即便 AZAL 也存在自我对弈目标被对手偏差污染的情况；Chomp $10\times 11$ 上 AZAL 为 $0.000$，但 $9\times 10$ 上仍有 $14\%$ 此类事件。

6.4 跨域对比（论文给的核心解释）

• Chomp 最优动作常引发大规模棋盘简化，目标信号"尖锐"且直接对齐 oracle；Connect Four 分支因子大、存在复杂长视距延续与和棋，辅助信号相对更弱。

7. 优点

• 以可求解博弈作为 oracle 基准，能够在 move-by-move 粒度上严格区分"强策略"与"完美策略"，这是大多数 RL/博弈研究难以做到的。
• 统一搜索与自对弈流水线，仅改变表征或监督一项，使归因更加干净。
• 同时报告多 seed 整局轨迹与采样状态两种尺度的 oracle 一致性，避免单一指标偏差。
• 给出链长度、首次失败 ply、player-specific match 等细粒度指标，使失败模式（早崩 vs. 中段崩溃）清晰可读。
• 跨域对比（偏对策 vs. 无偏对策）有助于验证结论的结构依赖性。

8. 不足与局限

• 覆盖面有限：仅 Connect Four（$6\times 7$）与 Chomp（最多 $10\times 11$）两个微型博弈，结论不应外推到更复杂或非确定性问题。
• 统计力量不足：每配置仅 3 种子、60 轨迹与数十个采样状态，未对结果做置信区间或显著性检验。
• checkpoint 单一：仅评测最终 checkpoint，作者明确将 checkpoint 敏感性列为未来工作。
• 未做的消融：未扫描搜索预算、网络规模、温度、${\lambda }_{\text{aux}}$ 等超参，无法准确分离"oracle 监督"与"额外梯度量"的贡献。
• AZAL 的方法学偏置：依赖外部 oracle 求解器，已脱离 AlphaZero 的"仅靠规则 + 自对弈"原始设定；论文也承认"完全 oracle 引导的辅助监督并非所有场景的通用解"。
• 未与同期方法对比：如 Go-Exploit 等针对深状态欠采样的算法被有意排除，限制了对"数据分布修复"与"监督增强"两种路径相对优劣的判断。
• 失败模式的潜在偏差风险：Connect Four 上的 losing-but-won 比例并未随 AZAL 单调下降，说明自对弈目标污染并未被辅助损失根除，单一 trace-case study 可能放大或误导对失败模式的认知。

（完）