📊 论文图表(共 6 张)

展开查看 6 张图

‹ ›

TL;DR

这项研究为不完美信息纸牌游戏 Gin Rummy 构建了一个基于规则的专家智能体作为固定“量尺”，通过超过一百次消融实验系统识别出哪些训练策略真正有效：信赖域更新、递进式对手课程、热启动预热、保留最佳检查点等组件叠加后，自对弈智能体对抗专家的胜率从约 30% 提升至 36%。研究还发现网络架构对突破上限贡献甚微，暗示真正的瓶颈在于信息而非容量，并成功将方法迁移至 Leduc Hold'em 验证了可扩展性。

研究背景与动机

不完美信息纸牌游戏——如扑克、麻将、Gin Rummy——长期被视为[[强化学习]]与博弈论研究的天然测试床。这类游戏的核心挑战在于：对手的手牌不可见，牌堆的剩余顺序未知，玩家必须在信息不完整的情况下做出影响长远结局的决策。尽管[[深度强化学习]]已在此领域取得突破性进展（从 NFSP 到 Suphx、DouZero），但这些成果往往依赖大规模算力支撑，且面临两个尚未被系统性解决的根本问题。

第一是对手瓶颈。RL 智能体的强度存在天然上限——它永远无法超越训练时所面对的对手质量。用固定弱对手训练，智能体的天花板必然偏低；采用纯自对弈（self-play），智能体只能与自身的副本“打平”，无法获得绝对意义上的提升。更关键的是，当智能体在随机对手身上取得超过 99% 的胜率时，这个指标已经彻底饱和，不再能反映任何有意义的进步。第二是度量瓶颈。由于缺乏廉价、可靠、可复现的绝对度量标准，研究者很难判断“哪种训练选择真的有效”——不同的实验设置之间往往缺乏可比性，结论的可信度因此大打折扣。

这项研究的切入点是：如果能构建一个足够强、且在训练过程中完全不参与对弈的规则化专家智能体，就可以把它当作一把固定的“黄金尺子”，用这把尺子对各种训练策略进行受控的、单因素的比较实验。这把尺子必须满足四个条件：强（能稳定击败待评估的智能体）、固定（所有实验共用同一个智能体）、可复现（确定性规则，无随机性）、廉价（不需要 GPU 即可运行）。

方法

研究为 Gin Rummy 构建的规则引擎专家智能体正是基于上述设计原则。之所以选择 Gin Rummy，是因为它规则相对简单、状态空间可控，同时又是典型的不完美信息博弈，对手建模和长程规划都不可或缺。

专家智能体的核心策略建立在精确的牌型分解基础上。对于任意一手牌，它首先枚举所有可能的顺子和刻子组合，求得最小死牌（deadwood）值——这本质上是该子问题的最优解。在终局决策上，专家遵循三条原则：只在摸到的明牌严格降低可达最小死牌时才选择取牌；丢弃能最小化剩余死牌的牌，当存在多个最优选项时倾向于丢弃高分牌；一旦满足 knock 条件就尽早行动，只有在已经达成 gin 且无需额外等待时才声明 gin。值得注意的是，这个专家完全不进行对手手牌的推理，因此并非博弈论意义下的最优策略，但它足够强、固定、且完全符合评测要求。实验数据印证了这一定位：专家以 70%–99% 的胜率击败所有训练智能体（对最强智能体胜率 70.2%，对随机对手胜率 99.5%），而自身达成 gin 的概率仅有 0.7%–1.7%——这说明“追 gin”实际上是新手陷阱，保守的低风险策略才是制胜之道。

训练智能体的骨架采用 [[PPO]]（Proximal Policy Optimization）和 [[TRPO]]（Trust Region Policy Optimization）共用的 Masked Actor-Critic 架构。观测输入被编码为 $4\times 52$ 的二元张量，分别表示自有手牌、弃牌堆顶、已见弃牌和未知牌集合；动作空间包含 110 个离散动作，每步由环境提供合法动作掩码。一个实现细节值得注意：对于非法动作，研究者选择将其 logits 设为大有限负数而非 $-\infty$，原因是 TRPO 中的共轭梯度法在计算 KL 散度时会对 $-\infty$ 产生数值问题，而有限负值在 softmax 后自然赋予接近零的概率，同时兼容两种算法。

消融实验覆盖了算法选择、奖励塑形、对手课程、预热初始化、检查点策略、状态表示、模仿学习、网络架构等多个维度。关键发现可以概括为“有效的配料”：TRPO 的信赖域更新在稀疏奖励和动态对手设置下比 PPO 稳定高出 7–8 个百分点；保留最佳检查点（而非使用最终权重）能免费回收 2–3 个百分点；从强检查点热启动避免了从头学习的冷启动代价；早期 knock 配合小额死牌减少奖励塑造出的策略风格与专家的保守打法一致；递进式对手课程（随机 → 历史检查点池 → 自对弈混合）比直接裸自对弈更有效，有效防止了在长期训练后陷入策略循环。相反，gin 三倍奖励始终无法提升 gin 率——奖励塑形无法“贿赂”智能体去做数学期望为负的事；学习到的状态嵌入（无论是可微分学习还是冻结的 LLM 评判嵌入）在 6%–14% 之间徘徊，从未超越原始稀疏张量基线的约 15%，说明嵌入过程丢失了“哪些牌在哪”的关键细节；[[DAgger]] 模仿学习则是一个教科书级别的因果混淆案例：训练 loss 降至近零但胜率纹丝不动。

架构对比实验揭示了更具启发性的结论。MLP、Conv1D、Deep Sets、自注意力、LSTM 等不同网络架构的置信区间几乎全部重叠，最佳 Conv1D 达 31.1%，Deep Sets 为 30.4%，而简单 MLP 锚点为 26.7%。这表明网络容量和归纳偏置都不是瓶颈所在，真正的限制来自信息本身。为了直接验证这一直觉，研究者引入了公平 ISMCTS（每步重新发牌模拟不可见信息）和 Oracle ISMCTS（拥有对手手牌信息）。公平 ISMCTS 在 120 次 rollout 下达到 26%，与训练智能体持平；而 Oracle 版本在同等预算下达 41%–85%。26% 与 85% 的差距，就是隐藏信息的价值——这直接量化了“不完美信息”才是性能上限的真正约束。

实验与结果

实验的核心度量是训练智能体对黄金标准专家的胜率，评估时始终取合法动作中概率最高者（不使用随机回退），以避免策略在犹豫状态下被悄悄抬高胜率。主报告使用 2000 局对专家胜率配合 95% 置信区间；大规模架构横扫则采用 IQM（四分位均值）和分层 Bootstrap 置信区间，符合 RL 评估的规范做法。

最关键的结果来自各有效组件的叠加实验。将 TRPO、保留最佳检查点、热启动、递进课程和恰当的奖励塑形组合后，原本约 30% 的自对弈冠军提升至 36%——这个幅度看起来不大，但考虑到专家本身的胜率设定（70% 对所有智能体），36% 意味着智能体已经将胜率从“被碾压”推进到了“可接受的对局质量”。值得注意的是，并非所有直觉上合理的改进都有效：更长的折扣 horizon、更长的奖励塑形 horizon 反而增加了噪声；PFSP（优先自对弈）在小规模下的增益与简单调度持平；实时 LLM 对手虽然 CoT 提示下达成了 98.2% 的合法动作率，但单步推理耗时 9–27 秒，无法支撑百万量级的 RL rollout。

研究还将整套方法迁移至 Leduc Hold'em 进行可迁移性验证。Leduc Hold'em 的优势在于其状态空间极小，可以用 [[CFR]]（Counterfactual Regret Minimization）计算逼近博弈论最优策略作为可靠的绝对基准。CFR 专家的 exploitability 仅为 0.026，几乎可视为最优。表格 Q 学习（8 种子）在该游戏上达到平均回报 $-0.085$，而随机策略约为 $-0.78$，CFR 最优为 0——这表明即便在可计算最优解的游戏中，自对弈方法依然能有效逼近最优。

讨论与可借鉴点

这项研究最深刻的方法论贡献在于展示了评估设计的价值。通过构建一把可靠的“尺子”，研究者将开放性的“如何训练更强的智能体”转化为可回答的“这是什么在限制性能”——前者有无穷多种实验设置难以对比，后者可以通过受控消融给出清晰答案。这种思路对于任何以性能上限探索为目标的研究都具有借鉴意义：与其不断尝试新方法、对比新基线，不如先花力气构建可靠的度量体系，让后续实验变得可比、可信、可积累。

从具体发现来看，几个结论值得反复咀嚼。网络容量不是瓶颈这一发现提醒研究者不要在架构上过度投入，而应更多关注信息层面的问题——如何表征对手的可能手牌、如何在信息不完整时做出鲁棒决策。信赖域更新优于裁剪的经验则表明，在奖励稀疏且对手分布快速变化的环境中，策略更新的稳定性比样本效率更重要。隐藏信息的价值可以被量化这一事实，不仅是 Gin Rummy 的结论，更是不完美信息博弈的普遍规律：搜索能做的有限，真正的突破在于更好地处理信息不完整性。

研究也存在局限。首先，实验规模虽然在消融次数上足够（超过 100 组），但每个实验的种子数量较少（主对比仅 2 种子），这意味着结果的方差可能被低估。其次，论文未提供 GPU 型号、数量或 wall-clock 时间等算力指标，对可复现性构成隐患。再次，研究聚焦于两人博弈游戏，结论在多人博弈或团队博弈中的可迁移性尚待验证。最后，专家智能体虽然足够强，但并非博弈论最优——如果能用更强的专家（例如结合对手建模的搜索增强规则引擎），或许能进一步拉开与智能体的差距，从而更精确地定位有效策略的边际贡献。

摘要

不完美信息纸牌游戏的强化学习智能体的强度取决于其训练对手，而它们难以评估，因为它们击败随机对手的概率超过99%，且只能与自身副本打平。因此我们为金拉米（Gin Rummy）构建了一个强大的、固定的、基于规则的专家智能体，并仅将其用作度量标准，从不用于训练。它以70%到99%的胜率击败了我们训练的所有智能体。在超过一百次实验中，我们分离出使轻量级智能体更强大的因素。信任域更新、恰到好处的奖励、由易到难递进的对手机制、预热启动以及保留最佳检查点均有所帮助，将这些策略叠加可使自博弈冠军智能体对抗专家的胜率从约30%提升至36%。若干想法并未奏效。短期与长期奖励塑形、学习到的状态嵌入、模仿学习与DAgger，以及在线大语言模型对手均效果不佳、过慢或难以规模化训练。对MLP、卷积、基于集合的、注意力机制以及循环编码器的比较表明，额外的网络容量对突破上限作用甚微，暗示瓶颈在于信息而非网络规模。我们加入了标准基线（神经虚拟自博弈与信息集蒙特卡洛搜索），并在Leduc Hold'em上验证了该方法的可迁移性，在该游戏中最优策略是可计算的。最终成果是一个轻量级、与游戏无关的训练方案，无需借助专家进行训练即可训练出有竞争力的智能体，适用于任何小型模型可处理的游戏，并以稳健的统计结果呈现，同时作为可复用的软件包发布。

Abstract

Reinforcement learning agents for imperfect-information card games are only as strong as the opponents they train against, and they are hard to grade, since they beat a random opponent over 99 percent of the time and only tie copies of themselves. So we build a strong, fixed, rule-based expert for Gin Rummy and use it only as a yardstick, never for training. It beats every agent we trained 70 to 99 percent of the time. Across more than a hundred runs, we isolate what makes a lightweight agent stronger. Trust region updates, a well-aimed reward, a curriculum of tougher opponents, warm starting, and keeping the best checkpoint all help, and stacking them lifts a self-play champion from about 30 to 36 percent against the expert. Several ideas did not pay off. Short-term and longer-term reward shaping, learned state embeddings, imitation and DAgger, and a live large language model opponent were each unhelpful, too slow, or too heavy to train at scale. Comparing MLP, convolutional, set-based, attention, and recurrent encoders shows that extra capacity does little to break the ceiling, suggesting the limit is information rather than network size. We add standard baselines (neural fictitious self-play and information set Monte Carlo search) and confirm the approach carries over to Leduc Hold'em, where the optimum is computable. The result is a lightweight, game-agnostic recipe that trains competitive agents without training on the expert, for any game a small model can handle, reported with robust statistics and released as a reusable package.

论文详细总结（自动生成）

论文总结：《一项关于轻量级博弈智能体何以强大的金标准研究》

1. 核心问题与研究动机

• 领域背景：不完全信息纸牌游戏（如扑克、斗地主、麻将、金拉米 Gin Rummy）长期以来是博弈 AI 的经典测试床，其特点是对手手牌不可见、牌堆顺序未知，玩家需要在不确定性下做长程规划与对手建模。深度强化学习（self-play）已在该领域取得超人水平（NFSP、Suphx、DouZero 等），但其成果依赖大规模算力。
• 两大瓶颈：
• 对手瓶颈：RL 智能体的强度上限取决于训练对手的强度。固定弱对手导致能力天花板低；纯自博弈则容易循环、无法衡量绝对强度。
• 度量瓶颈：在大多数此类游戏中缺乏廉价、固定的绝对度量标准。智能体击败随机对手概率超过 99%，与自身副本只能打平，导致无法用现有参照系客观衡量"哪种训练选择真正有效"。
• 研究问题：在轻量级（单 GPU 可跑）的设置下，哪些训练选择（算法、奖励、课程、网络、检查点策略）真正能让智能体更强？ 哪种度量方法能给出干净、可比、可重复的回答？
• 核心假设：若能构建一个强、固定、可复现的"黄金标准"专家智能体，仅用作度量（不参与训练），就能把各种训练技巧变成可严格比较的受控实验。

2. 方法论

2.1 整体思路

• 为 Gin Rummy 构建一个规则化、确定性、强且廉价的专家，仅用于评测；开展百余次单因素消融实验，统一在固定专家胜率下做"苹果对苹果"比较。

2.2 黄金标准专家（Yardstick Expert）

• 精确牌型拆解（Meld Decomposition）：用 RLCard 的枚举方法，对每手牌精确求最小死牌（deadwood）值，是该子问题的最优解。
• 原则性终局策略：
• 仅当摸到的明牌严格降低可达最小死牌时才取之。
• 丢弃能最小化剩余死牌的牌（并列时丢弃高分牌）。
• 一旦合法即尽早 knock；只有可达 gin 而无需拖延时方声明 gin。
• 不做对手手牌推理，因此不是博弈论最优，但满足"强、固定、可复现、廉价"四个评测要求。
• 关键保证：专家从不出现在训练回路中，仅用于打分，避免度量污染。

2.3 训练智能体骨架

• 环境：RLCard 的 gin_rummy_v4（通过 PettingZoo 多智能体接口）。
• 观测：$4\times 52$ 的二元张量（自有手牌、弃牌堆顶、已见弃牌、未知牌集合）。
• 动作空间：110 个离散动作，每步由环境给出合法动作掩码。
• 策略：Masked Actor-Critic，PPO 与 TRPO 共用网络。
• 动作掩码处理：将非法动作的 logits 设为一个大有限负数（而非 $-\infty$），原因如下：
• PPO 容忍 $-\infty$，但 TRPO 中的共轭梯度与 KL 散度计算会产生 NaN；
• 大有限负值在 softmax 后给非法动作赋予接近零的概率，同时保持两套算法共用同一网络。
• 评估动作：始终取合法动作中概率最高者，不使用随机回退——避免在策略犹豫状态时悄悄抬高胜率。

2.4 单因素消融的"配料"

• 算法：PPO（clipping）vs. TRPO（信赖域 KL 约束），共用 GAE 与同一网络。
• 奖励塑形：稀疏终局奖励；调节 gin/knock 相对收益；附加短程死牌减少奖励。用势能塑形视角（potential-based shaping）解释。
• 对手课程（三阶段）：随机 → 历史检查点池 → 自博弈混合；可选用 PFSP（Prioritized Fictitious Self-Play）加权。
• 预热与保留最佳：可从已有强检查点初始化；训练中定期评估，保留最佳而非最后一个。
• 状态表示：原始稀疏 $4\times 52$ 张量 vs. 学习嵌入 vs. LLM 评判嵌入（冻结/解冻、多种维度）。
• 模仿与稠密监督：DAgger、短视稠密奖励（2 步/5 步）。
• LLM 对手：用 Qwen2.5（带 CoT 提示）做在线对手；通过 CPU 主节点 + GPU 工作池 + PagedAttention 缓存降低延迟。
• 网络架构：MLP（宽/深/不对称/极宽/极窄）、Conv1D、Deep Sets、自注意力、LSTM；ReLU/GELU；不同 weight decay。
• 搜索与学习基线：公平 ISMCTS（每步重新发不可见牌）；Oracle ISMCTS（看牌）；NFSP；Leduc Hold'em 上的表格 Q 学习与 CFR 专家。

2.5 关键算法比较（PPO vs. TRPO）

• PPO 目标（裁剪）：

• TRPO 信赖域约束：

3. 实验设计

3.1 数据集/场景

• 主战场：两人 Gin Rummy（RLCard/PettingZoo）。
• 可迁移性验证：Leduc Hold'em（小扑克游戏，可用 CFR 求得博弈论近似最优解；CFR 专家 exploitability = 0.026）。
• 提供可玩的 Web 对局界面供人类评估。

3.2 Benchmark

• 黄金标准专家：固定规则智能体，只用于评测。
• 辅助度量（按需使用）：
• 随机对手胜率（已饱和，仅作下限）。
• 之前自博弈冠军胜率（移动参照，用于上下文）。
• 关键统计：主报告使用 2000 局对专家 + 95% 置信区间；横扫消融使用 400–600 局；架构横扫使用 IQM（四分位均值）+ 分层 Bootstrap 95% CI，符合 Agarwal 等人的 RL 评估规范。

3.3 对比方法

3.4 协议

• 每次只改变一个因子，其余固定。
• 算法主对比：2 种子 × 2M 步。
• 评估用最大概率合法动作，不用随机回退。
• 胜局定义为正向 game score。

4. 资源与算力

• 论文未明确报告 GPU 型号、数量或训练总机时。
• 仅可从文本推断的信息：
• 智能体定位为"轻量级、单 GPU"。
• 自注意力编码器"在 CPU 上自然梯度二次求导代价过高、在 GPU 上不稳定"——表明实验至少用到了 GPU。
• LLM 服务栈（CPU 主节点 + GPU 工作池 + PagedAttention 缓存），意味着至少部署了一个 LLM 推理集群。
• 训练规模：算法主对比为 $2\times 10^6$ 步；课程/池实验跨越约 $10^7$ 步；NFSP 用到 $3\times 10^6$ episodes。
• 评测量：主报告 2000 局对专家，横扫消融每格 400–600 局；架构横扫使用 IQM（暗示多个种子）。
• 未提供：每个实验的具体 wall-clock 时间、GPU 型号/数量、显存占用、整体能耗等关键算力指标——这是该论文可复现性方面的一个明显缺口。

5. 实验数量与充分性

• 总体规模：超过 100 组受控实验（论文多次明确提及），含架构、奖励、课程、表示、模仿、LLM 对手等维度。
• 充分性证据：
• 每个训练选择都用单因素消融，并配合双种子与置信区间。
• 架构横扫在 MLP 变体、Conv1D、Deep Sets、LSTM、自注意力等多类网络间用 IQM + Bootstrap CI 排序，确保排名稳健。
• 在第二游戏（Leduc Hold'em）上整套方法迁移，且对手是可计算最优的 CFR 专家，结论可直接校验。
• 评测集全部使用相同固定专家，避免自参照偏差。
• 公平性措施：
• 专家仅用于评测，不进入训练；
• 评估统一取 argmax 合法动作；
• 报告 IQM 而非单一最佳种子；
• 胜率包含置信区间。
• 可能的不足：
• 未对统计显著性做多重比较校正；
• 横扫样本量（400–600 局）相对于置信区间宽度而言接近极限，敏感的小幅差异可能被淹没——但论文结论多属"重叠即相同"的稳健判定。

6. 主要结论与发现

6.1 关于黄金标准专家

• 专家以 70%–99% 胜率击败所有训练智能体（对冠军 70.2%，对随机 99.5%）。
• 专家自身 gin 率仅 0.7%–1.7%：靠"早 knock、低死牌"取胜。
• 启示：追 gin 是新手陷阱，奖励设计应鼓励低风险 knocking。

6.2 有效的训练配料（叠加后冠军从 ~30% → ~36%）

• ✅ 信赖域更新（TRPO > PPO）：在稀疏奖励与变化对手下，TRPO 比 PPO 稳定 7–8 个百分点。
• ✅ 保留最佳检查点：每 1M 步评估并保留最佳，免费回收 2–3 个百分点。
• ✅ 预热（warm-start）从冠军初始化：先强再特化，而非从零学起。
• ✅ 早期 knock + 小额死牌减少奖励：与专家低风险风格一致。
• ✅ 递进式对手课程（随机 → 检查点池 → 自博弈）：避免裸自博弈 10M 步后陷入策略循环。

6.3 无效或有害的配料

• ❌ "gin 三倍奖励"：gin 率始终低于 1%，与不奖励 gin 统计上无差——奖励塑形不能贿赂智能体去做赔本的事。
• ❌ 学习嵌入（learned / LLM-judged 嵌入）：6%–14%，从未超过稀疏基线（约 15%）；嵌入丢失了"哪些牌在哪"的细节。
• ❌ DAgger：训练 loss 近零但胜率几无——因果混淆（causal confusion）的教科书案例。
• ❌ 稠密短视奖励：horizon=2 不学，horizon=5 在 500K 步后停滞，开始刷分不赢。
• ❌ 实时 LLM 对手：CoT 提示下 98.2% 合法动作（简提示仅 79.3%）；单步 9–27 秒，对百万级 RL rollout 太慢。
• ❌ PFSP 加权：在小规模下与简单调度持平，无显著增益。
• ❌ 更长折扣/更长奖励 horizon：增加噪声而非远见。

6.4 架构横扫结论

• MLP、Conv1D、Deep Sets、LSTM、自注意力的 IQM 置信区间几乎全部重叠：最佳 Conv1D 31.1%，Deep Sets 30.4%，MLP anchor 26.7%。
• 网络容量与归纳偏置均不是瓶颈。
• LSTM 相对其前馈对照有提升（24.3% vs. 19.2%），但未突破上限。
• 自注意力在 TRPO 下不可用，在 PPO 下与 MLP 持平。

6.5 公平搜索的极限

• 公平 ISMCTS（每步重发不可见牌）：10/30/60/120 次 rollout → 10%/17%/21%/26%，仍弱于训练智能体。
• Oracle ISMCTS（可见隐藏牌）：同一预算 → 41%–85%。
• 26% 与 85% 之差 = 隐藏信息的价值——直接量化"信息而非搜索"才是上限。

6.6 第二游戏（Leduc Hold'em）

• CFR 专家（exploitability 0.026）为度量基准。
• 表格 Q 自博弈（8 种子）：平均回报 $-0.085$（随机约 $-0.78$，CFR 最优为 0）——接近最优。
• NFSP（3M episodes, 4 种子）：平均 $-0.71$，接近随机——神经均衡基线在中小游戏上需数据远多于表格方法。

6.7 总体定量成果

7. 优点与亮点

• 方法论贡献——"金标准专家"作为不变度量：把"靠随机/自身副本评测"这一公认痛点变成可解决的实验设计问题。
• 严格受控的消融：百余次实验、单因子变化、共享骨干与统一评测，结论可重复。
• 负面结果的价值：DAgger 失败 → 因果混淆；稠密奖励失败 → 短视；LLM 实时对手失败 → 延迟瓶颈；奖励塑形无法诱导追 gin——每个负面都给出一致性解释。
• 跨游戏验证：在 Leduc Hold'em 上以可计算最优（CFR）再次验证整套思路，证明方法游戏无关。
• 信息瓶颈的可量化证据：公平 ISMCTS vs. Oracle ISMCTS 的差距直接测度"隐藏信息的价值"，比"无法量化"的天花板更锐利。
• 统计稳健性：报告 IQM + 分层 Bootstrap CI，并使用 95% CI 的 2000 局主评测——超出一般 RL 论文的统计严谨度。
• 工程细节扎实：动作掩码用大有限负值同时兼容 PPO/TRPO；LLM 服务栈带 PagedAttention 缓存。
• 开源交付：训练管线、专家、LLM 服务栈、Web 客户端均已发布。
• 经验法则落地："先 knock、保最佳、信赖域、递进课程、预热"——可直接迁移到其他两人不完全信息游戏。

8. 不足与局限

• 算力披露不充分：未给出 GPU 型号/数量、总训练时长、能耗，可复现性的关键信息缺失。
• 专家并非博弈论最优：仅在牌型拆解子问题上最优，整体 Gin Rummy 仍无低代价最优解；所有"对专家胜率"是有意义的参照距离，而非"到完美"距离。
• 仅研究两人游戏 + 一个游戏为主战场：具体数值针对 Gin Rummy，第二游戏仅 Leduc Hold'em 验证；三人或更多玩家、更多信息维度（如麻将）的迁移性未充分证明。
• 智能体仍是反应式前馈策略：仅测试了简单 LSTM，缺乏显式的对手手牌推断与信念状态搜索；这是后续突破信息瓶颈的关键。
• 自注意力被剔除：因 TRPO 下二次求导代价过高而放弃对照，留下一个主要架构空白。
• 评测样本量：横扫消融 400–600 局虽足以排定"是否重叠"，但对小效应（如 PFSP vs. 简单调度）的检测力有限。
• LLM 实验范围有限：仅作在线对手，未做离线数据蒸馏（虽然服务栈可支持）。
• 奖励塑形可解释性的因果链未定量：用势能塑形解释"奖励无法诱导 gin"是定性论证，未给出形式化的不可能性证明。
• 未见多重比较校正：上百组实验在 95% CI 下做"重叠即无差"判断，理论上存在 Family-Wise 假阳性风险（但因结论多为"无效"且与机制解释一致，影响有限）。
• 应用限制：本研究的"轻量级"仍以两人有限状态游戏为前提；将同一管线应用于麻将、桥牌或商业谈判类复杂场景时，课程与表示设计的成本将显著上升。

（完）