📊 论文图表(共 7 张)

展开查看 7 张图

‹ ›

TL;DR

研究者从零搭建了一个完全离散化的《超级马里奥兄弟》1-1 关环境，系统对比了四种强化学习算法在该关卡上的学习效果，并设计了一组课程实验来检验经典关卡片段排列的教学价值。结果表明，[[蒙特卡洛方法]]以94.9%的胜率显著超越[[DQN]]的76.4%，而1-1关的经典片段顺序在收敛速度、学习效率和稳定性三项指标上全面优于所有随机排列，首次以实证方式证明了这个被游戏设计界奉为圭臬的关卡确实蕴含着真实、可量化的教学结构。

研究背景与动机

《超级马里奥兄弟》的1-1关几乎是所有游戏设计教科书都会引用的经典案例。这条看似平平无奇的第一关据说是宫本茂专门为新玩家打造的“入门教程”：它从最简单的右移开始，逐步引入跳跃、踩敌人、顶砖块等机制，行云流水地让玩家在通关的过程中自然掌握游戏的核心操作。这种“通过关卡本身传授机制”的设计理念听起来很美，但它究竟是真实存在的设计智慧，还是后人根据结果倒推出来的“事后诸葛亮”？

这个问题之所以值得认真研究，是因为它触及了[[课程学习]]（Curriculum Learning）领域的核心议题：如果一个游戏关卡的片段排列顺序真的能够系统性地影响学习效果，那么这种可量化的教学结构就可以被提炼成设计原则，迁移到教育软件、智能辅导系统乃至[[强化学习]]智能体的训练流程中。反过来说，如果经典顺序只是众多可行排列中的一种偶然优秀排列，那游戏设计史上关于1-1关的传奇就只能停留在叙事层面。

论文试图用实证方法回答两个具体问题：第一，在1-1关的三个复杂度递增版本上，哪种强化学习算法学得最好、为什么；第二，把关卡切成六个经典片段后，这些片段的顺序是否会影响智能体的学习效果——换言之，经典排序是否真的比随机排列更“教学友好”。

方法

研究者的第一个关键决策是从零实现环境而非使用现成的游戏模拟器。这个选择有其深意：完全离散化能确保实验的纯净性，避免第三方库的工程噪声干扰对学习算法的理解。

环境建模从212列×14行的瓦片网格出发，忠实再现了NES原版的几何布局。他们构建了三个复杂度递增的版本：v1版本只包含地形、管道和终点旗杆，没有任何可交互对象；v2版本在精确位置加入了可破坏砖块和问号块；v3版本则加入了17个敌人——16个蘑菇头加1个乌龟，敌人具有NES准确的速度值、真实的重力效果和踩踏击杀机制。

状态空间的维度随着复杂度上升而扩展。v1只需要一个三元组$(col,row,jump\_phase)$就能完整描述；v2引入了56维的视口向量来记录视野范围内的砖块和问号分布；v3进一步将敌人信息纳入视口，总状态维度达到115。动作空间被刻意精简为三个离散选项——站立、向右移动和跳跃，其中跳跃被建模为固定六帧的弧线轨迹。这个简化使得研究者能够把注意力集中在比较不同[[强化学习]]算法的能力差异上。

奖励函数的设计体现了对“方向性引导”的考量。智能体右移一步获得+0.5的奖励，站立不动则获得-0.1的惩罚，抵达旗杆获得+100的终局奖励，死亡扣除-50。额外的奖励项——击碎砖块+1、顶问号块+3、踩死敌人+5——在v2和v3版本中被激活。这个奖励结构经过精心标定，使得完整通关的累积方向奖励（大约49.5分）与胜利奖励（100分）保持合理的权重关系。

在算法选择上，研究者纳入了四种具有代表性的方法。[[Q-Learning]]作为off-policy时序差分方法的代表，采用${\max }_{a^{\prime }}Q(s^{\prime },a^{\prime })$计算目标值；[[SARSA]]作为on-policy时序差分方法的代表，采用$Q(s^{\prime },a^{\prime })$计算目标值；[[蒙特卡洛方法]]采用first-visit采样均值估计，以完整回合的累积折扣回报$G_t={\sum }_{k=0}^{T-t-1}{\gamma }^k{r}_{t+k+1}$作为更新目标；[[DQN]]使用双网络架构和经验回放缓冲来处理高维状态空间。所有算法共享$ϵ$衰减策略（初始值1.0，乘性衰减0.999）和$\gamma =0.99$的折扣因子。

课程实验的设计尤为精巧。研究者将v3关卡划分为六个段落（A到F），对应原版1-1关的标志性设计元素：开场的平坦地形、第一组沟壑与管道、问号块密集区、蘑菇头连绵的挑战段落、地下管道入口，以及最后的旗杆冲刺。他们设置了12种排列条件进行对比——经典顺序、逆序、以及10种随机排列。评估指标覆盖胜率、曲线下面积（AUC）、收敛速度（达到50%和80%胜率所需的回合数），以及“灾难性失败”率（最终胜率低于10%的种子比例）。

实验与结果

算法对比的结果揭示了一个出人意料的格局。在最简单的v1版本上，所有算法的表现都接近完美，SARSA以100.0%的胜率略微领先。但随着复杂度上升，[[蒙特卡洛方法]]逐渐拉开差距：在v2上达到99.9%的胜率，在v3上仍保持94.9%的惊人表现，而[[DQN]]在v3上暴跌至76.4%。

更深入的分析表明，DQN失败的根本原因在于其经验回放机制——死亡转移的频繁出现污染了回放缓冲，导致智能体学会了“过度保守”的回避策略，v3上每回合仅击杀1.38个敌人。蒙特卡洛方法的胜出则源于其episode-level的更新特性：它能够学会沿着高回报路径（如踩死更多敌人、击碎更多砖块）最大化累积奖励，而不是贪心地选择最短通关路线。

课程实验的结果更具说服力。经典顺序A→B→C→D→E→F在三项关键指标上全面领先：94.7%的最终胜率、67.2%的AUC值，以及零次灾难性失败。逆序排列F→E→D→C→B→A的胜率仅为48.5%，且有40%的训练种子遭遇灾难性失败；10种随机排列的平均胜率虽然达到89.0%，但没有任何一个排列能在三项指标上同时与经典顺序比肩。

这个结果的统计学显著性相当扎实。经典顺序与逆序的胜率差异通过了Welch's t检验（$p=0.005$, Cohen's $d=1.64$），收敛速度差异同样显著（$p=0.0023$, $d=1.88$）。研究者进一步用[[DQN]]重复了相同的课程实验，发现其对所有12种排列几乎毫无差异（$F(2,57)=0.19$, $p=0.82$），证实经验回放机制抹除了时间顺序信号——这是对“为何顺序敏感”机制的一次精准定位。

段落D（9只蘑菇头连续出现）是关键转折点。当它被过早放置在课程中时，早期死亡引发的负反馈在蒙特卡洛的episode-level更新下难以恢复，形成灾难性的失败链；而经典顺序将其安排在玩家已熟悉基本操作之后，提供了恰到好处的挑战梯度。

讨论与可借鉴点

这项研究最核心的价值在于方法论：它把一个游戏设计领域的“都市传说”转化为可证伪的经验命题，并通过严格的实验设计给出了肯定的回答。这种“神话祛魅”式的研究路径值得借鉴——无论是游戏设计、教育心理学还是[[课程学习]]领域，任何声称具有“教学结构”的设计都可以被拆解成可测量的变量。

研究对[[强化学习]]实践者也有直接的启发。实验揭示了经验回放机制的一个隐藏代价：它能提升算法鲁棒性，但同时也会抹除训练数据中的时序信息。对于需要捕捉episode-level结构的任务（如需要学习“策略性放弃短期收益以换取长期回报”的场景），纯[[蒙特卡洛方法]]可能比广泛使用的[[DQN]]更合适。这个发现在一定程度上回应了学界对“基于值函数的强化学习是否过于短视”的隐忧。

研究的局限性同样值得正视。课程实验仅测试了10种随机排列，最佳随机排列（Map 3，95.2%胜率）与经典顺序在统计上不可区分，这削弱了“经典顺序不可替代”的强结论。更重要的是，研究者承认未在其它马里奥关卡或非马里奥游戏上验证泛化性，结论的外部效度有待检验。此外，DQN的超参数仅在v1上调试，v3上的76.4%胜率可能并非其能力上限。

尽管如此，这项研究填补了一个有趣的空白：它首次用量化证据表明，游戏设计史上流传的1-1关“教学价值”并非事后附会，而是一种可以被[[强化学习]]捕捉、可以被统计检验证伪的真实设计特征。这种对直觉的系统性验证，正是计算认知科学能够为设计领域提供的独特贡献。

摘要

《超级马里奥兄弟》的 1-1 关被广泛誉为游戏设计的典范：其渐进式结构被认为能够通过关卡本身向玩家传授核心机制。我们试图探究这种结构能否利用强化学习进行经验性度量。我们从零开始将 1-1 关实现为一个完全离散的环境，并在同一关卡的三个复杂度递增版本上比较了四种算法——Q-Learning、SARSA、蒙特卡洛与深度 Q 网络（DQN）。其中蒙特卡洛成为表现最强的智能体（胜率 94.9% ± 1.5%），优于 DQN（76.4% ± 3.4%），其优势在于学会在获胜路径上最大化中间奖励，而非采取最直接的路线。随后，我们使用蒙特卡洛开展课程实验，在十二种条件下对 1-1 关的六个经典片段进行排列组合。结果表明，经典顺序收敛最快、学习效率最高，并且是唯一一种不出现灾难性失败的条件；没有任何随机排列能够同时满足全部三项标准。据我们所知，这是首次以实证方式验证 1-1 关的经典设计蕴含着真实的教学结构：一种能够被量化地加速学习、且无法被偶然复现的结构。

Abstract

World 1-1 of Super Mario Bros is widely celebrated as a masterclass in game design: its progressive structure is credited with teaching players core mechanics through the level itself. We ask whether that structure is empirically measurable using reinforcement learning. We implement World 1-1 from scratch as a fully discrete environment and compare four algorithms -- Q-Learning, SARSA, Monte Carlo, and Deep Q-Network (DQN) -- across three progressively complex versions of the same level. Monte Carlo emerges as the strongest agent (94.9% $\pm$ 1.5% win rate), outperforming DQN (76.4% $\pm$ 3.4%) by learning to maximize intermediate rewards along winning paths rather than taking the most direct route. We then use Monte Carlo in a curriculum experiment permuting World 1-1's six canonical segments across twelve conditions. Canonical ordering converges fastest, achieves the highest learning efficiency, and is the only condition with zero catastrophic failures; no random permutation matches all three criteria simultaneously. These results provide, to the best of our knowledge, the first empirical validation that World 1-1's canonical design encodes genuine pedagogical structure: one that measurably accelerates learning and cannot be replicated by chance.

论文详细总结（自动生成）

论文总结：强化学习视角下的《超级马里奥兄弟》1-1 关教学结构实证研究

1. 核心问题与研究动机

核心问题：《超级马里奥兄弟》1-1 关被誉为游戏设计典范，其"渐进式结构"被认为能通过关卡本身向玩家传授核心机制。然而这种"教学结构"究竟是真实的、可量化的设计特征，还是后人附会的"设计神话"？论文旨在用强化学习（RL）作为经验性测量工具，回答两个研究问题：

• RQ1：哪种 RL 算法在该关卡上学习最有效？答案是否随关卡复杂度而改变？
• RQ2：1-1 关的经典段落顺序是否确实加速了 RL 学习，抑或只是随机排列中的一种偶然？

整体含义：若能实证证明经典排序在学习效率、收敛速度和稳定性上系统性地优于随机排列，则意味着该关卡设计蕴含了不可被偶然复现的真实教学结构——这对游戏设计、教育 RL 乃至 curriculum learning 理论均有意义。

2. 方法论

2.1 环境设计（从零实现）

• 关卡表示：212×14 瓦片网格，NES 原版几何严格离散化。
• 三个复杂度版本：
• v1（静态）：地形、管道、缺口、终点旗杆，无可交互对象；
• v2（+砖块）：在 NES 准确位置加入可破坏砖块与可顶问号块；
• v3（+敌人）：加入 17 个敌人（16 Goomba + 1 Koopa），含 NES 准确速度（每个马里奥瓦片步移动 1/3 格）、重力、级联激活、踩踏机制。
• 状态空间（随复杂度增长）：
• v1：$s=(col,row,jump\_phase)$，三元素元组；
• v2：附加 56 维 viewport 元组（覆盖 NES 屏幕宽度 28 列×2 行瓦片码）；
• v3：viewport 扩展至 112 维，区分地形行与敌人行，总元组长度 115。
• 动作空间：仅三个离散动作——站立 / 向右 / 跳跃（跳跃固定为 6 帧弧线轨迹 $(-2,-3,-4,-4,-3,-2)$，跳跃中可继续水平移动）。
• 奖励函数：

其中 $+0.5/\text{步}$ 的标定使得完整通关的方向性累计奖励（$\approx 99\times 0.5=49.5$）与胜利奖励（$+100$）权重相当。

2.2 四种算法

• Q-Learning（off-policy TD）：

• SARSA（on-policy TD）：

• Monte Carlo（first-visit, sample-mean）：

其中 $G_t={\sum }_{k=0}^{T-t-1}{\gamma }^k{r}_{t+k+1}$。

• DQN：PyTorch MLP（input → 128 → 128 → 3，ReLU 激活），经验回放 50000、目标网络每 500 步同步、每 4 步训练一次、$\eta =10^{-4}$、batch=64。

所有算法共享 $ϵ$ 衰减（${ϵ}_0=1.0$，乘性 0.999，tabular 最低 0.01，DQN 最低 0.05）与折扣 $\gamma =0.99$。

2.3 课程实验设计

将 v3 关卡划分为 6 个段落（A–F），通过 12 种排列进行测试：1 个经典顺序 + 1 个逆序 + 10 个随机排列（固定排列种子 200–209，独立于训练种子 42–46）。旗杆固定于第 198 列，出生点保留 3 瓦片安全区。评估指标包括：最终胜率、平均回报、收敛速度（达 50%/80% 胜率的回合数）、AUC（曲线下面积）、灾难性失败率（最终胜率 <10% 的种子占比）。

3. 实验设计与对比方法

• 场景/数据集：单一关卡——Super Mario Bros World 1-1，分三个复杂度版本。
• 对比算法：Q-Learning、SARSA、Monte Carlo、DQN（四者在 v1/v2/v3 上全对比）。
• 课程对照：经典 A→B→C→D→E→F vs 逆序 F→E→D→C→B→A vs 10 种随机排列。
• 机制对照：DQN 作为对照跑相同的 12 种课程条件，以隔离"更新机制"对顺序敏感性的影响。
• 统计检验：Welch's t-test 配对比较、Cohen's d 效应量、单因素 ANOVA（DQN 课程检验）、${\eta }^2$。

4. 资源与算力

论文未明确报告 GPU 型号、数量或训练时长。从实验规模推断：60 主实验 + 60 课程实验 + 60 DQN 课程对照 = 共约 180 组训练，每组 10000 回合；DQN 涉及 PyTorch MLP 训练，估计在普通消费级 GPU（如单卡 RTX 系列）甚至 CPU 上即可完成，但作者未给出具体硬件与耗时信息。这一点是透明度上的不足。

5. 实验数量与充分性

• 主对比实验：4 算法 × 3 关卡版本 × 5 种子 = 60 次训练，每回合上限 10000。
• 课程实验（MC）：12 条件 × 5 种子（经典与逆序扩至 10 种子）= 约 65 次训练。
• 课程实验（DQN 对照）：12 条件 × 5 种子 = 60 次训练。
• 统计显著性：关键比较均通过 Welch's t-test 检验并报告效应量（d 值 1.64–7.04）。
• 充分性评价：
• ✅ 多种子、统计检验规范；
• ✅ 设置 DQN 平行对照以隔离机制；
• ⚠️ 课程实验仅 10 种随机排列，样本量小，最佳 Map 3（95.2%）与经典顺序统计上不可区分，削弱了"经典唯一最优"的结论强度；
• ⚠️ 缺乏在不同关卡（如 1-2、1-3）或非马里奥游戏上的泛化验证。

6. 主要结论与发现

6.1 算法对比

• MC 全局性回报传播使其在 v3 上显著优于 Q-Learning（$p=0.0008$, $d=3.85$）、SARSA（$p=0.012$, $d=2.56$）、DQN（$p=0.0001$, $d=7.04$）；
• MC v3 击败更多敌人（3.28–3.78 范围）、击碎更多砖块（4.05）和问号块（5.20），形成"高回报路径"而非"最短路径"；
• DQN 在 v1 上灾难性失败（仅 $10.6\%\pm 3.7\%$），原因在于稀疏正向信号下回放缓冲被死亡转移主导；在 v2 中因问号块密集奖励恢复至 $93.4\%$；在 v3 上仅 $76.4\%$，学会"过度保守"的回避策略（仅 1.38 杀敌/回合）。

6.2 课程实验

• 经典顺序是唯一同时满足"最高胜率、最快收敛、零灾难性失败"的条件；
• 经典 vs 逆序胜率差异显著（$p=0.005$, $d=1.64$），收敛速度差异亦显著（$p=0.0023$, $d=1.88$）；
• 关键机制：段落 D（9 只 Goomba 的敌人难关）过早出现会引发早期死亡级联，使 MC 因 episode-level 更新而难以恢复。

6.3 DQN 课程敏感性对照

DQN 对所有 12 种排列几乎无差异（$F(2,57)=0.19$, $p=0.82$, ${\eta }^2=0.007$），证实经验回放缓冲抹除了时间顺序信号，是其"鲁棒但无教学敏感性"的根源。

7. 优点

1. 环境实现的纯净性：完全从零实现，未使用任何游戏或 RL 环境库，排除工程噪声；

2. NES 物理忠实性：敌人速度、跳跃弧线、瓦片位置均与原版一致，保证结果可解释性；

3. 复杂度阶梯设计：v1→v2→v3 揭示 DQN 失败的真正原因是奖励密度而非状态空间大小，提供了一个反直觉的洞见；

4. 机制对照严谨：DQN 平行课程实验精确定位了"episode-level 更新 vs replay buffer"是顺序敏感性的因果源；

5. 统计报告规范：均值 ± 标准差 + Welch's t-test + Cohen's d，避免单次运行的随机性误判；

6. 科学价值跨界：将一个游戏设计传说转化为可证伪的经验命题，并给出了肯定答复。

8. 不足与局限

1. 关卡单一性：仅在 1-1 关上验证，结论能否推广至其它马里奥关卡（如 1-2、1-3、4-2）或非马里奥游戏未知；

2. 状态设计简化：无左移、跳跃弧线固定、无 Mario 高度变化、无多金币/动力提升道具、敌人被均匀视为 Goomba，偏离了完整 NES 物理；

3. 奖励函数工程痕迹：方向性奖励 $+0.5$ 与原 Kautenja 设置绑定，可能在更稀疏环境下重排序结果；

4. 课程实验样本量小：10 种随机排列下，最佳随机图（Map 3：95.2%）与经典顺序在胜率上统计不可区分，削弱了"经典不可替代"的强结论；

5. DQN 调参不充分：作者承认超参数仅在 v1 上调优，是否对 v3 完全最优存疑（DQN v3 仅 76.4% 可能并非上限）；

6. 算力与时长不透明：未报告硬件、训练时间与超参搜索成本，难以复现与横向比较；

7. 未涵盖 SARSA / Q-Learning 的课程敏感性：作者自承未测试 TD 单步更新是否产生"中间型"敏感性，限制了对"更新机制光谱"的完整论证；

8. 缺乏对人类玩家数据的对比：若能与人类通关曲线对齐，将进一步强化"教学结构"的论据；

9. 过拟合风险：defaultdict Q-table 在 v3 上记录 115 维状态虽精确，但训练种子仅 5–10，奖励/状态共现概率的低样本估计可能放大胜率方差。

（完）