衡量仿真到现实的差距：为人工智能物联网系统中的强化学习设计经济实惠的真实世界基准平台

📊 论文图表(共 48 张)

展开查看 48 张图

‹ ›

TL;DR

这篇论文为人工智能物联网（AIoT）中的强化学习研究搭建了一个经济实惠的真实世界基准平台。研究者用低于 400 美元的市售组件，让部署在边缘设备上的智能体通过硬件模拟键盘在主机上玩电子游戏来训练强化学习策略。实验揭示了一个惊人的发现：在仿真环境中训练好的智能体直接部署到真实环境后，性能相对于人类水平下降了 1160%，这意味着存在极其显著的仿真到现实差距。而如果直接在真实环境中用 DQN 训练一千万步，则能达到约 38% 的人类水平性能，证明了真实世界强化学习的可行性。

研究背景与动机

强化学习作为人工智能领域的核心技术之一，近年来在游戏、机器人控制、自动驾驶等场景中取得了令人瞩目的成就。在 AIoT 系统中，强化学习同样被寄予厚望——智能家居设备可以学习用户的作息习惯自动调节温控，工业传感器能够自主优化数据采集策略，自动驾驶车辆在边缘端实时做出决策。然而，[[强化学习]] 的本质是「试错学习」，智能体需要通过不断尝试、接收奖励反馈、调整策略来逐步提升性能。这种探索过程在真实环境中往往成本高昂甚至危险重重——试想一个正在学习行走的机器人如果每次摔倒都可能损坏昂贵的硬件，或者一辆自动驾驶汽车在真实道路上「探索」各种危险驾驶行为。

正因如此，绝大多数强化学习研究选择在仿真环境中进行。仿真环境提供了可控的、廉价的、可无限重置的实验条件，研究者可以在短时间内完成数百万步的训练迭代。然而，这种对仿真的依赖引入了一个根本性的挑战：[[仿真到现实]]（Sim-to-Real）迁移问题。在仿真中表现优异的策略，部署到真实物理世界后常常出现性能急剧下降甚至完全失效的情况。这是因为仿真环境无论如何精细，都难以完美复现真实世界的物理特性、传感器噪声、延迟特性等细节。

为了应对这一挑战，机器人领域已经开发了多种同步仿真与物理平台（Sim-to-Real platforms），用于评估和缩小仿真与现实之间的差距。但在 AIoT 领域，这样一个通用的仿真到现实基准平台一直付诸阙如。研究者们往往各自搭建实验环境，导致实验结果难以复现、不同方法之间缺乏公平对比。针对这一空白，本文提出了一种专门面向 AIoT 系统的真实世界基准平台，旨在为强化学习在 AIoT 中的研究和应用提供可靠的评测基础。

方法

这篇论文的核心贡献是搭建了一个低成本、可复现的[[仿真到现实]]基准平台。整个系统的设计思路非常巧妙：用电子游戏作为实验载体，让强化学习智能体学习玩游戏，既保留了强化学习的核心挑战，又天然规避了真实世界 RL 部署的安全风险。

具体来说，系统由三个核心部分组成。第一部分是边缘设备，研究者将强化学习智能体部署在树莓派或其他低成本的边缘计算设备上，负责运行决策算法并生成控制指令。第二部分是主机，一台独立的普通计算机，运行 Atari 游戏模拟器（如 Pong、Breakout 等经典游戏）作为任务环境。第三部分是硬件模拟键盘，这是整个系统的关键创新点——边缘设备不通过软件 API 而是通过一块微控制器硬件模拟键盘输入信号，直接控制游戏中的角色动作。这种硬件层级的交互方式更接近真实世界的传感器-执行器闭环，更能反映真实部署场景中的信号传输延迟和噪声特性。

在输入端，系统使用视觉信息作为智能体的观测——边缘设备通过摄像头捕捉游戏的屏幕画面，经过预处理后作为神经网络的输入。这种基于视觉的输入方式与许多真实世界的 AIoT 应用场景（如视频监控、自动驾驶视觉感知）高度一致，增加了实验的实际参考价值。整个平台的硬件成本控制在 400 美元以内，使用的是市面上随时可购得的普通组件，确保了其他研究者能够轻松复现。

研究者采用 [[深度Q网络]]（DQN）作为主要的强化学习算法。DQN 是深度强化学习领域的经典算法，使用卷积神经网络逼近状态-动作值函数（Q函数），通过经验回放和目标网络等技巧稳定训练过程。选择 DQN 的原因在于它具有良好的可复现性、相对成熟的技术栈，以及足够的代表性——如果 DQN 能在该平台上展现可接受的性能，说明该平台对于更复杂的强化学习算法同样具有适用性。

实验与结果

实验设计围绕两个核心问题展开：仿真训练的智能体在真实环境中表现如何，以及直接在真实环境中训练强化学习是否可行。

第一个实验考察了[[仿真到现实]]差距的严重程度。研究者首先在标准仿真环境中（Atari 游戏模拟器）用 DQN 训练了 Breakout 和 Pong 两个游戏，达到了约 100% 的人类水平性能——也就是说，在仿真中智能体已经能够与人类玩家相媲美。然而，当这些「仿真冠军」被部署到真实世界的基准平台上时，性能出现了灾难性的下降。以 Breakout 游戏为例，智能体在真实环境中的得分仅为仿真环境的十分之一左右，综合评估显示性能相对于人类基准下降了 1160%。这个数字背后的含义是：原本在仿真中与人类旗鼓相当的智能体，到了真实环境中连人类玩家的百分之一都不如。这种巨大的落差生动地说明了仿真与现实之间那条看似微小的鸿沟，实际上可能是多么难以逾越。

研究者分析了导致这一巨大差距的可能原因。仿真环境中的游戏帧率是恒定且精确的，而真实摄像头捕捉的画面存在帧率波动；仿真中的键盘输入响应时间是零延迟的，而硬件模拟键盘引入了真实的信号传输延迟；仿真环境中的视觉输入是完美的像素级复制，而摄像头捕捉的画面存在光照变化、视角畸变、噪点干扰等真实世界的「狼狈」。正是这些在仿真中被忽视或理想化的细节，在真实部署时逐一暴露出来，成为性能杀手。

第二个实验探索了真实世界强化学习的可行性。研究者直接在真实环境中启动 DQN 训练，让智能体从零开始学习玩游戏。这个过程耗时更长、成本更高——总共训练了一千万步。实验结果表明，经过充分训练后，智能体在 Breakout 游戏中达到了约 38% 的人类水平性能。虽然与仿真训练的「完美」表现相去甚远，但这个结果证明了一个重要的命题：在真实世界中直接训练强化学习是可行的，只是需要更长的训练时间和更鲁棒的方法。

两种训练方式的对比清晰地揭示了当前强化学习研究的一个核心困境：仿真环境提供了高效的训练条件但无法保证迁移能力，真实环境提供了真实的挑战但训练成本高昂。这恰恰凸显了可靠的仿真到现实基准平台的必要性——它为研究者提供了在受控环境中系统性地研究迁移问题的工具。

讨论与可借鉴点

这项研究的最直接贡献是提供了一个可复现、低成本、面向 AIoT 领域的仿真到现实基准平台。这填补了该领域的一个重要空白——此前研究者要评估 RL 方法的仿真到现实迁移能力，往往需要自行搭建昂贵的硬件平台，或者借用机器人领域不具代表性的环境。有了这个平台，研究者可以在标准化的条件下对比不同算法、不同网络架构、不同训练策略的迁移效果，加速该领域的知识积累。

从更宏观的角度看，这项研究揭示的问题——1160% 的性能落差——对整个强化学习社区都具有警示意义。我们常用「simulation-to-reality gap」来描述这个问题，但这篇论文用具体的数字让我们意识到这个 gap 可能比我们想象的更加严峻。这意味着，对于任何希望在真实世界中部署强化学习的应用——无论是智能制造、自动驾驶还是 AIoT——都需要认真对待仿真环境的建模精度问题，而不是简单地将仿真结果等同于真实性能。

论文也存在一定的局限性。首先，游戏任务的复杂度相对有限，真实世界的 AIoT 任务往往涉及更复杂的时序依赖、多智能体交互和安全性约束。其次，平台仅使用了视觉输入，在一些依赖其他传感器模态的 AIoT 场景中代表性有限。第三，38% 的人类水平性能虽然证明了可行性，但距离实用仍有差距，说明更先进的真实世界 RL 算法值得进一步探索。

对于后续研究而言，这个平台可以作为一个良好的起点。例如，可以在此基础上研究如何减小仿真到现实的差距（如 Domain Randomization、World Models、对抗训练等方法）；也可以探索更高效的边缘端在线学习算法，降低真实世界训练的计算成本；还可以将平台扩展到更多类型的任务，如多智能体协作、时间敏感控制等。

摘要

强化学习（RL）通常被用于提升自主系统的性能，其中包括人工智能物联网（AIoT）。然而，在真实世界环境中进行强化学习的试错式探索在某些场景下既成本高昂又存在危险。因此，绝大多数强化学习研究都是在仿真环境中开展的。这种依赖性引入了与仿真到现实迁移能力相关的挑战。评估仿真到现实算法鲁棒性以及仿真到现实差距，是旨在提升强化学习在真实世界中表现的研究的关键前提。因此，机器人等行业已经开发了同步仿真与物理平台来推进此类研究。然而，目前尚不存在一个面向AIoT的通用仿真到现实基准平台。为解决这些问题，我们开发了一个用于在AIoT中研究强化学习的真实世界AIoT平台。在该平台上，部署在边缘设备上的智能体通过硬件模拟的键盘在独立的主机上玩电子游戏，并以视觉输入作为引导。该平台采用市售组件，总成本低于400美元，并配合两台计算机。由于系统的目标是最大化游戏得分，因此天然地缓解了真实世界强化学习部署中相关的安全风险。实验结果表明，经过仿真训练的智能体在真实世界部署后相对于人类水平性能下降了1160%，这表明存在显著的仿真到现实差距。使用深度Q网络（DQN）算法进行的直接真实世界训练在经过一千万步训练后达到了约38%的人类水平性能，证明了在真实世界条件下进行强化学习的可行性。这些结果表明，所提出的仿真到现实基准平台为在真实世界AIoT系统中对强化学习进行定性与定量评估提供了坚实基础。

Abstract

Reinforcement learning (RL) is commonly employed to enhance the performance of autonomous systems, including the Autonomous Internet of Things (AIoT). However, the trial-and-error nature of RL, when conducted in real-world environments, is costly and hazardous in some scenarios. Consequently, the majority of RL research is conducted in simulation. This reliance introduces challenges related to the Sim-to-Real transferability. Evaluating the Sim-to-Real algorithmic robustness and the Sim-to-Real gap is a critical prerequisite for research aimed at improving RL performance in the real world. Therefore, industries such as robotics have developed concurrent simulation and physical platforms to facilitate this research. However, a universal Sim-to-Real benchmark platform for AIoT does not currently exist. To address these concerns, we developed a real-world AIoT platform for studying RL in AIoT. On this platform, an agent deployed on an edge device plays video games on a separate host computer via a hardware-emulated keyboard, guided by vision input. This platform uses commercially available components costing less than USD 400, together with two computers. Because the system's objective is game score maximization, it inherently mitigates safety risks associated with real-world RL deployments. Experimental results show the simulation-trained agent suffers a 1160% performance degradation relative to the human-level performance after real-world deployment, indicating a significant Sim-to-Real gap. Direct real-world training using the deep Q-network (DQN) algorithm achieves approximately 38% of human-level performance after 10 million training steps, demonstrating the feasibility of RL under real-world conditions. These results suggest that the proposed Sim-to-Real benchmark platform provides a substantial foundation for qualitative and quantitative evaluations of RL in real-world AIoT systems.