📊 论文图表(共 9 张)

展开查看 9 张图

‹ ›

TL;DR

ENTINEX（Entropic Information for Exploration）提出了一种利用动作分布熵信息识别状态分布边界的新方法，通过为边界状态赋予内在奖励来引导智能体主动探索未知区域。在稀疏与延迟奖励的 MuJoCo 环境中，该方法稳定超越 ICM、RND、RE3 等现有探索基线，验证了熵驱动边界探索策略的有效性。

研究背景与动机

在 [[强化学习]] 中，智能体通过最大化累积奖励来学习最优策略，但真实场景往往面临 [[稀疏奖励]] 的困境——环境反馈极其有限，智能体可能在漫长的探索中始终得不到有意义的信号更新。以机器人行走任务为例，只有当机器人真正迈出有意义的步伐时才能获得奖励，而在到达目标状态之前，环境持续给出零奖励。这种情况下，纯靠随机探索几乎不可能发现有效策略。

领域内已发展出多种 [[内在奖励]] 探索范式来应对这一挑战。基于计数的 方法通过维护状态访问频次来估计新颖性，但在高维连续状态空间中难以直接应用。基于预测误差的方法如 ICM 和 RND 分别通过预测动作后果和网络输出来产生内在奖励信号。近年来，[[状态新颖性]] 概念被广泛采用——RE3 等方法利用随机编码器或预测网络估计每个状态的新颖程度，驱动智能体访问不熟悉的状态区域。

在众多方法中，[[NovelD]] 等边界探索方法尝试显式定位状态分布的边缘地带。这类方法的直觉是：真正有价值的新区域往往位于已知分布的边界上，突破边界才能不断扩大探索范围。然而，现有边界方法依赖相邻状态新颖性的直接差异来识别边界，这种策略对新颖性估计函数的选择较为敏感，缺乏一种从信息论角度更具原则性的边界识别机制。

ENTINEX 的核心动机正是填补这一空白：能否利用 [[动作分布熵]] 这一信息论工具，以更稳健的方式识别状态分布边界？

方法

ENTINEX 的核心创新在于提出 NAPD（Novelty Action Probability Distribution，新颖性动作概率分布） 这一概念，将状态边界识别问题转化为动作分布的熵分析问题。

作者首先定义了状态新颖性函数 $\varphi (s)$，它可以是 RE3 随机编码器输出的特征距离，也可以是 RND 网络的预测误差。给定当前状态 $s$，对于每个动作 $a$，智能体关心执行该动作后能到达状态的新颖程度，这由 期望新颖性 表征：

基于此，可以定义 NAPD——一个关于动作的 Boltzmann 分布：

这个分布的含义是：如果某个动作更有可能导向新颖状态，它的采样概率就应该更高。关键洞察在于 NAPD 的熵变化规律。当智能体位于状态分布内部时，几乎所有动作导向状态的新颖程度相近，NAPD 趋向均匀分布，熵值较高。相反，当智能体处于边界附近时，只有少数动作能够跨入未探索区域，NAPD 变得偏斜，熵值显著降低。因此，NAPD 的 负熵 自然成为一个识别边界状态的信号。

基于这一观察，ENTINEX 定义内在奖励为 NAPD 负熵的蒙特卡洛估计：

总奖励为环境奖励与内在奖励的加权组合：

在理论上，作者通过两个定理建立了方法的合理性。定理 1 证明 NAPD 负熵近似等于归一化后的相邻状态新颖性差异，这意味着 ENTINEX 在思想上与 NovelD 等基于新颖性差的方法等价，但以一种更优雅的信息论形式表达。定理 2 则给出了使用采样分布（NAPD）与行为分布（策略）计算新颖性差异时的误差上界，通过总变差距离建立了严格的理论保证。

在实现层面，连续动作空间下 NAPD 的精确计算涉及难解的积分操作。ENTINEX 将其投影到参数化的高斯分布族，通过最小化 KL 散度得到近似解。此外，为了在不需要实际执行动作的情况下估计 ${\varphi }^{\prime }(s,a)$，ENTINEX 引入了一个 [[动力学模型]]，在潜空间中预测状态转移。该动力学模型与策略网络联合训练，而非预先单独训练，这保证了新颖性估计能够随智能体的探索行为持续适应。底层算法采用 off-policy 的 [[SAC]]，以获得较高的样本效率。

实验与结果

实验在 OpenAI Gym 的 MuJoCo 连续控制环境中进行，重点测试稀疏奖励和延迟奖励两种最具挑战性的设置。稀疏奖励环境中，环境仅在智能体达到特定条件（如远离初始位置）时才给予 +1 奖励，其余时刻为零。延迟奖励环境则将原始奖励累积，每隔固定步数才统一发放一次。

ENTINEX 与 ICM、RND、RE3、NovelD 等内在奖励方法在同一 SAC 框架下公平对比。在 Sparse Walker2d 等最具挑战性的任务上，ENTINEX 取得了约 705.7 的最终回报，而基线方法几乎无法有效学习，凸显了边界探索策略在极端稀疏奖励下的必要性。

为了剥离贡献来源，作者设计了精细的消融实验。与 NovelD 匹配使用同一种新颖性函数后，ENTINEX 仍然显著优于 NovelD，证明性能增益来源于熵信息方法本身，而非新颖性估计器的选择。同时使用 RE3 随机编码器和 RND 预测误差两种新颖性函数时，ENTINEX 均表现稳健，表明方法对新颖性估计的具体形式具有良好的兼容性。无监督预训练实验进一步表明，先以纯内在奖励训练 200 万步再微调，比从零开始训练能获得更高的最终回报，验证了 ENTINEX 在提升样本效率方面的潜力。

讨论与可借鉴点

ENTINEX 的方法论贡献在于提供了一种 信息论视角的边界识别机制。传统 NovelD 等方法直接计算相邻状态的新颖性差值，这种做法对噪声较为敏感。而通过分析动作分布的熵来定位边界，本质上是在统计层面上捕捉“分布是否偏斜”这一稳健特征，为边界识别提供了更原则性的理论基础。

从工程角度看，ENTINEX 的模块化设计值得借鉴。新颖性估计器、动力学模型、底层强化学习算法均可灵活替换，这为后续研究提供了便捷的实验框架。例如可以探索不同新颖性函数与熵信息的组合效果，或将 SAC 替换为 on-policy 算法以适应不同样本效率需求。

然而，该方法也存在局限。首先，额外的动力学模型和 NAPD 参数化带来了不可忽视的计算开销，在资源受限场景下需权衡。其次，将 NAPD 投影到高斯族的做法在 高维动作空间 中的表达力尚未充分验证，复杂动作空间可能需要更精细的参数化方案。此外，实验集中于 MuJoCo 连续控制任务，在视觉输入、真实机器人操控或多智能体场景下的表现尚属未知。更重要的是，作者坦诚在 高维状态空间中难以直接可视化 探索边界的存在，只能通过任务回报间接验证，这可能掩盖某些探索行为的细微特性。

总体而言，ENTINEX 为稀疏奖励探索提供了一种简洁而有效的思路：用动作分布的熵来回答“当前是否处于值得突破的边界”这一问题。这一视角有望启发后续工作探索更丰富的熵相关度量，或将边界探索思想与基于世界模型的探索方法相结合。

摘要

在强化学习中，由于可用的反馈信号有限，稀疏且延迟奖励下的探索是一个重大挑战。解决该问题需要在状态空间中进行广泛探索以发现有价值的奖励信号。本文提出了一种利用熵信息进行探索的方法（ENTINEX），这是一种新颖的方法，通过激励智能体探索状态分布的边界之外来增强探索能力。ENTINEX 通过为这些边界分配内在奖励来实现这一目标，并利用熵信息有效识别它们。通过大量实验，我们证明 ENTINEX 在具有稀疏和延迟奖励的环境中持续提升探索性能。实验结果表明，ENTINEX 优于现有的探索方法，凸显了其在稀疏和延迟奖励场景中的有效性。

Abstract

In reinforcement learning, exploration with sparse and delayed rewards presents a significant challenge due to the limited feedback available for guiding the learning process. Addressing this issue requires extensive exploration in the state space to discover valuable reward signals. In this paper, we propose Entropic Information for Exploration (ENTINEX), a novel method that enhances exploration by incentivizing agents to explore beyond the boundaries of the state distribution. ENTINEX achieves this by assigning intrinsic rewards to these boundaries, leveraging entropic information to identify them effectively. Through extensive experimentation, we demonstrate that ENTINEX consistently improves exploration performance in environments characterized by sparse and delayed rewards. Our experimental results show that ENTINEX outperforms existing exploration methods, highlighting its effectiveness in both sparse and delayed reward scenarios.

论文详细总结（自动生成）

论文总结：利用熵信息探索边界之外（ENTINEX）

1. 核心问题与研究动机

强化学习（RL）的目标是学习使累积奖励最大化的最优策略，但在稀疏或延迟奖励的真实场景中，环境反馈极其有限，策略学习极易陷入次优区域：

• 奖励工程虽可缓解，但依赖大量领域先验知识，难以跨任务迁移；
• 基于内在奖励的探索方法更具通用性，已发展出三大主流路线：

1. 基于计数的方法（如 $1/\sqrt{N(s)}$），但无法直接处理连续高维状态；

2. 基于预测误差或状态熵的方法（如 ICM、RND、RE3），通过估计状态新颖性来引导探索；

3. 基于状态分布边界的方法（如 NovelD、BeBold），显式估计已探索与未探索区域之间的边界。

核心缺口：现有边界方法依赖相邻状态的新颖性差异来定位边界，对新颖性函数与采样分布较敏感；缺少一种从信息论角度更稳健的边界识别机制。本文动机即在于：提出一种利用动作分布的熵信息识别状态新颖性分布（SND）边界的新方法，从而提升稀疏/延迟奖励下的探索效率。

2. 方法论：ENTINEX

2.1 核心思想

通过新颖性动作概率分布（NAPD）的熵来定位 SND 边界：

• 在边界附近，少数动作能跨入未探索区域，导致 NAPD 偏斜且低熵；
• 远离边界时，各动作的新颖性接近，NAPD 均匀且高熵；
• 因此 NAPD 的负熵可作为识别边界状态的天然信号。

2.2 关键定义与公式

状态新颖性函数 $\varphi :\mathcal{S}\to \mathbb{R}$（可由 RE3 随机编码器或 RND 预测误差估计）。

期望新颖性：

新颖性动作概率分布（NAPD），即 Boltzmann 分布：

内在奖励（NAPD 负熵的样本估计）：

总奖励：

其中 $\alpha$ 控制内在奖励权重。

2.3 理论支撑

• 定理 1：将 NAPD 负熵与相邻状态新颖性差异关联：

说明负熵近似于归一化的相邻新颖性差异，与 RIDE/NovelD 等基于新颖性差的方法在思想上等价。

• 定理 2：不同动作分布（NAPD $\psi$ 与行为策略 $p$）下新颖性差的差异由总变差距离界定：

其中 ${ϵ}_{\varphi (s)}={\max }_a|{\varphi }^{\prime }(s,a)-\varphi (s)|$。

2.4 关键实现细节

1. NAPD 的连续化处理：归一化积分在连续动作空间难解，将其投影到参数化高斯族 $\Pi$，最小化 KL 散度，得到等价损失：

2. 动力学模型学习：为在不实际执行 NAPD 采样动作的情况下估计 ${\varphi }^{\prime }(s,a_{\psi })$，采用潜空间动力学模型 $\hat{P}$，由编码器 $e_{\omega }$、解码器 $d_{\omega }$ 及慢更新目标网络 ${\omega }^{-}$ 构成：

动力学模型与策略联合训练，而非预训练。

3. 状态新颖性函数：默认使用 RE3 随机编码器（无需训练）；也可替换为 RND 预测误差估计器。

4. 底层算法：基于 off-policy 的 SAC，提高样本效率；同时提供 ENTINEX-ac 版本（搭配 vanilla actor-critic）。

3. 实验设计

• 环境：连续控制 MuJoCo 任务（来源 OpenAI Gym），包括 Walker2d 等；
• 奖励设置：
• 稀疏奖励：仅当满足预设条件时（如到达远离初始点的位置）获得 +1 奖励；
• 延迟奖励：将原始奖励累积，每 $T$ 步发放一次；
• 基线方法：ICM（预测误差）、RND（随机网络蒸馏）、RE3（状态熵）、NovelD（边界方法），全部统一在 SAC 框架下对比以隔离内在奖励的影响；
• 种子数：每条曲线采用 5 个随机种子，阴影带为 $\pm 0.5\sigma$。

4. 资源与算力

论文文本中未明确给出所使用的 GPU 型号、数量及训练时长等算力细节；仅说明动力学模型与策略联合训练以及在稀疏/延迟奖励 MuJoCo 任务上做了大量回合评估。算力相关信息应在补充材料或附录中给出，但提供的文本未涉及。

5. 实验数量与充分性

论文围绕四个研究问题展开，实验设置较为系统：

1. 稀疏/延迟奖励下整体性能对比（图 3）：覆盖多个 MuJoCo 任务 × 多种内在奖励方法，验证 ENTINEX 一致优于基线。例如在 SparseWalker2d 上，ENTINEX 与 ENTINEX-ac 分别取得 705.7 与 596.2 的最终回报，基线几乎未能有效学习；

2. 与 NovelD 匹配新颖性函数的对比（图 4）：通过使用同一种新颖性函数，剥离新颖性度量影响，单独验证熵信息方法的优势；

3. 新颖性函数消融（图 5）：分别使用 RE3 随机编码器和 RND 预测误差两种新颖性函数，验证 ENTINEX 对新颖性函数的兼容性；

4. 无监督预训练评估（图 6）：在 Walker2d 上先以纯内在奖励预训练 2M 步，再微调，验证是否能提升样本效率。

客观性与公平性：

• 所有方法统一在 SAC 底层下对比，避免算法差异干扰；
• 多随机种子（5 个）减少单次实验偏差；
• 同时报告稀疏与延迟两种奖励设置，覆盖较全面；
• 边界定位与新颖性度量的消融设计清晰，便于剖析贡献来源。

6. 主要结论与发现

• 稀疏与延迟奖励下均稳定优于现有探索方法，在多个 MuJoCo 任务上取得最高回报；
• 提升主要来源于熵信息方法本身，而非新颖性度量（与 NovelD 匹配新颖性函数后仍占优）；
• 对新颖性函数不敏感，使用 RE3 或 RND 估计器均表现稳健，状态熵版本略优；
• 无监督预训练可提升下游样本效率：先以纯内在奖励训练 2M 步再微调，回报曲线明显优于从零训练。

7. 优点

• 信息论视角的边界识别：用 NAPD 熵替代新颖性差，提供了一种更具原则性的边界度量；
• 理论支撑扎实：两个定理分别建立 NAPD 熵与新颖性差的等价关系及不同动作分布下的误差界；
• 模块化设计：新颖性函数、动力学模型、底层算法均可灵活替换（如 SAC ↔ actor-critic、RE3 ↔ RND）；
• 实验设计层层递进：从整体对比→新颖性消融→函数消融→预训练迁移，覆盖充分且结论明确；
• 兼顾稀疏与延迟奖励：覆盖两类常见且困难的反馈形式。

8. 不足与局限

• 额外计算开销：需同时维护动力学模型、新颖性估计器、NAPD 参数化分布及策略网络，训练不稳定且资源消耗增加；
• 理论刻画仍不完整：作者明确指出更严格的理论分析有待未来工作；
• 高维动作空间可扩展性未充分验证：NAPD 通过 KL 投影到高斯族的做法在高维复杂动作空间中可能损失表达力；
• 多智能体设定未被考虑：论文实验集中于单智能体连续控制；
• 算力细节缺失：未报告 GPU 型号/数量/训练时长，难以评估真实计算成本；
• 实验任务集中于 MuJoCo：缺乏对其他更复杂或真实世界场景（如机器人操控、视觉输入任务）的迁移验证；
• 可视化探索边界困难：作者承认在高维空间中难以直接可视化探索边界，只能以任务回报作为间接代理指标，可能掩盖某些探索特性。

（完）