arXiv 2607.17922v1 · 发布 2026-07-20

PRIME：面向无人机辅助应急通信网络的多智能体环境可塑性恢复

PRIME: Plasticity Recovery in Multi-Agent Environments for UAV-Assisted Emergency Communication Networks

AUTHORS Wen Qiu, Zhiqiang He, Wei Zhao, Hiroshi Masui

EVIDENCE 共享参数的多智能体强化学习与无人机协同决策中的可塑性管理

SCORE 0.8

GENERATED 2026-07-21 22:05:26 UTC

📝 TLDR

面向无人机应急通信网络中的多智能体强化学习，在目标持续切换的非平稳训练下，共享策略网络因大量神经元休眠而丧失学习能力。论文将双向沉默神经元检测框架扩展到协作多智能体强化学习，通过团队级批次同时监测激活与梯度信号，仅对激活休眠且梯度沉默的神经元进行重初始化，从而恢复网络可塑性。在相变型UAV应急通信仿真器上较MAPPO提升约24.9%，休眠神经元比例稳态在10–20%。贡献在于识别并解决了共享参数下多智能体塑性损失的内部机制问题。

🧭 速览

动机

共享参数多智能体强化学习在持续非平稳目标切换下，策略网络大量神经元休眠导致可塑性丧失，简单的休眠重置在共享训练中不安全。

方法

PRIME将双向沉默神经元检测框架扩展到协作MARL，利用团队级批次聚合激活与梯度统计，仅重初始化激活休眠且梯度沉默的神经元以恢复学习容量。

结果

在相变型UAV应急通信仿真器上，PRIME较MAPPO提升IQR均值回报24.9%，并将休眠神经元比例稳定控制在10–20%。

结论

证实在多智能体共享参数下需联合激活与梯度方向判定神经元复活，并给出随沉默子空间维度增长的动态遗憾界，说明扰动代价可控。

📊 论文图表(共 35 张)

展开查看 35 张图

TL;DR

PRIME 针对多智能体强化学习在目标持续切换的非平稳训练下产生的神经可塑性损失问题，提出在团队批次上同时监测前向激活与反向梯度信号，仅对那些同时处于前向休眠且梯度静默状态的神经元进行重初始化。这一方法在相变型无人机应急通信仿真器上较 MAPPO 将四分位均值回报提升了 24.9%，同时将休眠神经元比例从基线的 40%–45% 稳定控制在 10%–20%，从根本上揭示了共享参数多智能体训练中网络内部退化的机制并提供了针对性解决方案。

研究背景与动机

灾难场景下，地面通信基础设施往往遭受严重破坏，此时由多架无人机临时充当空中基站组成应急通信网络成为一种关键解决方案。这类场景具有天然的结构性非平稳特征：救援任务按阶段演化，地面用户的数量、位置与优先级持续变化，单纯假设环境平稳的强化学习方法难以应对。然而，现有多智能体强化学习控制器普遍存在两类根本性局限——大多数方法假设训练条件平稳，而少数能够应对变化的方案仅响应外部环境的变化，却从未审视策略网络自身的内部状态究竟发生了什么。

这篇论文的核心发现揭示了一个此前未被充分重视的问题：持续的非平稳性会直接损害网络的内部状态。随着目标不断切换，神经元逐渐陷入休眠状态，共享策略网络随之丧失学习能力。这一问题在多智能体场景下尤为棘手，因为共享参数架构意味着单个休眠神经元会同时影响所有智能体的决策。更隐蔽的是，同一神经元对不同智能体的观测可能呈现出完全不同的激活状态——对一个智能体而言处于休眠的神经元，对另一个智能体可能仍然活跃。此外，PPO 训练中的真实梯度由多智能体数据聚合、重要性比率裁剪和 GAE 优势估计共同决定，使得判断一个神经元是否真正"无用"变得异常困难。

一个看似直观的补救措施是对休眠神经元进行重置，但在共享参数的多智能体训练中贸然重置是危险的。论文通过实验揭示了一个关键现象：许多前向表现为休眠的神经元仍在接收强烈的训练梯度，这些梯度是优化器主动调整参数的信号，说明这些神经元仍在学习过程中发挥着功能性作用。如果仅依据前向激活就将其重置，实际上是在破坏有用的表征，而非真正释放网络容量。

方法

PRIME 的核心思想是将双向静默神经元框架拓展到协作型多智能体强化学习，通过团队级批次聚合同时监测前向激活信号与反向梯度信号，仅对那些同时满足前向休眠且梯度静默条件的神经元进行重新初始化。这避免了朴素重置方法的两个极端——既不像纯前向方法那样可能误伤仍在学习的神经元，也不像固定周期扰动那样缺乏针对性。

具体而言，方法维护两个指标来判定神经元状态。第一个是前向休眠指标，通过归一化激活值来衡量：

\overset{s}{^}_{l, i} = \frac{\frac{1}{B n} \sum _{k = 1}^{B n} ∣ h _{l, i}^{(k)} ∣}{\frac{1}{H _{l}} \sum _{j = 1}^{H_{l}} \frac{1}{B n} \sum _{k = 1}^{B n} ∣ h _{l, j}^{(k)} ∣}

当该值低于阈值 $τ_{d}$ 时，神经元被归入前向休眠集 $D_{l}$ 。第二个是反向静默指标，直接从训练损失已经沉积下来的梯度中读取反向信号：

\overset{g}{^}_{l, i} = \frac{\partial L _{PPO}}{\partial w _{l, i}}_{1} / ∣ w_{l, i} ∣

当该梯度范数低于阈值 $τ_{g}$ 时，神经元被归入反向静默集 $G_{l}$ 。最终只有同时落在两个集合交集 $S_{l} = D_{l} \cap G_{l}$ 中的神经元才会被重置，其余一律保留。这种交集判据确保了被重置的神经元确实是"双无声"的——既在前向传播中表现为休眠，又在反向传播中不贡献梯度，从而将误伤仍在学习的有用表征的风险降到最低。

团队级聚合是另一个关键设计。论文发现，在共享参数训练中，同一神经元对不同智能体的观测可能产生 5%–18% 的休眠分歧，这意味着如果仅依据单个智能体的切片来判定，会产生不一致的诊断结果。PRIME 将所有智能体的 rollout 展平为 $(T_{roll} \cdot n, d_{obs})$ 的完整批次，在整个团队层面计算激活与梯度统计量，从而消除这种跨智能体的判定歧义。这一设计不仅提高了诊断的准确性，也使得检测结果在统计上更具鲁棒性。

在重置操作上，PRIME 采用输出保持型重置策略。入向权重从 Kaiming 均匀分布重新采样，偏置置零，而下一层对应列也被置零以保证重置瞬间策略输出不发生突变。同时清除受影响参数的 Adam 优化器动量状态，避免历史动量与新权重的耦合。检测与重置每 200 个 mini-batch 触发一次，与外部阶段切换信号完全解耦，从而实现自适应的可塑性维护。

论文还提供了理论支撑。在 $L$ -光滑、PPO 信任区域内 $μ$ -强凸的假设下，动态遗憾界表明扰动代价随静默子空间维度 $d_{t}^{*}$ 而非完整参数数量进行缩放：

\frac{1}{T} t = 1 \sum T E ∥ e_{t} ∥^{2} \leq \dots + \frac{2 η γ _{r}^{2}}{μ} \cdot \frac{1}{T} t = 1 \sum T d_{t}^{*}

这解释了为什么针对性的神经元重置相比全参数扰动方法具有根本性的效率优势——只要静默子空间维度远小于完整参数维度，扰动代价就是可承受的。

实验与结果

实验在相变型无人机应急通信仿真器上进行，模拟 1 km×1 km 的城市灾难区域，三架旋翼无人机服务二十个地面用户。信道模型采用 3GPP Urban Micro LoS 规范，包含小尺度衰落。训练设置包含两种模式：Normal 模式使用单一固定阶段，Change 模式则每千次迭代切换用户移动速度、覆盖半径和需求等级，形成三轮完整的 0→1→2 阶段序列。

主实验对比了三种方法在 Change 模式下的表现：基线 MAPPO、四种前向重置方法（涵盖 ReDo、shrink-and-perturb 等家族）以及完整 PRIME。结果显示，MAPPO 的休眠神经元比例持续攀升至 40%–45%，最终四分位均值回报仅为 58.135；前向重置方法反而出现严重退化至 39.410，这是因为误伤了大量仍在接收梯度的前向休眠神经元；而完整 PRIME 将休眠比例稳定控制在 10%–20%，四分位均值回报达到 72.626，提升约 24.9%。这一对比有力地证明了双向检测的必要性和有效性。

在任务层面，PRIME 实现了峰值覆盖率约 0.68、单 slot 服务用户数约 14、碰撞率 IQM 低至 0.005。策略熵在阶段切换后仍保持较高水平，表明网络维持了充分的探索能力。值得注意的是，MAPPO 的 Value Layer 1 休眠比例饱和在约 60%，Policy/Value Layer 0 在 14%–58% 区间震荡，且休眠与零梯度比例几乎重合，说明一旦神经元陷入休眠就持续存在而非轮换。

消融实验系统地验证了各设计决策的必要性。在梯度阈值敏感性上，PRIME 在 $τ_{g} \in {0.03, 0.08, 0.15}$ 范围内性能波动仅约 2 个 IQM 点，而前向方法对梯度信号完全免疫。重置周期的广泛扫描表明 PRIME 在 $F \in {50, 200, 300}$ 内保持 IQM 在 71–73 之间稳定，而前向方法对周期选择敏感。单智能体切片实验（仅使用 agent 0 的数据判定）导致性能损失 8.1 个 IQM 点，且不同随机种子间的结果区间完全不重叠。最具启发性的发现是，将硬重置替换为同节奏的高斯扰动后，性能几乎相当（74.414 vs 72.626），说明真正重要的是"哪些神经元被扰动"而非"如何扰动它们"。

讨论与可借鉴点

PRIME 最根本的方法论贡献在于揭示了共享参数多智能体强化学习中神经可塑性损失的存在，并提供了从网络内部状态出发解决问题的思路，而非仅依赖外部环境信号。这一发现对整个 MARL 领域具有超出特定应用场景的启示意义：在持续非平稳的训练条件下，任何共享策略网络都可能面临类似的内部退化问题，而这种退化是标准监控指标难以捕捉的隐性故障。

然而，这项工作也存在若干局限性。首先，实验仅使用两个随机种子，主实验未报告 bootstrap 置信区间，这在现代 RL 论文评审中通常是推荐做法。其次，验证仅限于单一无人机应急通信场景，未在 SMAC、MPE 等标准多智能体基准上展示通用性。第三，阶段切换 8 次的规模对于刻画"长时间持续非平稳"而言仍有不足，更长时间尺度的实验有助于评估休眠积累与恢复的动态平衡。

从工程实践角度看，团队级聚合和梯度信号这两个设计要素是 PRIME 增益的主要来源，而非具体的重置算子本身。消融实验中"重置替换为扰动性能相当"的结果进一步强化了这一结论。这意味着实践中可以优先保证这两个要素的实现，重置方式可根据计算资源灵活选择。动态遗憾界的理论分析为方法提供了坚实的数学支撑，表明在适当的假设下，针对性的可塑性恢复不会引入额外的收敛负担。

对于后续研究，一个自然的方向是将双向检测框架扩展到部分可观测的竞争性多智能体场景，检验梯度与激活解耦是否仍成立。另一个有趣的方向是在更大的网络架构（如 Transformer-based MARL）上验证该方法，此时激活模式的异质性可能更加显著。此外，自动化阈值调节机制——根据训练动态自适应调整 $τ_{d}$ 和 $τ_{g}$ ——也是提升方法鲁棒性的潜在路径。

摘要

大多数面向这些网络的强化学习控制器都假设条件是平稳的，而少数能够应对变化的控制器仅响应外部环境，却未审视网络自身的内部状态。我们表明，持续的非平稳性会直接损害这一内部状态：随着目标不断变化，神经元逐渐陷入休眠，共享策略也随之丧失学习能力。一个显而易见的补救措施是重置休眠神经元，但在共享参数的多智能体训练中这样做并不安全：许多看似失活的神经元仍在接收强烈的训练梯度，并且一个神经元是否表现为休眠取决于它正在处理哪个智能体的观测。因此，PRIME（Plasticity Recovery In Multi-agent Environments，多智能体环境中的可塑性恢复）在介入之前对两个方向都进行了验证。它将双向静默神经元（Silent Neuron）框架拓展到协作型多智能体强化学习中，在整个团队的批次上聚合激活与梯度统计信息，从训练损失已经沉积下来的梯度中读取反向信号，而非依赖人工设计的代理度量，并仅对那些同时处于激活休眠且梯度静默状态的神经元进行重新初始化。这在保留有用表征的同时恢复了学习能力。在一个阶段切换型的无人机应急通信仿真器上，PRIME相较于MAPPO将四分位均值回报提升了24.9%，并将休眠神经元比例控制在10%–20%，而对照方法为40%–45%；消融实验表明，增益来源于梯度信号与团队级聚合，而非具体的重置算子本身。一个动态遗憾界表明，扰动代价随较小的静默子空间维度而非完整参数数量进行缩放。

Abstract

Most reinforcement learning controllers for these networks assume stationary conditions, and the few that handle change react to the external environment while leaving the network's internal state unexamined. We show that sustained non-stationarity damages this internal state directly: as objectives shift, neurons progressively fall dormant and the shared policy loses the capacity to learn. The obvious remedy, resetting dormant neurons, is unsafe under shared-parameter multi-agent training: many neurons that appear inactive are still receiving strong training gradients, and whether a neuron appears dormant depends on which agent's observations it processes. PRIME (Plasticity Recovery In Multi-agent Environments) therefore verifies both directions before intervening. Extending the bidirectional Silent Neuron framework to cooperative multi-agent reinforcement learning, it aggregates activation and gradient statistics over the full team batch, reads the backward signal from the gradient the training loss has already deposited , not from a hand-crafted proxy, and reinitializes only neurons that are simultaneously activation-dormant and gradient-silent. Useful representations are preserved while learning capacity is restored. On a phase-switching UAV emergency communication simulator, PRIME improves interquartile mean return by 24.9\% over MAPPO and holds dormant neuron fractions at 10--20\% versus 40--45\%; ablations attribute the gains to the gradient signal and team-level aggregation rather than to the specific reset operator. A dynamic regret bound shows that the perturbation cost scales with the small silent-subspace dimension rather than the full parameter count.

论文详细总结（自动生成）

PRIME 论文总结

1. 核心问题与研究动机

应用背景：灾难场景下地面通信基础设施被破坏，由多架 UAV 作为临时空中基站组成 UAV-ECN（UAV-assisted Emergency Communication Network）。救援任务按阶段演化，地面用户数量、位置与优先级持续变化，使非平稳性成为任务的结构性特征而非偶发扰动。
现有方法的两类局限：
大多数基于 RL/MARL 的控制器（如 MAPPO）假设环境平稳，或仅响应外部环境变化；
处理非平稳的工作（PER、Meta-RL、MACPH 等）聚焦于外部信号，未审视策略网络内部状态。
核心问题：在持续非平稳训练下，神经可塑性损失（plasticity loss）发生——神经元激活逐渐趋零，共享策略失去学习能力，但标准奖励曲线无法反映这种内部退化。
多智能体特有的三重困难：
损伤放大：共享参数下，单个休眠神经元同时影响所有 $n$ 个 agent 的决策；
诊断歧义：同一神经元对不同 agent 的观测可能呈现不同的激活状态；
梯度复合性：MAPPO 中真实训练梯度由多 agent 数据聚合、PPO 重要性比率裁剪、GAE 优势估计共同决定。
朴素重置的风险：仅依据前向激活判定休眠（ReDo 路线）在共享参数训练中不安全——许多前向休眠神经元仍接收强梯度（被优化器主动调整），且"是否休眠"取决于观测来源。

2. 方法论：PRIME

2.1 核心思想

将双向静默神经元（Silent Neuron）框架从单智能体场景拓展到共享参数协作型 MARL，通过团队级批次聚合激活与梯度信号，并利用 PPO 训练损失已经沉积的真实梯度作为反向判据，仅重初始化同时满足前向休眠且梯度静默的神经元。

2.2 关键技术细节

#### (a) 前向休眠指标（归一化激活）

\overset{s}{^}_{l, i} = \frac{\frac{1}{B n} \sum _{k = 1}^{B n} ∣ h _{l, i}^{(k)} ∣}{\frac{1}{H _{l}} \sum _{j = 1}^{H_{l}} \frac{1}{B n} \sum _{k = 1}^{B n} ∣ h _{l, j}^{(k)} ∣}

当 $\overset{s}{^}_{l, i} \leq τ_{d}$ 时将神经元 $i$ 放入前向休眠集 $D_{l}$ 。

#### (b) 反向静默指标（PPO 真实梯度）

\overset{g}{^}_{l, i} = \frac{\partial L _{PPO}}{\partial w _{l, i}}_{1} / ∣ w_{l, i} ∣

当 $\overset{g}{^}_{l, i} \leq τ_{g}$ 时放入反向静默集 $G_{l}$ 。该梯度由多 agent 经验聚合、重要性比率裁剪、优势估计共同构成，无需任何额外前向-反向传播。

#### (c) 交集判据

S_{l} = D_{l} \cap G_{l}

仅同时满足两个条件的神经元可被重置，其余一律保留。

#### (d) 团队级聚合

将所有 $n$ 个 agent 的 rollout 展平为 $(T_{roll} \cdot n, d_{obs})$ 的批次，激活与梯度统计量在完整团队批次上计算，消除 §II-C 揭示的 5–18% 跨 agent 休眠分歧。

#### (e) 输出保持型重置

入向权重： $w_{l, i} \sim Uniform (- b_{l}, b_{l})$ ，其中 $b_{l} = 3/ d_{l, in}$ （Kaiming uniform）；
偏置： $b_{l, i} \leftarrow 0$ ；
下一层对应列置零： $[W_{l + 1}]_{:, i} \leftarrow 0$ ，保证重置瞬间策略输出不发生突变；
清除受影响参数的 Adam 一阶与二阶动量。

#### (f) 触发机制

每 $F = 200$ 个 mini-batch 触发一次诊断-重置（与外部阶段信号完全解耦）。在主实验中额外在阶段边界补充一次全量扫描（默认配置 A），但消融表明该补充并非必需。

2.3 算法流程（PRIME-MAPPO）

每轮迭代：① 多 agent rollout → 展平为 $(T_{roll} \cdot n, d_{obs})$ 批次；② 标准 PPO（含 GAE） $K_{epoch}$ 个 epoch，每个 mini-batch 记录激活与梯度；③ 每 $F$ 步执行 (a)(b)(c)(d)(e) 的检测与重置。

2.4 动态遗憾界（Theorem 1）

在 $L$ -光滑、PPO 信任区域内 $μ$ -强凸、最优参数路径长度 $P_{T} < \infty$ 、静默子空间维度 $d_{t}^{*} \leq d$ 的假设下：

\frac{1}{T} t = 1 \sum T E ∥ e_{t} ∥^{2} \leq \frac{2}{μ η T} (E ∥ e_{0} ∥^{2} + \frac{2 P _{T}^{2}}{μ η}) + \frac{2 η γ _{r}^{2}}{μ} \cdot \frac{1}{T} t = 1 \sum T d_{t}^{*}

其中 $e_{t} = w_{t} - w_{t}^{*}$ 为跟踪误差。扰动项随 $d_{t}^{*} / d ≪ 1$ 缩放，相比于全参数噪声注入（shrink-and-perturb 等）将扰动代价缩减为 $\overset{ˉ}{d}^{*} / d$ 倍。

3. 实验设计

3.1 仿真场景

$1 km \times 1 km$ 后灾难城市区域；
$U = 3$ 架旋翼 UAV 服务 $N = 20$ 地面用户（ $G = 3$ RPGM 组）；
信道：3GPP Urban Micro LoS 模型（TR 38.901），Rician/Nakagami-m 小尺度衰落；
能量：三维旋翼推进模型（式 4）；
阶段模型： $φ_{t} \in {0, 1, 2}$ ，每阶段改变用户移动速度（0.2/0.5/0.8）、覆盖半径（200/150/150 m）、需求等级与重叠惩罚 $λ_{ov}$ （20/40/80）；序列 ${0, 1, 2}$ 循环三次，共 9 个阶段段、8 次阶段切换。

3.2 训练配置

共享 2 层 MLP（ $H = 32$ , ReLU），中心化 critic 同构；
MAPPO 默认超参： $η = 3 \times 1 0^{- 4}$ 、 $T_{roll} = 2048$ 、 $K_{epoch} = 8$ 、 $γ = 0.99$ 、 $λ_{GAE} = 0.95$ 、clip $ϵ = 0.15$ ；
PRIME 默认超参： $τ_{d} = 0.5$ 、 $τ_{g} = 0.08$ 、 $F = 200$ ；
两种训练模式：
Normal 模式：单一固定阶段，1500 次迭代（ $\sim 3.07 \times 1 0^{6}$ 步）；
Change 模式：循环阶段切换，9000 次迭代（ $\sim 18.4 \times 1 0^{6}$ 步，每阶段 1000 次迭代）。

3.3 对比方法

MAPPO：无可塑性机制；
PRIME-Forward：仅依据前向激活重置，涵盖 ReDo [18]、shrink-and-perturb [21]、Plasticity Injection [33] 家族；
PRIME：双向交集判据 + 团队级聚合 + 输出保持型硬重置。

3.4 评估协议与指标

主指标：四分位均值（IQM）回报，覆盖率、用户服务数、碰撞率、能耗率；
辅助诊断：总休眠比例 DNF、跨步休眠重叠 LDO、有效秩（特征秩）、策略熵、零梯度比例 LZG、每层休眠/重置统计。

4. 资源与算力

GPU 型号/数量：论文未明确说明所用 GPU 型号与数量；
训练时长：在 $H = 32$ 、 $n = 3$ 、 $F = 200$ 配置下，Change 模式（ $18.4 \times 1 0^{6}$ 步）训练时长为 23 小时 12 分（PRIME）vs 22 小时 21 分（MAPPO），开销增加约 3.8%；
内存开销：每神经元 2 个浮点数（当前架构 512 字节）；
种子数：仅使用 2 个随机种子（42 与 43）；
单神经元评分复杂度 $O (H \cdot d_{l, in})$ ，检测逻辑不随 $n$ 引入额外开销。

5. 实验数量与充分性

5.1 主实验

3 种方法 × 2 种训练模式 = 6 组主曲线；
5 项 ECN 任务指标 + 4 类网络内部诊断指标。

5.2 消融实验（7 个设计轴）

消融维度	取值	关键结论
休眠阈值 $τ_{d}$	${0.05, 0.5, 1.0}$	PRIME 跨范围稳定；Forward 在 $τ_{d} = 1.0$ 时崩溃至 $\sim 28$
梯度阈值 $τ_{g}$	${0.03, 0.08, 0.15}$	PRIME 变化仅 $\sim 2$ 点；Forward 不受影响（构造如此）
重置周期 $F$	${50, 200, 300}$	PRIME 在 $IQM \in [71, 73]$ 内稳定；Forward 对 $F$ 敏感
阶段信号独立性	A（含阶段触发）、B（纯周期）、C（ $F = 211$ 错位）	B 略优于 A，C 优雅退化；证实周期机制独立可用
反向信号来源	AuxGrad（输出敏感度代理）× 4 阈值	阈值扫描跨度 47 点，双种子带 15.5 点
聚合粒度	SingleSlice（仅 agent 0 切片）	损失 8.1 IQM 点；不同种子区间互不重叠
干预算子	Noise（同节奏高斯扰动）	性能与硬重置相当（74.414 vs 72.626）

5.3 补充分析（附录）

Normal 模式完整曲线与诊断；
每层休眠/零梯度/重置计数分解；
Change 模式能耗与 UAV 利用率；
多指标（回报、覆盖率、休眠比例）下的重置周期敏感性。

5.4 充分性评价

优点：消融设计系统、覆盖全部设计决策，且每个变量严格控制其余条件不变；既含阈值敏感性也含种子稳定性，论证较扎实。
不足：仅 2 个种子，且主实验未报告 bootstrap 置信区间（[34] 推荐做法）；仅一个 UAV-ECN 场景（ $U = 3$ , $H = 32$ ），未在 SMAC/MPE 等标准 MARL 基准上验证；阶段切换 8 次属中等规模，对"长时间持续非平稳"的覆盖有限。

6. 主要结论与发现

1. MAPPO 在非平稳阶段切换下确实累积休眠：Change 模式 Value Layer 1 饱和在 $\sim 60%$ ，Policy/Value Layer 0 持续在 $14% \sim 58%$ 区间震荡，且 DNF 与 LDO 几乎重合，说明休眠一旦出现就持续存在而不轮换。

2. 前向休眠与反向梯度静默系统性解耦：3/4 隐藏层中 $∣ D_{l} ∣ > ∣ G_{l} ∣$ ，Policy Layer 0 差距达 20–30 个百分点；纯前向重置的 FPR 下界在 Policy Layer 0 高达 $50% \sim 90%$ 。

3. 跨 agent 休眠分歧 5–18%（策略层），证明逐 agent 判定结构不一致。

4. PRIME 在 Change 模式下：

IQM 回报提升 +24.9%（72.626 vs 58.135）；
PRIME-Forward 反而退化至 39.410（-32%），因破坏仍受信噪的神经元；
总休眠比例稳定在 $10% \sim 20%$ （MAPPO 为 $40% \sim 45%$ ）；
覆盖率峰值 $\sim 0.68$ 、单 slot 服务用户 $\sim 14$ 、碰撞率 IQM = 0.005；
策略熵在阶段切换后保持较高水平。

5. 增益来源定位：训练梯度信号（而非输出敏感度代理）+ 团队级聚合（而非单切片）承载了主要效果；硬重置可被同节奏高斯扰动等价替代。

6. 理论意义：双向交集使扰动能量按 $d_{t}^{*} ≪ d$ 缩放，避免了无差别噪声注入的高代价。

7. 优点与亮点

内省式诊断视角：与现有面向外部阶段信号的工作（MACPH、PE-MAMoE 等）形成方法论上的差异化，从网络自身状态出发。
零额外计算的反向信号：直接读取 PPO 优化器已沉积的梯度，避免 ReSiN 所需的额外前向-反向传播，且天然吸收多 agent 聚合、裁剪、优势估计的复合效应。
团队级统计：在 $(T_{roll} \cdot n, d_{obs})$ 批次上聚合激活与梯度，干净地处理了"同一神经元对不同 agent 表现不同"的多 agent 难题。
**输出保持型

PRIME 论文总结（续）

7. 优点与亮点（续）

输出保持型重置：通过同时重置入向权重、偏置归零与下一层对应列置零，将重置瞬间对策略输出的扰动降至零阶，避免了硬重置常见的策略震荡与回报瞬时下跌。
零超参与解耦： $τ_{d}$ 、 $τ_{g}$ 、 $F$ 三个超参在较大范围内均稳定（IQM 变化仅 $\sim 2$ 点），部署成本低；触发机制与外部阶段信号完全解耦，无需任何环境监测模块。
理论与实证互相印证：Theorem 1 的扰动上界随 $d_{t}^{*} / d ≪ 1$ 缩放，与实验观察到的"被重置神经元占比远小于全参数"一致，构成完整的经验-理论闭环。
跨学科问题意识：将灾难场景、UAV-ECN 工程参数（3GPP 信道、旋翼能耗模型）与 MARL 训练稳定性问题有机结合，任务设置具有实际意义。

8. 局限性与待改进之处

8.1 实验层面的不足

种子数过少：仅 2 个种子（42、43），bootstrap 置信区间未报告，无法有效评估统计显著性与方差，结论的稳健性存疑。
场景单一：所有主实验仅在 UAV-ECN 自定义场景（ $U = 3$ 、 $H = 32$ 、 $N = 20$ ）下完成，未在 SMAC、MAMuJoCo、GRF、Hanabi 等标准 MARL 基准上验证，方法的可迁移性未知。
规模受限：未测试更大规模（ $n \geq 5$ 、 $H \geq 128$ ）的网络与 agent 数；理论分析涉及 $d_{t}^{*}$ 随 $d$ 的缩放，但缺乏对应的大规模验证。
阶段切换有限：仅 8 次阶段切换、9 个阶段段，对"长时段持续非平稳"（如数百次切换）的覆盖不足。
对照方法不完整：缺少与 LayerNorm、 $ℓ_{2}$ 正则、reset-on-init、Continual Backprop 等近两年专门针对可塑性损失方法的直接对比（仅以 PRIME-Forward 作为 ReDo/Plasticity Injection 的代理）。
GPU 信息缺失：未说明所用 GPU 型号与数量，复现成本与可比较性受影响。

8.2 方法层面的局限

诊断粒度固定在隐藏层神经元：未考虑注意力头、卷积通道、LayerNorm 参数等结构，对 Transformer 类策略网络的适用性未论证。
硬重置 vs 软重置：附录中干预算子（高斯扰动）取得与硬重置相当的性能，暗示硬重置的"输出保持"设计可能并非关键增益来源，但论文未深入剖析硬/软选择的理论依据。
梯度阈值依赖 PPO： $τ_{g}$ 的有效性建立在 PPO 真实梯度幅度具有可比性的假设上；若切换至 SAC、QMIX 等 off-policy 或 value-based 方法，需重新校准。
对初始化分布敏感：Kaiming uniform 与零列置零隐含权重-激活统计假设，若策略网络使用 BatchNorm 或谱归一化，需要适配。
重置时机固定： $F = 200$ 是周期式触发，对"局部短时崩溃"可能反应迟缓，缺乏自适应触发判据。
仅处理休眠类退化：对其他形式的可塑性损失（如特征秩坍缩、梯度爆炸、注意力饱和）未涉及，框架通用性受限。
无遗忘分析：未衡量重置是否导致已学技能的灾难性遗忘，缺少分任务性能曲线或前向迁移指标。

9. 写作与呈现评价

结构清晰：问题动机→方法→理论→实验→结论的链条完整，附录与正文分工合理。
图表丰富：主实验、消融、诊断三层图表共数十张，可视化密度高；但部分图例颜色/线型在小尺寸下区分度有限。
可读性：算法伪代码（Alg. 1）与公式编号齐备，复现门槛较低；超参表完整给出。
表述严谨度：部分定性结论（如"显著优于"）未配套置信区间；"5–18% 跨 agent 休眠分歧"等数据来自单次实验的现象描述，需结合种子扩展加以巩固。

10. 总体评价与启示

PRIME 提出了一种面向共享参数协作型 MARL 的双向静默神经元诊断-重置框架，核心贡献在于：

1. 首次将 Silent Neuron 框架从单智能体拓展到多智能体共享参数设置，并系统识别出多 agent 训练下前向休眠与反向梯度静默的系统性解耦；

2. 利用 PPO 优化器已沉积的真实梯度作为反向判据，实现零额外计算的双向交集判据；

3. 团队级批次聚合 + 输出保持型硬重置干净解决了多 agent 特有的诊断歧义与重置抖动问题；

4. 动态遗憾界为周期性局部重置提供了理论支撑，扰动代价随休眠子空间维度缩放。

实验层面，在自定义 UAV-ECN 非平稳灾难场景上，PRIME 相对 MAPPO 取得 +24.9% IQM 回报增益，且 9 阶段 8 切换下保持稳定的 $10% \sim 20%$ 休眠比例，而 MAPPO 累积至 $40% \sim 45%$ 。但结论的统计强度受限于 2 个种子与单一场景，方法在其他 MARL 基准与大规模网络上的可迁移性仍需进一步验证。

对未来工作的启示：

将双向静默判据推广到 Transformer/CNN 策略网络与 off-policy MARL 算法；
探索自适应触发（基于 DNF/LDO 增长率）与软重置机制（注入而非清零）；
在 SMAC、MAMuJoCo 等标准基准上进行多种子、可视化统计检验的系统验证；
结合前向迁移指标，量化重置策略对已学技能的保留能力。

（完）

✨ 编译论文

点「✨ 编译」开始,LLM 会按 Polaris 风格翻译并把图片/表格嵌到对应位置。结果存到浏览器 localStorage,下次访问自动加载。