基于图神经网络的多智能体控制在稀疏车载自组织网络中交通冲击波的控制

📊 论文图表(共 6 张)

展开查看 6 张图

‹ ›

TL;DR

本文针对车载自组织网络（VANET）早期部署阶段车辆联网率极低的现实约束，提出将[[图神经网络]]（GNN）嵌入[[多智能体强化学习]]（MARL）策略网络，使互联自动驾驶车辆仅凭局部邻域信息即可协同控制、抑制交通冲击波传播。仿真结果表明，在仅有 10% 车辆具备 V2V 通信能力的稀疏场景下，该方法可将冲击波引起的速 度波动降低约 80%，为 CAV 技术早期落地提供了一条切实可行的技术路径。

研究背景与动机

当我们行驶在高速公路上时，常常会遇到一种令人困扰的现象：前方明明已经畅通无阻，车辆却像多米诺骨牌一样一辆接一辆地减速、停顿、再启动——这种向上游车队持续传播的走走停停波，在交通工程领域被称为交通冲击波。这并非简单的"前方堵车"问题，而是即使没有任何物理瓶颈，小型扰动一旦被触发，就会在车流中不断放大、蔓延，最终导致整个路段效率骤降。研究者早已认识到，交通冲击波是现代交通系统中拥堵频发、油耗攀升以及追尾事故率上升的核心诱因之一。

面对这一挑战，[[互联自动驾驶车辆]]（CAVs）被寄予厚望。与依赖人类直觉和滞后反应的普通车辆不同，CAVs 之间可以通过 V2V（车与车）通信实时交换状态信息，配合自适应控制算法，有望从根本上抑制冲击波的生成与传播。然而，现有的多数协同控制策略存在一个致命的现实障碍——它们几乎无一例外地依赖全局交通状态信息。这意味着控制器需要掌握整个路段所有车辆的速度、位置、加速度等完整数据，才能做出决策。在真实的 VANET 部署早期阶段，网络中仅有少量车辆具备通信能力，绝大多数仍是传统的人类驾驶车辆，此时全局信息采集根本不现实。

正是这一理论与现实之间的鸿沟，催生了本文的研究问题：能否在极度稀疏的联网条件下，让每一辆 CAV 仅利用自身观测到的局部信息以及相邻车辆的有限交互，自主学习出有效的协同控制策略？换句话说，我们需要一种去中心化的解决方案——每辆车独立决策，但决策依据中融入了对周围环境的图结构感知。

方法

本文的核心思路可以概括为"将图结构引入多智能体决策"，具体实现为一个去中心化、部分可观的[[多智能体强化学习]]框架[[Dec-POMDP]]，并在每个智能体的策略网络中嵌入[[图神经网络]]模块。

整个问题被形式化为一个标准的多智能体决策模型 $M=⟨S,A,P,R,O,\Omega ,\gamma ⟩$，其中 $S$ 代表全局状态空间，$A$ 是动作空间（纵向加速度），$R$ 是奖励函数，$O$ 和 $\Omega$ 则描述了每个智能体只能观测到局部信息的约束条件——这正是真实车联网场景的真实写照。每辆 CAV 在时刻 $t$ 维护一个局部通信图 $G_t^i=(V_t^i,E_t^i)$，其中节点代表通信范围内的邻近车辆及其自身，边则编码了相对距离、车道差异等空间关系。

关键设计在于如何利用这个局部图结构。传统做法往往将所有邻居的信息做简单的池化（pooling）操作——比如取平均或拼接——然后直接送入策略网络。这种做法丢失了车辆之间的拓扑结构信息：比如前车对自身的影响显然大于侧后方车辆，而当前车的前车发生制动时，这一信息也应间接影响本车的决策。图神经网络恰好填补了这一空白。论文采用了一种简洁的消息传递机制：

其中 $h_i^{(l)}$ 表示节点 $i$ 在第 $l$ 层的嵌入向量，$\mathcal{N}(i)$ 为其邻居集合，$W^{(l)}$ 为可学习的变换矩阵，$\sigma$ 为非线性激活函数。通过堆叠多层 GNN，每辆 CAV 最终获得的隐表示 $h_t^i$ 实际上是多层聚合的产物——既包含了直接邻居的运动状态，也间接编码了更远处车辆的影响，从而在局部范围内实现了对交通流空间关联性的捕获。

奖励函数的设计则直接面向控制目标。论文定义的奖励项包含三个核心要素：

其中 ${\bar{v}}_t^i$ 鼓励车辆保持较高且平稳的行驶速度，${\sigma }^2(v_t^i)$ 惩罚邻域内的速度方差（即抑制冲击波），而 ${\text{collision}}_t$ 则对碰撞风险施加重罚。通过调节权重系数 $(\alpha ,\beta ,\gamma )=(1.0,2.0,5.0)$，算法在效率与安全之间取得了平衡。

在训练范式上，论文采用了[[多智能体强化学习]]中广泛使用的 CTDE（集中训练、去中心化执行）框架。训练阶段，所有智能体的经验可以共享回放缓冲区，策略梯度由 [[PPO]] 算法统一更新；部署阶段，每辆车独立运行其策略，仅依赖本地的 GNN 编码结果，无需任何中心节点的协调。这种设计兼具训练效率与部署可扩展性。

实验与结果

实验构建了一个包含 50 辆车辆的多车道高速公路微观仿真环境，车辆中仅 10% 被设置为具备 V2V 通信能力的 CAV，其余遵循经典的人类驾驶员跟驰模型。仿真通过在领头车辆上施加突发制动扰动来人为注入冲击波，然后观察系统从扰动中恢复的过程。

论文将所提的 MARL+GNN 方法与一个基准方法进行对比——该基准同样采用多智能体强化学习架构，但策略网络仅包含共享的线性层，缺乏图结构编码能力。实验结果表明，MARL+GNN 在各项关键指标上均显著优于基准：速度方差从 90.2 降至约 30.0（降幅约 67%，论文声称峰值抑制率达 80%），平均速度从 16 m/s 提升至 20 m/s，累积奖励由 -3 提升至 14。速度-时空热力图的可视化结果尤为直观——在基准方法下，冲击波沿时间轴向上游清晰传播；而在 MARL+GNN 控制下，扰动被局部化在领头车附近，未能形成大规模的上游蔓延。

这些结果有力地验证了核心假设：在稀疏联网场景下，局部图结构的引入能够显著提升多智能体协同控制的效果，使少量 CAV 足以对整体交通流产生正向调控作用。

讨论与可借鉴点

尽管实验数据令人鼓舞，但论文的验证工作仍存在明显的不完整性，这在客观上制约了其结论的普适性。首先，实验仅考察了 10% 渗透率这一个固定值，缺乏不同联网率（如 5%、20%、50%）下的性能扫描，因此无法建立"联网率-控制效果"之间的定量关系曲线。其次，实验规模仅包含 50 辆车和单一高速公路场景，未涉及匝道汇入、弯道、异质车辆动力学等更复杂的交通环境，方法的泛化能力尚未得到检验。此外，论文仅与简单的线性策略基准做了对比，未与 IDM、最优速度模型等经典交通流模型或已有的 GNN 辅助交通控制方法在同一基准下横向比较，方法的有效性缺乏多角度验证。

更值得关注的是，论文未考虑 V2V 通信中必然存在的时延、丢包与噪声问题。现实的车载无线通信受多径衰落、车辆相对运动等因素影响，消息到达时间与内容可靠性均无法保证，这在仿真中被完全忽略。碰撞安全约束虽以高权重惩罚的形式嵌入奖励函数，但碰撞率这一关键安全指标在实验表格中并未明确呈现。

总体而言，这项工作提出了一个优雅且有前景的技术框架——通过将图神经网络融入去中心化多智能体强化学习，使稀疏车联网条件下的协同控制成为可能。其核心思想"用局部图结构弥补全局信息的缺失"具有较强的可迁移性，可启发其他稀疏连接场景下的多智能体协作研究。然而，从论文到可部署的工业解决方案之间，仍需在通信建模、场景多样性、硬件在环验证等方面开展大量后续工作。对于有志于推进 CAV 早期落地的研究者与工程师而言，这既是一份有价值的参考，也是一张有待完善的蓝图。

摘要

交通冲击波是一种向上游车辆队列传播的走走停停波，是现代交通系统中交通拥堵、燃油效率低下以及事故率上升的主要原因之一。尽管互联自动驾驶车辆（CAVs）为缓解此类冲击波提供了很有前景的途径，但现有的多数控制策略都依赖于全局交通状态信息，因此在车载自组织网络（VANETs）早期部署阶段难以实际应用。本文提出了一种去中心化的多智能体强化学习（MARL）框架，该框架融合了图神经网络（GNN）以增强互联自动驾驶车辆的控制架构。该方法使车辆能够利用局部可获取的信息以及与邻近车辆的交互来学习协同控制策略。文中在可扩展的仿真环境中，结合真实的高速公路交通条件对该方案的有效性进行了评估。仿真结果表明，即使在仅有10%的车辆具有互联能力的情况下，所提出的基于图神经网络的多智能体强化学习框架仍可将交通冲击波的传播减少高达80%。

Abstract

Traffic shockwaves are stop-and-go waves that propagate upstream through the streams of vehicles and are one of the major causes of traffic congestion, fuel inefficiency, and increased accident rates in modern transportation systems. Although Connected and Autonomous Vehicles (CAVs) offer a promising opportunity to mitigate such shockwaves, most existing control strategies rely on global traffic state information, making them impractical for early-stage deployment of Vehicular Ad-hoc Networks (VANETs). In this paper, we propose a decentralized Multi-Agent Reinforcement Learning (MARL) framework that integrates a Graph Neural Network (GNN) to enhance the control architecture of connected and autonomous vehicles. The proposed approach enables vehicles to learn cooperative control policies using locally available information and interaction with neighboring vehicles. The effectiveness of the proposed scheme is evaluated using a scalable simulation environment under realistic highway traffic conditions. Simulation results show that the proposed GNN-based MARL framework can reduce the propagation of traffic shockwaves by up to 80%, even when only 10% of the vehicles are connected.

论文详细总结（自动生成）

基于图神经网络的多智能体控制在稀疏车载自组织网络中交通冲击波的控制

1. 核心问题与研究动机

• 研究背景：交通冲击波（stop-and-go waves）是由人类驾驶员延迟且不一致的响应触发的微小扰动向上游传播所引发，是现代交通系统拥堵、燃油浪费及追尾事故率上升的主要因素之一。即使不存在物理瓶颈，冲击波仍会导致交通失稳。
• 现有方法的不足：传统手段（可变限速、匝道控制、自适应巡航等）在人类驾驶车辆（HDV）占主导的混合交通环境中效果有限；基于互联自动驾驶车辆（CAVs）与车载自组织网络（VANETs）的多智能体强化学习（MARL）方法虽具潜力，但多数假设高渗透率或依赖全局交通状态信息，与早期稀疏车联网部署的现实严重脱节。
• 本文聚焦问题：在仅有少量车辆具备 V2V 通信能力的稀疏 VANET 场景下，如何让 CAVs 仅凭局部观测与邻域交互学习去中心化协同控车策略，从而有效抑制冲击波传播。

2. 方法论

#### 2.1 核心思想

构建一个 去中心化、部分可观 的 MARL 框架（Dec-POMDP），并在每辆 CAV 的策略网络中嵌入一个 图神经网络（GNN），使其在每一步将自身与其通信范围内的邻车构成的局部子图编码为隐向量，再馈入 PPO 策略网络进行纵向加速度决策。

#### 2.2 系统模型与问题建模

• 场景：多车道高速公路，HDV 跟驰模型 + CAV 智能体；只有少量 CAV 形成稀疏 VANET。
• 形式化为 Dec-POMDP：

其中 $S$ 为状态空间，$A$ 为动作空间，$P$ 为状态转移函数，$R$ 为奖励，$O,\Omega$ 描述局部观测及其概率，$\gamma$ 为折扣因子。

• 每辆 CAV $i$ 在时刻 $t$ 拥有局部状态 $s_t^i$ 与局部通信图 $G_t^i=(V_t^i,E_t^i)$，输出加速度动作 $a_t^i$。
• 局部状态包括：自车速度/加速度/位置/车道、相邻车辆运动状态、与邻车 V2V 交换的信息。

#### 2.3 图构建与 GNN 编码

• 节点特征：速度、加速度等运动学量。
• 边特征：相对距离、时间车头距、车道差。
• 节点嵌入更新（标准 GCN 式消息传递）：

更新后的 $h_t^i$ 即为融合邻域空间上下文的隐表示，作为策略网络输入。

#### 2.4 奖励函数与目标

奖励函数鼓励平稳高效流，惩罚速度波动与碰撞：

其中 ${\bar{v}}_t^i$ 为邻域平均速度，${\sigma }^2(v_t^i)$ 为邻域速度方差，${\text{collision}}_t$ 为二元碰撞惩罚，$\alpha ,\beta ,\gamma$ 为权重系数（论文中分别取 1.0、2.0、5.0）。

策略学习目标为最大化累计折扣奖励：

采用 CTDE（集中训练、去中心化执行） 框架：训练阶段共享经验，部署时各车独立运行。

#### 2.5 算法流程（Algorithm 1）

```

输入：初始策略参数 θ，环境 E，智能体数 N，通信范围 R

输出：训练好的策略 π

for each episode:

初始化混合交通环境 (CAVs + HDVs)

for each time step t:

for each agent i = 1..N:

观测局部状态 s_t^i

在范围 R 内找邻居，构建局部图 G_t^i

GNN 编码得到 h_t^i

按 π(a | h_t^i; θ) 采样 a_t^i 并执行

收集奖励 r_t，存入回放缓冲

用 PPO 更新参数 θ

```

3. 实验设计

• 仿真平台：自行实现的微观交通仿真器（未指明是否基于 SUMO 等开源平台），建模多车道高速公路。
• 场景参数：
• 车辆数 $N=50$
• 仿真步长 $\Delta t=0.2$ s
• V2V 通信范围 $R=100$ m
• 混合交通（部分为 CAV，其余遵循人类驾驶员跟驰模型）
• 通过在领头车施加突发制动扰动注入冲击波，扰动解除后观察系统恢复
• 基准（Baseline）：纯 MARL（共享线性策略，仅依赖个体局部观测，无图结构信息）。
• 对比方法：MARL vs. MARL + GNN（所提方案）。
• 评估指标：
• 速度方差 ${\sigma }^2(v)$（峰值与均值）
• 平均速度 $\bar{v}$
• 恢复时间 $T_{\text{rec}}=\min \{t:{\sigma }^2(v_t)<ϵ\}$
• 累积奖励与振荡抑制率 $\text{Reduction}(\%)=\frac{{\sigma }_{\text{baseline}}^2-{\sigma }_{\text{method}}^2}{{\sigma }_{\text{baseline}}^2}\times 100$
• 速度热力图（时空演化）

4. 资源与算力

• 未明确说明：论文未披露任何 GPU 型号、训练硬件、训练时长、内存占用或代码实现细节。读者无法评估其计算开销与可复现性成本。

5. 实验数量与充分性

• 实验规模较小：
• 仅 $N=50$ 辆车的单一高速公路场景；
• 通信范围固定为 $R=100$ m；
• 渗透率仅给出"10% 车辆联网"的关键数字，但缺乏不同渗透率（如 5%、20%、30%、50%）的消融曲线；
• 未对 GNN 层数、隐层维度、奖励权重 $\alpha ,\beta ,\gamma$、通信延迟等关键超参进行系统敏感性分析。
• 缺乏对照的多样性：除 MARL 基线外，未与经典方法（如固定间距策略、IDM、最优速度模型、已有 CAV 队列控制方法 Stern 等）做对比；奖励表格中的"Collision"列与"Reduction (%)"列呈现略不一致的数字（表 II 中 σ² 从 90.2 降至 30.0 → 约 67% 降幅，但 Reduction 一栏写 ~80%，叙述中也强调"最高 80%"），数据呈现存在轻微混淆，削弱了客观性。
• 总体判断：实验初步验证了方法可行性，但不够充分，尤其缺少渗透率扫描与多种基准的横向比较。

6. 主要结论与发现

• 核心结论：将 GNN 消息传递嵌入去中心化 MARL 策略网络，可在仅 10% 车辆具备 V2V 能力的稀疏 VANET 场景下，将冲击波传播幅度降低最高约 80%，并将速度方差从 90.2 降至 30.0 左右（表 II/III），平均速度由 16 m/s 提升至 20 m/s，累积奖励由 −3 提升至 14。
• 时空特性：速度热力图显示，MARL+GNN 控制下冲击波扰动在空间上被局部化，恢复时间显著缩短；说明邻域感知的图结构对协同加减速至关重要。
• 意义：在 VANET 早期稀疏部署阶段，无需全局状态信息即可通过局部 GNN 协同实现冲击波抑制。

7. 优点与亮点

• 面向真实落地约束：明确针对稀疏、低渗透率场景，契合 CAV/VANET 早期部署现实，比依赖全局信息的方法更实用。
• 结构化邻域建模：用 GNN 自动学习车辆间空间-时序关系，避免了手工设计通信特征的繁琐，且对动态拓扑更具适应性。
• CTDE + 共享 PPO：训练阶段集中共享经验，执行阶段完全去中心化，兼顾训练效率与部署可扩展性。
• 直观可视化：速度热力图直观展示了扰动被"局部化"的过程，物理可解释性强。
• 算法流程完整：Algorithm 1 给出端到端流程，便于复现。

8. 不足与局限

• 理想化通信假设：模型未考虑 V2V 通信中的时延、丢包、带宽限制及噪声，部署到现实无线环境时性能可能下降。
• 仿真规模有限：仅 50 车、单一高速公路场景，未验证在多入口匝道、弯道、异质车辆动力学、信号灯交叉口等更复杂环境下的泛化性。
• 缺乏超参与渗透率系统研究：仅给出 10% 渗透率下的结果，未扫描 5%、20%、50% 等以建立性能-渗透率曲线；GNN 层数、隐层维度、奖励权重也未做敏感性分析。
• 对比基线薄弱：仅与"线性共享策略的 MARL"对比，未与 IDM、最优速度模型、Stern 等经典物理或队列控制方法或已有 GNN 交通预测方法在同一基准上比较。
• 安全性与硬约束不足：碰撞惩罚权重较高但碰撞率指标未在表中明确呈现（表 II 与表 III 的 Collision 列数字方向相反，存在不一致），安全约束如何得到严格保证未被充分论证。
• 数据与算力不透明：未公开训练步数、GPU/计算资源、随机种子、超参搜索范围，难以复现与横向比较。
• 真实道路验证缺失：所有结论均基于仿真，缺乏真实道路或硬件在环（HIL）实验支撑。

（完）