📊 论文图表(共 3 张)

展开查看 3 张图

‹ ›

TL;DR

这篇论文针对自由化高铁市场中多个运营商在反垄断约束下进行动态定价的问题，提出了一种基于关系图建模的多智能体强化学习方法。该方法将每个运营服务而非决策智能体表示为图节点，通过多层关系图卷积网络（R-GCN）和注意力机制对竞争、协调、连接三种异质关系进行编码，扩展了 MATD3 算法。在两种复杂度递增的市场场景下，RACHE 框架的总收益和稳定性均显著优于包括 MATD3、GA-AC 在内的多个关系型与非关系型基线方法。

研究背景与动机

高铁客运市场的自由化进程正在全球范围内推进，其核心特征是引入多家运营商在同一基础设施上竞争运营。不同于航空公司那种相对"各飞各的"竞争模式，高铁市场中各运营商的运营单元——具体到一趟趟列车服务——之间的关系要复杂得多。两家不同运营商的车次可能服务于完全相同的起终点（例如北京—上海），形成正面竞争；同一家运营商的多个车次虽然利益一致，但在产品组合上需要协调内部竞争——毕竟同一班次的商务座和二等座也争夺同一笔预算；更有趣的是，当一条直达线路票价过高或满座时，乘客可能选择换乘，跨运营商的中转联程便产生了"连接"关系。这些竞争、协调与连接关系共同构成了市场的拓扑结构，深刻影响着每个运营商的定价决策。

然而，现有的多智能体强化学习方法在这一场景下面临独特困境。主流方法如 MADDPG、MATD3、MAAC 都将来自环境的观测视为一个扁平的向量，输入神经网络后不做任何结构化处理。这种处理方式在简单环境（如粒子环境中控制几个机器人）中尚可工作，但面对高铁定价问题时，忽略了决定战略交互的市场拓扑结构。更棘手的是，反垄断监管明确禁止竞争者之间进行直接通信或信息交换——任何合谋行为都可能面临巨额罚款。这就意味着每个运营商只能从公开可观测的市场数据（价格、销量等）中"猜测"竞争对手的意图和策略，自己持有的私有信息（累计收入、内部运营指标）也必须对对手保密。

由此，这篇论文提出了一个关键问题：能否设计一种关系型的表示学习方法，让每个智能体在部分可观测的约束下，从可观测的市场数据中显式建模竞争对手之间的战略交互结构，从而做出更优的定价决策？

方法

从智能体图到实体图：建模视角的转换

论文方法的第一个关键洞察在于建模对象的转换。传统关系型 MARL 方法（如 GA-AC）通常以运营商作为图的节点，每个运营商用一个向量表示其全局状态。这种做法的问题在于：一个运营商每天可能运营十余趟甚至数十趟列车，每趟列车有不同的座位等级、出发时刻、起终点，它们在市场竞争中的角色完全不同——用单一向量抹平这些差异，无异于把一盘菜的所有食材搅成糊再端上来。

RACHE 采用的策略是以服务（service）——即一趟列车的某个座位等级组合——作为图的节点。每个服务 $v$ 由多个特征描述：起点、终点、运营商、线路、时段、车型、座位等级，以及实时的价格、销量和累计收入等市场信号。将所有服务作为节点构建图之后，三种边类型分别编码了前文分析的市场拓扑结构：

• 竞争边连接同一日期、同一 OD 市场但不同运营商的服务，体现替代关系；
• 协调边连接同运营商、同日期的服务，体现内部产品组合优化需求；
• 连接边则是有向边，连接可达中转的服务（前一程的到达站与后一程的出发站有交集），体现联程出行网络。

这种建模方式使得图的结构本身成为了市场关系的"硬编码"，网络在进行信息传播时天然遵循这些约束，而非在扁平的向量空间中进行无结构的混合。

三阶段关系状态表示学习

有了实体图之后，论文设计了三个阶段将图结构转化为每个智能体可用的状态表示。

第一阶段是异构实体特征编码。 服务的特征天然分为两类：类别特征（运营商、线路、时段等）和连续特征（价格、销量、累计收入）。对于类别特征，论文使用可学习嵌入层将每个类别 ID 映射到低维向量空间后拼接。对于连续市场信号，则通过一个 MLP 处理后与类别嵌入融合，再投影到统一的嵌入维度。值得注意的是，由于每个智能体只能观测到自己的私有信息，对手服务的销量和累计收入在输入时被零掩码——但同一特征位置上的 operator 特征没有被掩码，因此智能体仍可通过 operator 标识区分"自己人"和"竞争对手"。

第二阶段是多层关系图卷积网络的上下文传播。 这是整个表示学习的核心。R-GCN 在每层中分别对三种边类型使用独立的变换矩阵 $W_r^{(\ell )}$，将邻居节点的嵌入加权聚合后与自身嵌入相加：

与标准 GCN 的关键区别在于：R-GCN 对竞争边、协调边、连接边分别做消息传递，每种关系拥有独立的权重矩阵。这使得网络能够学习到"来自竞争对手的压力"和"来自合作伙伴的支撑"以不同的方式影响本服务的状态表示。中间层加入了残差连接、LayerNorm 和 Dropout，以稳定深层网络的训练。

第三阶段是基于注意力的智能体级状态聚合。 经过 $L$ 层 R-GCN 后，每个服务节点都有一个 $d_{\text{emb}}$ 维的嵌入向量。但 actor 网络需要的是定长的智能体级观测（因为策略输出维度固定），而不是变长的节点嵌入序列。这里使用一个学习式的注意力评分函数，对所有服务节点做 softmax 归一化后加权求和，得到一个固定长度的智能体状态向量 ${\tilde{z}}_a$。这个注意力机制本质上是在问："对于我（智能体 $a$）而言，当前市场中哪些服务最值得关注？"——那些与自身服务在同一 OD 市场、票价相近、或构成关键中转节点的服务将获得更高的注意力权重。

Actor-Critic 架构与梯度解耦

将上述三阶段表示学习模块插入 MATD3 框架后，每个智能体 $a$ 拥有：一个去中心化的 actor ${\pi }_{{\theta }_a}$ 接收定长观测 ${\tilde{z}}_a$ 输出动作；两个中心化的 critic $Q_{{\varphi }_a}^1,Q_{{\varphi }_a}^2$ 用于双 critic 减少 Q 值过估计；以及一个独立的 GNN 模块 ${\psi }_a$ 负责将原始环境数据转化为结构化表示。

训练中的核心设计是表示学习与策略学习的梯度解耦。具体而言，在计算 actor 的动作和策略梯度时，对 ${\tilde{z}}_a$ 进行 stop-gradient 操作——这意味着 actor 看到的观测向量是一个"只读的"表示，GNN 的参数只能通过 critic 的损失函数更新，而不会受到 actor 梯度回传的干扰。这一设计缓解了表示学习与策略优化之间的耦合冲突：表示模块需要捕捉对值函数估计有意义的市场结构，而 actor 则专注于在给定的表示上优化策略，二者各司其职。

实验与结果

实验基于作者团队前期开发的 RailPricing-RL 仿真器，采用基于随机效用模型（RUM）的乘客微观选择行为模拟真实的预订决策过程。每条服务的动作空间定义为票价调整幅度 ${\alpha }_t^{c,v}\in [-1,1]$，经过缩放因子 $\beta =25$ 后实际调整票价。奖励为每日增量收入。

论文设置了两个复杂度递增的场景。Base 场景包含 3 个运营商、18 个服务（每日 18 班次）、7 个 OD 市场、4 类乘客（商务、通勤、学生、休闲），每个智能体的动作空间为 36 维。Large 场景扩展到 4 个运营商、63 个服务（跨 3 天共计 21 班次/天）、6 个 OD 市场，回合内约 1420 名潜在乘客，动作空间提升至 126 维，且各运营商持有的服务数量高度不对称（最大 21 个、最小 9 个），更接近真实市场中大小运营商共存的格局。

对比基线涵盖非学习基线（Random、Static pricing）、非关系型学习方法（MADDPG、MATD3、MAAC）以及关系型基线 GA-AC（以运营商为节点的双阶段注意力网络）。所有方法使用各算法默认超参数，不做针对性调优，以公平检验方法本身归纳偏置的有效性。

核心结果在总收益指标上，RACHE 在两个场景中均位列第一。Base 场景下 RACHE 总收益为 41,036 [40,596, 41,509]，比基础 MATD3 的 37,028 提升约 10.8%，比关系型基线 GA-AC 的 34,446 提升约 19.1%。Large 场景中 RACHE 的优势进一步扩大，相对 MATD3 的提升幅度达到约 15%。从 95% 分层 bootstrap 置信区间来看，RACHE 的优势具有统计显著性。

稳定性分析中，论文使用逐智能体连续收益差的标准差作为稳定性指标。结果显示 RACHE 在 Base 和 Large 场景中均展现出最低的波动性。特别值得注意的是，Large 场景中 MATD3 出现了明显的崩溃模式（训练后期收益急剧下降），而 RACHE 维持了稳定的学习曲线——这说明关系建模为学习过程引入了有价值的归纳偏置，使算法在复杂市场中不至于学出极端不稳定的策略。

消融实验揭示了各组件的贡献。三种边类型中，竞争边的移除对性能影响最大（因为竞争是最直接的收入威胁），但协调边和连接边的移除同样带来显著下降——这说明三类关系在定价决策中各有其不可替代的作用。网络深度方面，2 层 R-GCN 在两个场景中均取得最优效果，过浅（1 层）无法捕获足够的上下文，过深（3 层）反而因过度平滑而损害节点区分度。注意力机制方面，学习式注意力相比均匀注意力有显著提升，表明并非所有服务对当前决策都同等重要，模型确实需要学会区分关注重点。梯度解耦（stop-gradient）设计在 Large 场景中对稳定性提升尤为关键。

论文还通过 t-SNE 可视化展示了学习到的嵌入空间中服务节点的分布。按运营商着色时，同一运营商的服务自然聚集；按累计收入着色时，收益高的服务在嵌入空间中形成簇——这说明 GNN 学到的表示确实编码了经济上有意义的结构，而非只是过拟合了表面特征。

讨论与可借鉴点

从方法论的角度，这篇论文最大的启发在于建模层次的选择。作者敏锐地指出，当环境中的"战略交互"发生在比智能体更细的粒度上时（如一趟列车的某个座位等级），以智能体为单位建模会丢失大量结构信息。将建模粒度下移到服务级别，并通过关系图编码服务之间的异质交互，是一种直觉上自然、实践中有效的选择。这一思路对于其他具有类似多层结构的 MARL 问题（如共享出行平台中多个司机-车辆组合的动态调度、电商平台中多个商品-店铺组合的定价竞争）同样具有参考价值。

从工程角度看，GNN 跨节点共享参数且最终通过注意力聚合为定长向量，使得 RACHE 在 Large 场景下的参数量（约 2.98M）显著低于 MATD3（约 10.37M）和 GA-AC（约 10.09M），同时取得了更好的性能。这说明引入结构化归纳偏置不仅提升了策略质量，还改善了样本和计算效率——这是一个难得的"双赢"局面。

论文的局限性主要在几个方面。首先，每个场景仅用 3 个随机种子进行评估，统计强度有限，大规模商业部署前需要更多独立运行来确认结果的稳健性。其次，论文没有系统分析算法对超参数的敏感性，默认超参数在两个场景中均表现良好固然是加分项，但缺乏敏感性分析意味着实践中调参工程师仍然面临不确定性。第三，实体的定义（以服务为节点）在当前实验中粒度恰当，但当市场扩展到数百条服务、数千条线路时，图的规模可能成为瓶颈——R-GCN 的消息传递在超大图上的可扩展性值得进一步探索。最后，论文假设乘客选择行为遵循 RUM，这一假设虽然有微观经济学基础，但在真实高铁预订场景中可能受到用户界面设计、搜索排序等非理性因素的干扰，实际部署时需要结合真实数据进行校准。

总体而言，这篇论文在 MARL 的关系型建模方向上提供了一个扎实的技术方案，其核心贡献——实体图表示配合 R-GCN 和注意力聚合——不仅在高铁定价任务上取得了可验证的性能提升，其方法论框架也具有一定的跨领域迁移潜力。

摘要

在自由化的铁路系统中，运营商需要在部分可观测的环境下进行动态定价。各运营商保留着自身目标和运营绩效方面的私有信息，同时监管约束禁止竞争者之间进行沟通或直接信息交换，以防止形成显性合谋。因此，智能体只能从可观测的市场数据中推断彼此的战略交互，这对多智能体强化学习提出了重大挑战——标准方法通常将观测数据视为非结构化向量，忽略了支配战略交互的潜在市场拓扑结构。为解决这一问题，本文提出了一种实体图建模方法，将环境表示为由运营单元（而非决策智能体或静态基础设施）构成的图，从而编码实体之间的竞争、协调与连接关系。在此基础上，本文对多智能体双延迟深度确定性策略梯度（MATD3）算法进行扩展，引入基于图的表示学习，通过多层关系图卷积网络处理实体特征，并利用学习得到的注意力机制进行聚合。在铁路定价强化学习环境中的实验结果表明，相较于所选取的关系型与非关系型代表性基线方法，该框架在两种复杂度递增的市场场景下均能获得更高的收益与更优的稳定性。代码已开源：https://github.com/Kinrre/RelationalRailPricing-RL

Abstract

In liberalised railway systems, operators must set prices dynamically in an environment with partial observability, as they retain private information about their objectives and performance, where regulatory constraints prohibit communication or direct information exchange between competitors to prevent explicit collusion. Consequently, agents must learn to infer strategic interactions only from observable market data which presents a significant challenge for multi-agent reinforcement learning, where standard approaches typically treat observations as unstructured vectors, ignoring the underlying market topology that governs strategic interactions. To address this, an entity graph modelling approach is proposed, which represents the environment as a graph of operational units, rather than decision-making agents or static infrastructure, encoding competition, coordination, and connectivity relations between entities. Then, an extension of the multi-agent twin delayed deep deterministic policy gradient algorithm with graph-based representation learning processes the features of the entities through a multi-layer relational graph convolutional network and aggregates them via a learnt attention mechanism. Experimental results in a rail pricing reinforcement learning environment show that this novel framework achieves higher revenue and stability in two different settings of increasing market complexity compared to a representative selection of relational and non-relational baselines. The code is publicly available at: https://github.com/Kinrre/RelationalRailPricing-RL

论文详细总结（自动生成）

关系型多智能体强化学习用于高速铁路市场动态定价 — 论文总结

1. 核心问题与研究动机

• 应用场景：自由化（liberalised）高铁客运市场中，多个运营商需在预订周期内动态调整各服务（车次）的票价，以最大化收入并应对竞争与运力约束。
• 关键挑战：
• 部分可观测性：每个运营商的销量、累计收入等属于私有信息，竞争对手仅能观察到公共属性（运营商、线路、时段等）。
• 禁止通信：反垄断监管禁止竞争者之间直接交换信息或沟通以避免显性合谋。
• 复杂关系依赖：服务之间同时存在竞争（同一 OD 市场、不同运营商）、协调（同一运营商的内部产品组合）、连接（可中转的多运营商联程）三种异质关系。
• 现有方法的不足：传统 MARL（多智能体强化学习）方法（如 MADDPG、MATD3、MAAC）将观测视为扁平向量，要么完全忽略关系结构，要么仅以"运营商"或"站点"为节点建模，无法刻画服务级别的细粒度战略依赖。
• 研究目标：设计一种能够显式建模市场拓扑结构的关系型表示学习方法，使各智能体从可观测的市场数据中推断战略交互，制定更优的定价策略。

2. 方法论

2.1 整体框架（RACHE：Relational Actor-Critic with Heterogeneous Graph Embeddings）

• 在 CTDE（Centralised Training with Decentralised Execution，集中训练—分散执行）范式下，对 MATD3 算法进行扩展，为每个智能体引入独立的图表示学习模块。
• 每个智能体 $a$ 维护：去中心化 actor ${\pi }_{{\theta }_a}$、两个中心化 critic $Q_{{\varphi }_a}^1,Q_{{\varphi }_a}^2$，以及独立的 GNN ${\psi }_a$。

2.2 实体图（Entity Graph）建模

• 节点：每个服务（service）作为一个顶点 $v\in V$，由 operator(v) 标识所属运营商。
• 三种异质边（设 $W(v)$ 为服务 $v$ 所服务的 OD 市场集合，$W_o(v),W_d(v)$ 为起/到站集合）：
• 竞争边 ${\mathcal{E}}_{\text{comp}}$：服务间在同一 OD 市场且日期相同、运营商不同。

$${\mathcal{E}}_{\text{comp}}=\{(v_i,v_j):W(v_i)\cap W(v_j)\ne \varnothing ,\text{date}(v_i)=\text{date}(v_j),\text{operator}(v_i)\ne \text{operator}(v_j)\}$$

• 协调边 ${\mathcal{E}}_{\text{coord}}$：同一运营商同日运营的服务。

$${\mathcal{E}}_{\text{coord}}=\{(v_i,v_j):\text{date}(v_i)=\text{date}(v_j),\text{operator}(v_i)=\text{operator}(v_j)\}$$

• 连接边 ${\mathcal{E}}_{\text{conn}}$：服务 $v_i$ 的到达站与 $v_j$ 的出发站有交集，可形成中转联程。

$${\mathcal{E}}_{\text{conn}}=\{(v_i,v_j):W_d(v_i)\cap W_o(v_j)\ne \varnothing ,\text{date}(v_i)=\text{date}(v_j)\}$$

• 前两类为对称无向边，连接边为有向边。整体边集 $\mathcal{E}={\mathcal{E}}_{\text{comp}}\cup {\mathcal{E}}_{\text{coord}}\cup {\mathcal{E}}_{\text{conn}}$。

2.3 三阶段关系状态表示学习

阶段 1：异构实体特征编码

• 类别特征（如起点、终点、座位等级、运营商、线路、走廊、时段、车型）通过可学习嵌入 $E_k:\mathbb{N}\to {\mathbb{R}}^{d_e}$ 映射后拼接：

$$h_a^{\text{cat}}(v)={\Vert }_{k\in K}{E}_k(v_k)$$

• 连续市场信号（价格 $p_{s,c}$、销量 $n_{w,c}$、累计收入 $r_{w,c}$）拼接后由 MLP 处理：

$$h_a^{\text{cont}}(v)={\text{MLP}}_a(x_a^{\text{cont}}(v))$$

• 融合并线性投影得到初始嵌入：

$$h_{a,v}^{(0)}=W_a^{\text{proj}}[h_a^{\text{cat}}(v)\Vert h_a^{\text{cont}}(v)]+b_a^{\text{proj}}$$

• 部分可观测实现：对手服务的私有信息（销量、收入）以零掩码，但可通过 operator 特征区分自身与对手服务。

阶段 2：多层 R-GCN 关系上下文传播

• 在第 $\ell \in \{1,2,\dots ,L\}$ 层：

$$h_{a,v}^{(\ell )}=f^{(\ell )}\left(\sum _{r\in R}\sum _{u\in {\mathcal{N}}_r(v)}\frac{1}{|{\mathcal{N}}_r(v)|}{W}_r^{(\ell )}{h}_{a,u}^{(\ell -1)}+W_0^{(\ell )}{h}_{a,v}^{(\ell -1)}+b^{(\ell )}\right)$$

• 中间层 $\ell <L$ 加残差连接、LayerNorm、Dropout；最终层 $L$ 仅 LayerNorm，输出 $h_{a,v}^{(L)}\in {\mathbb{R}}^{d_{\text{emb}}}$。

阶段 3：基于注意力的智能体级状态聚合

• 学习式评分函数（两层 MLP + ReLU）后做 softmax：

$${\alpha }_{a,v}=\frac{\exp (\text{score}(h_{a,v}^{(L)}))}{{\sum }_{u\in V}\exp (\text{score}(h_{a,u}^{(L)}))},v\in V$$

• 加权求和得到定长智能体观测 ${\tilde{z}}_a$：

$${\tilde{z}}_a=\sum _{v\in V}{\alpha }_{a,v}{h}_{a,v}^{(L)}$$

2.4 Actor-Critic 训练

• Critic 损失（同时优化 GNN 参数 ${\psi }_a$）：

$$L({\varphi }_a^1,{\varphi }_a^2,{\psi }_a)={\mathbb{E}}_{j\sim \mathcal{D}}\left[\sum _{i=1}^2(y_{a,j}-Q_{{\varphi }_a}^i({\tilde{Z}}_j,u_j){)}^2\right]$$

其中目标值采用双 critic 取 min、目标策略平滑噪声与延迟更新：

$$y_{a,j}=r_{a,j}+(1-d_j)\gamma \underset{i=1,2}{\min }{Q}_{{\varphi }_a^{\prime }}^i\left({\tilde{Z}}_{j+1},{\pi }_{{\theta }_a^{\prime }}^1({\tilde{z}}_{j+1}^1)+ϵ,\dots ,{\pi }_{{\theta }_a^{\prime }}^n({\tilde{z}}_{j+1}^n)+ϵ\right)$$

$ϵ\sim \text{clip}(\mathcal{N}(0,\sigma ),-c,c)$。

• Actor 更新（确定性策略梯度）：

$${\nabla }_{{\theta }_a}J({\pi }_a)={\mathbb{E}}_{j\sim \mathcal{D}}\left[{\nabla }_{{\theta }_a}{\pi }_a({\tilde{z}}_{a,j}){\nabla }_{u_a}{Q}_{{\varphi }_a}^1({\tilde{Z}}_j,u_j){|}_{u_a={\pi }_a({\tilde{z}}_{a,j})}\right]$$

• 表示学习与策略学习解耦：在计算 actor 动作与梯度时，对 ${\tilde{z}}_a$ 进行 stop-gradient，GNN 仅通过 critic 损失更新，以缓解 actor 与 critic 的梯度冲突。
• 目标网络：critic 每次更新、actor 每 $d$ 次更新通过软更新 ${\theta }^{\prime }\leftarrow \tau \theta +(1-\tau ){\theta }^{\prime }$。

3. 实验设计

3.1 仿真环境

• 使用 RailPricing-RL 仿真器（作者团队前期工作）：模拟高铁动态定价、多运营商联程、基于 RUM（随机效用模型）的乘客微观选择行为。
• 观测空间：每条服务的静态属性（运营商、走廊、线路、时段、车型索引）+ 动态定价数据（价格、销量、累计收入），对手私有数据掩码。
• 动作空间：对每个服务–座位组合输出 ${\alpha }_t^{c,v}\in [-1,1]$，按 $p_{t+1}^{c,v}=p_t^{c,v}\cdot (1+{\alpha }_t^{c,v}\cdot \beta /100)$（$\beta =25$）调整票价。
• 奖励：每日增量收入 $r_a^t={\sum }_{v\in V_a}({\rho }_v^t-{\rho }_v^{t-1})$。

3.2 两种实验场景

• Base：3 个运营商、18 个服务（同日 18 班次）、7 个 OD 市场、4 类乘客、商务/通勤/学生/休闲、回合 7 天、约 980 名潜在乘客、动作空间 36 维。
• Large：4 个运营商、63 个服务（3 日 × 21 班/日）、6 个 OD 市场、回合约 1420 名乘客、动作空间 126 维；运营商之间组合规模不对称（最大 21、最小 9 个服务）。

3.3 对比基线

• 非学习基线：Random、Static pricing（保持初始票价）。
• 确定性策略：MADDPG、MATD3（本文所扩展的基础算法）。
• 随机策略：MAAC（基于注意力 critic 的 SAC 扩展）。
• 关系型基线：GA-AC（G2ANet 双阶段注意力、以运营商为节点）。
• 所有方法均使用各算法默认超参数，不做针对性调优，以体现方法本身的归纳偏置。

4. 资源与算力

• 硬件：Intel i7-13700KF CPU + NVIDIA GeForce RTX 4080 16GB GPU（单卡）。
• 训练规模：每个算法训练 1,000,000 步，回放缓冲 1,000,000；先用随机策略 warm-up 1000 个回合；3 个独立随机种子（0/41/73）。
• 训练时长（3 个种子合计）：
• Base：MADDPG 6.2h、MATD3 6.2h、MAAC 7.0h、GA-AC 6.3h、RACHE 5.8h。
• Large：MADDPG 9.0h、MATD3 9.1h、MAAC 10.0h、GA-AC 9.1h、RACHE 7.4h。
• 参数量：Base RACHE 约 1.89M、Large RACHE 约 2.98M，在 Large 场景下低于 MATD3 的 10.37M 与 GA-AC 的 10.09M，得益于 GNN 跨节点共享参数与定长 actor 输入。

5. 实验数量与充分性

• 基准对比：在 Base 与 Large 两个场景下与 5 个基线方法比较总收益、训练曲线、个体收益分布、最终价格变动、乘客出行比例、Mann–Whitney U 改进概率矩阵。
• 消融实验（5 组）：

1. 边类型消融：分别移除竞争、协调、连接边，比较总收益。

2. 网络深度消融：1、2、3 层 R-GCN。

3. 注意力消融：学习式注意力 vs. 均匀注意力。

4. 梯度解耦消融：detach vs. 不 detach；并报告逐 agent 的连续收益差标准差作为稳定性指标。

5. 学习嵌入分析：t-SNE 可视化，按 operator 与按 reward 着色；交叉注意力权重矩阵可视化。

• 统计性：报告 3 次独立运行的均值与 95% 分层 bootstrap 置信区间；使用 Mann–Whitney U 给出成对改进概率矩阵。
• 评价：实验数量较为充分，覆盖主对比、组件消融、可视化、稳定性多个维度；公平性方面所有方法使用默认超参数、不专门调优，且所有代码开源；但每个场景仅做 3 个种子，统计强度有限；缺乏对超参数敏感性的系统分析。

6. 主要结论与发现

• 总体性能：RACHE 在 Base 与 Large 两个场景的总收益（评估末 checkpoint）均显著高于全部基线：
• Base：RACHE 41,036 [40,596, 41,509] > MATD3 37,028 > GA-AC 34,446 > MADDPG 32,688 > Static 31,309 > MAAC 31,254 > Random 30,961。
• Large：RACHE 53,831 [53,113, 54,604] > MATD3 48,206 > MADDPG 43,902 > MAAC 41,220 > Static 40,950 > GA-AC 40,479 > Random 40,031。
• 稳定性：detached 变体在每个智能体上具有最低的连续收益差标准差，说明解耦表示学习能稳定个体训练动态（Large 场景更显著），但会以略微降低总收益为代价。
• 关键消融结论：
• 边类型：竞争关系贡献最大，其次为连接关系，协调关系影响最小——说明战略价值来自市场关系而非所有权归属。
• 网络深度：2 层 R-GCN 最佳；1 层捕获直接服务不足，3 层导致节点特征过度平滑。
• 注意力：学习式注意力在早期显著提升样本效率，但后期被多层 R-GCN 弥补；交叉注意力矩阵显示对自身服务权重最高，符合部分可观测性。
• 行为分析：RACHE 在两个场景下均以更小的价格上调实现更高收入，并保留比 MATD3 更高的乘客出行比例（Base 63.46% vs. 61.09%；Large 53.55% vs. 52.08%），表明更优的需求—收益平衡。
• t-SNE：学习到的 agent 级嵌入按 agent 与按 reward 均可聚类，说明表征同时编码了"谁在决策"与"市场盈利状态"。

7. 优点

• 新颖的关系建模视角：以运营单元（服务）为节点而非运营商或站点，三类异质边（竞争/协调/连接）直接对应市场战略关系，符合铁路定价语义。
• 可扩展性：GNN 消息传递参数在所有节点共享，actor 输入为定长嵌入，与服务数量无关，因此 Large 场景参数量与训练时间低于 MATD3/GA-AC。
• 训练稳定性设计：通过梯度解耦（GNN 仅由 critic 训练）缓解 actor–critic 梯度冲突；并以稳定性指标量化收益。
• 实验完整性：除主对比外包含 5 项消融、注意力可视化与嵌入可视化，覆盖性能、稳定性、可解释性多个维度。
• 公平基线设置：全部使用各算法默认超参数，避免过拟合式调优；代码与超参数表均开源。
• 跨场景一致性：在两种复杂度（3/4 运营商、18/63 服务）下均表现最佳，结果可信度较高。

8. 不足与局限

• 场景覆盖有限：仅在 RailPricing-RL 两个合成场景下验证，未在真实运营商历史数据上测试，泛化性存疑。
• 关系结构先验固定：三类边依赖人工定义的规则（同一 OD、同一运营商、可中转），未探索数据驱动的动态边发现；论文已列为未来工作。
• 时间维度缺失：每步重建静态实体图，未建模关系随时间的演化（如售罄后退出市场、临时加开列车），缺乏时序图网络（TGN）等机制。
• 算法族受限：仅评估 off-policy 方法（MATD3 族），未与 on-policy（如 MAPPO）等算法比较；MAAC 在该任务中表现差，作者推测可能与其熵正则或默认超参数有关，但未深入。
• 训练策略选择风险：仅训练末 checkpoint 评估，未汇报训练过程中的最优策略，可能低估基线（特别是 MATD3 训练曲线波动较大）。
• 统计强度：每个配置仅 3 个种子，对差异较小的对比（如 MAAC vs. Random、Static）结论稳定性存疑；超参数敏感性未分析。
• 对抗与协同假设：假定对手策略非恶意合谋，但未检验对激进降价、容量囤积等对抗策略的鲁棒性。
• 应用限制：动作空间维度受服务–座位组合数限制，扩展到数千服务、复杂舱位时计算与可扩展性需进一步验证；私有信息掩码以零代替销量，可能与真实零销量状态混淆（虽可通过 operator 特征区分，但增加表示学习难度）。

（完）