arXiv 2607.07235v1 · 发布 2026-07-08

ORCAID:用于深度强化学习策略的基于斜向规则的连续动作解释

ORCAID: Oblique Rule-Based Continuous-Action Interpretation for Deep RL Policies

AUTHORS Ignacio D. Lopez-Miguel, Ezio Bartocci, Thomas Eiter, Martin Tappler
EVIDENCE 从深度强化学习智能体中提取可解释策略
SCORE 0.8
CATEGORIES TASK rl
GENERATED 2026-07-13 21:43:48 UTC

📝 TLDR

深度强化学习策略在连续动作空间下的可解释性仍是难题。已有规则蒸馏方法多面向离散动作,难以处理复杂连续动作场景。ORCAID 提出基于斜决策树的连续动作规则提取方法,通过超平面划分状态空间并在叶节点拟合局部线性模型。其三阶段分裂搜索结合随机初始化、局部精炼与反向剪枝,并合并相邻叶节点生成简洁规则集。在多个 RL 环境中,提取的规则策略以极少参数保持强性能,甚至能反向提升原深度 RL 策略表现,为连续动作空间的策略解释与蒸馏提供了新路径。

🧭 速览

动机

深度 RL 策略在连续动作空间下的可解释性不足,已有规则蒸馏方法难以同时处理混合连续-离散状态与连续动作。

方法

基于斜决策树的规则提取算法,三阶段分裂搜索:随机初始化、局部精炼、反向剪枝,并在叶节点拟合线性模型,最后合并相邻叶。

结果

在多个 RL 环境中以极少参数保持强性能,提取的规则策略甚至可提升原深度 RL 策略的表现。

结论

为连续动作空间的深度 RL 策略提供了一种高效、可解释的规则蒸馏与策略解释新方案。

📊 论文图表(共 4 张)

展开查看 4 张图

TL;DR

ORCAID 提出了一个从深度强化学习策略中提取可解释规则的新方法,专为连续动作空间设计。它通过超平面划分状态空间、在叶节点拟合局部线性模型的方式,构建斜向决策树,最终输出一组简洁的 IF-THEN 规则。实验表明,这些规则策略在仅用极少量参数的情况下就能保持接近原 RL 策略的性能,甚至可以被用来识别并改进原 RL 策略的弱点。

研究背景与动机

深度强化学习已经在 Atari 游戏、围棋、机器人控制等场景中展现出令人印象深刻的能力,但其决策过程本质上是"黑盒"——一个由数百万参数构成的神经网络接收状态输入、输出动作,人们很难理解它究竟在做什么决策逻辑。这种不透明性带来了严重的信任危机:在欧盟 AI Act 和美国 EO 14110 等监管框架下,高风险 AI 系统必须具备可解释性,而当前大多数 RL 策略根本无法满足这一要求。

已有的可解释强化学习方法大多存在一个根本性的局限:它们面向的是离散动作空间。[[规则蒸馏]]领域的经典工作如 VIPER 和 MAVIPER 采用了轴对齐的 CART 决策树,这类树只能通过平行于坐标轴的边界来划分状态空间,导致树的节点数量急剧膨胀,规则也变得冗长。更重要的是,这些方法只能输出分段常数的动作估计——也就是说,在每个区域内智能体只能输出同一个固定动作值。这对于需要精细力矩控制的连续动作场景来说是致命的缺陷:一个控制机械臂关节角度或自行车平衡力大小的策略,其动作输出本质上应该是输入状态的连续函数,而非离散的档位切换。

除了动作空间的连续性,另一个挑战来自状态空间本身的复杂性。现实环境往往同时包含连续特征(如速度、位置)和离散特征(如开关状态)。现有方法往往只能处理其中一种,要么假设状态完全连续,要么假设完全离散。这种混合状态空间在机器人控制场景中极为常见,却长期缺乏有效的规则提取方案。

ORCAID 的切入点正是针对这两个挑战:它采用[[斜向决策树]]而非传统的轴对齐决策树,通过超平面来划分状态空间,从而能够用更少的节点捕捉复杂的非线性决策边界;它在每个叶节点内部拟合多元线性回归模型,使得每条规则能够输出连续的动作值,而非固定的查表结果。

方法

ORCAID 的核心是一棵斜向决策树,其分裂条件不再是简单的特征阈值判断,而是形如 的线性超平面。这种形式具有极强的表达能力:通过对权重向量 的取值施加约束,单一的超平面条件可以同时表示纯连续特征的线性组合、二值特征的"等于0"判断以及"等于1"判断,从而自然地处理混合连续-离散状态空间。

树的构建采用一种精心设计的三阶段分裂搜索算法。在每个节点上待划分的数据 被传入后,首先进行降维与缩放预处理:对连续特征做 PCA 降至 维,再用最小-最大缩放映射到 区间。这步操作既加速了后续优化,也保证了数值稳定性。关键是保留变换矩阵以便后续将优化得到的超平面参数回映射到原始空间。

第一阶段是高效随机初始化。具体做法是从 PCA 空间中随机采样 个点构成方阵 ,然后求解线性方程组 。这个技巧避免了平凡解 的出现——由于右端向量是 ,求得的 必然非零,可以直接用于超平面分裂 。通过并行生成大量候选超平面,选择加权 MSE 最小的作为初始划分。

如果最佳随机候选的损失仍然过高,第二阶段启动差分进化进行局部精炼。差分进化是一种全局优化算法,在约束条件(每侧至少包含 个样本)下对 进行迭代优化。这一步弥补了随机初始化可能陷入局部次优的问题。

第三阶段是叶子节点的构造。对每个动作维度 ,在落入该叶子的样本上用普通最小二乘法拟合线性回归系数 ,随后采用反向特征消除策略——移除那些绝对值过小()或移除后 MSE 增幅可忽略的特征,确保每条规则的解释简洁。

整个树构建完成后,还需要一步重要的简化操作:合并相邻的叶子节点。如果两个相邻区域的预测误差都低于某个阈值,或者合并后的误差增幅在可接受范围内(相对改进小于 5%),就执行合并,并用 Quine-McCluskey 算法对合并后的区域定义进行逻辑化简,输出 DNF 形式的简洁规则集。

为了进一步提升规则对原 RL 策略的保真度,ORCAID 还嵌入了 [[DAgger]] 迭代循环。具体而言,用当前提取的规则策略运行轨迹,计算其动作输出与原 RL 专家动作之间的偏差,只保留偏差超过阈值的"困难状态",通过 k-means 聚类加高斯噪声重采样扩充训练集,重新拟合树。这是一个持续精炼的过程,直到性能不再提升或开始下降才终止。

实验与结果

实验在 9 个 Gymnasium 控制任务上进行,涵盖从 2 维到 17 维的状态空间,包含纯连续动作和连续-离散混合动作两种类型。RL 基座策略统一使用 DDPG 训练,对比方法包括 scikit-learn 的 CART 决策树、连续规则学习器 Cubist 以及基于规则集合的 RuleFit,所有方法均采用相同的采样流程以保证公平性。

评估围绕四个维度展开。RQ1 关注性能与模型尺寸的权衡:ORCAID 在累计奖励比上与最优基线相当甚至更优,但在模型尺寸上呈现压倒性优势——在 log 尺度上通常比对手少 1 到 3 个数量级。以 Half Cheetah 为例,ORCAID 维持了约 75% 的原策略性能,而 DT 和 Cubist 仅能达到 47% 左右,同时 ORCAID 的参数规模远小于二者。

RQ2 检验保真度:ORCAID 在测试集 MSE 上普遍低于 DT 和 RuleFit,与 Cubist 接近甚至更低,说明其规则输出能够更准确地逼近原 RL 策略的实际决策。

RQ3 是最具创新性的发现——ORCAID 提取的规则可以被用来改进原 RL 策略本身。通过镜像(mirroring)规则所定义的决策区域,研究者能够识别出原 RL 策略表现不足的薄弱状态,并用规则策略的动作作为校正信号。实验表明,ORCAID 引导的镜像策略比其它代理更频繁地发现了 RL 弱点,最大改进幅度也更高或相当。这开辟了"用解释模型反向提升 RL"的新范式。

RQ4 引入 LLM-as-a-Judge 进行可解释性评估:六个大型语言模型在 15 个问题维度上对不同方法提取的规则进行评分。结果显示大多数环境下 ORCAID 的胜率达到 50% 到 100%。质性反馈指出,ORCAID 的区域边界对应了物理上可解释的运动模式(如动力冲程、回收冲程),而 DT 方法被批评为"机械地查表",缺乏整体策略连贯性。

消融实验进一步验证了各组件的必要性:去除叶子内的线性回归、移除 DAgger 迭代、跳过简化步骤或减少聚类样本数,都会导致性能下降或模型膨胀,证实了 ORCAID 设计中每个环节都不可或缺。

讨论与可借鉴点

ORCAID 的最大贡献在于证明了连续动作空间的规则提取不仅可行,而且可以做到高度紧凑和高保真。它所提出的三阶段分裂搜索——随机初始化、差分进化精炼、反向消除——为斜向决策树的训练提供了一个兼具效率与质量的范式。这种"先粗后细"的搜索策略在许多需要优化连续参数的机器学习问题中都有借鉴价值。

将解释模型用于反向改进 RL 策略的思路尤其值得关注。传统上,可解释性研究的目标是"理解"模型——输出人类可读的规则仅用于审计或信任建立。但 ORCAID 表明,规则本身可以成为诊断工具:它揭示了原 RL 策略在状态空间中的决策脆弱区,而这些脆弱区正是后续 RL 改进的靶点。这一思路可以扩展到安全验证、持续学习等多个方向。

局限之处也值得清醒认识。实验覆盖的最高维度为 17 状态和 6 动作,更高维的场景(如视觉输入的 RL)尚无方案。此外,ORCAID 目前只支持确定性策略,对于随机策略需要扩展为叶子内的高斯线性模型。训练时间在复杂环境上可达 30 分钟量级,比简单 DT 高出一个数量级,实时部署场景可能受限。LLM-as-a-Judge 虽然提供了自动化的可解释性评估,但其对 prompt 设计和模型选择的敏感性仍需进一步验证,理想情况下应与人类专家评估进行对照。

总的来说,ORCAID 为连续动作空间的可解释 RL 提供了一条扎实的技术路径,其核心思想——斜向树 + 局部线性模型 + 迭代蒸馏——具有跨任务迁移的潜力,值得在更多元的 RL 应用中验证和拓展。

摘要

可解释性仍然是强化学习(RL)中一个关键问题。当动作空间是连续的时候,从在复杂环境中训练的智能体中提炼出可解释的策略尤其具有挑战性。我们提出了 ORCAID,一种新颖的用于从运行于混合连续–离散环境且具有连续动作空间的 RL 智能体中提取可解释的基于规则的策略的方法。我们的主要贡献是一种高效的斜向决策树训练算法,该算法通过超平面对状态空间进行划分,并拟合局部线性模型。其核心思想在于一种三阶段分裂搜索:高效随机初始化、局部细化以及向后消除。最后,将相邻的叶子节点合并,从而得到一组简洁的可解释规则,用以描述给定的深度 RL 策略。我们在多个强化学习环境中对 ORCAID 进行了评估,结果表明所提取的基于规则的策略在参数量较少的情况下仍能保持强劲的性能,甚至可以用来提升原始深度 RL 策略的性能。

Abstract

Explainability remains a key issue in reinforcement learning (RL). Distilling an interpretable policy from an agent trained in a complex environment is particularly challenging when the action space is continuous. We introduce ORCAID, a novel method for extracting interpretable rule-based policies from RL agents operating in mixed continuous-discrete environments with continuous action spaces. Our main contribution is an efficient oblique decision tree training algorithm that partitions the state space by hyperplanes and fits local linear models. The key idea lies in a three-stage split search: efficient random initialization, local refinement, and backward elimination. Finally, adjacent leaves are merged to yield a concise set of interpretable rules describing a given deep RL policy. We evaluate ORCAID across multiple RL environments, demonstrating that the extracted rule-based policies maintain strong performance with a low number of parameters and can even be used to improve the performance of the original deep RL policy.


论文详细总结(自动生成)

ORCAID 论文总结

1. 核心问题与研究动机

  • 总体目标:从已训练好的深度强化学习(DRL)策略中蒸馏出可解释、参数量小的替代(surrogate)策略,便于验证、审计与部署。
  • 背景与痛点
  • DRL 在 Atari、围棋、机器人控制等领域取得突破,但神经网络策略本质上是"黑盒",难以满足欧盟 AI Act、美国 EO 14110 等法规对高风险 AI 系统的可解释性要求。
  • 现有可解释 RL(XRL)工作(如 VIPER、MAVIPER)多基于CART 轴对齐决策树,模型尺寸大;其他工作(Soft DT、IF-THEN 模糊规则、可微 DT、进化非线性 DT)大多只支持离散动作空间
  • 在连续动作空间下,规则的可解释性尤为困难:传统 DT 只能给出分段常数动作,无法表达连续控制中的线性/近似线性映射。
  • 本文贡献定位:针对混合连续-离散状态空间连续动作空间,提出基于斜向决策树(Oblique DT)的规则蒸馏方法 ORCAID,目标是同时获得高保真度、强任务性能、小模型尺寸和高可解释性。

2. 方法论

2.1 整体框架(如图 2 所示)

ORCAID 由三个阶段组成,并嵌入 DAgger 迭代循环:

1. 数据采集(Data Collection):运行原始 RL 策略 → 用 k-means(k 由肘部法则选取)聚类轨迹状态 → 在连续特征上加高斯噪声重采样,缓解过采样与模型漂移。

2. 斜向树学习(Tree Learning):用超平面划分状态空间,每个叶子节点拟合一个按动作维度拆分的多元线性回归,并进行反向特征消除。

3. 简化与合并(Simplification & Merging):合并相邻叶子,用 QM 算法简化 DNF 形式的条件。

2.2 形式化定义

  • 线性分裂条件(Definition 1):对状态 ,分裂条件为 。通过约束 的取值,可用同一形式表达三种分裂:
  • 纯连续特征的线性组合:
  • 二值特征
  • 二值特征
  • 简单区域(Definition 2):
  • 区域(Definition 3):
  • 加权分裂 MSE(Definition 4):

  • 模型尺寸(Definition 7):

2.3 核心算法:三阶段分裂搜索(Algorithm 1)

每个递归节点

1. 降维与缩放:PCA 降到 维,最小-最大缩放到 ,保留变换矩阵 以便回映射。

2. 随机超平面初始化:并行地从 PCA 空间中随机抽 个点构成方阵 ,求解 (吸收偏置,避免平凡解 ),按 分裂;保留加权 MSE 最小的候选。

3. 差分进化局部精炼:若最佳随机候选损失仍大于 ,用差分进化在约束(每侧至少 个样本)下进一步优化

4. 回映射

5. 叶子构造:对每个动作维度 用 OLS 拟合 ,再用反向消除去除 或移除后 MSE 增幅小于 的特征。

2.4 区域合并规则

相邻区域 可合并的条件(三选一):

  • 全局误差界:
  • 局部误差界:
  • 相对改进:

合并后用 Quine-McCluskey(QM) 算法化简 DNF 形式的区域定义。

2.5 DAgger 迭代改进(Algorithm 2)

  • 用当前 ORCAID 模型运行轨迹,计算与原 RL 专家动作的偏差
  • 保留偏差大于 的状态,聚类 + 噪声增广后并入训练集。
  • 重新拟合,若性能下降则早停。深度增长方式:从 深度的模型扩展 1 层(仅 ORCAID)。

3. 实验设计

3.1 数据集 / 环境

9 个 Gymnasium 控制任务(含混合状态空间的 Lunar Lander):

缩写环境状态维度上限动作
MCMountain Car2连续
PPendulum3连续
LLLunar Lander8(含 1 个 one-hot 离散)连续-离散混合
IPInverted Pendulum4连续
IDPInverted Double Pendulum6连续
RReacher11连续
SSwimmer8连续
HHopper11连续
HCHalf Cheetah17连续(6 维)

RL 训练使用 DDPG(Stable-Baselines3 实现),各环境超参数见 Table 23。

3.2 对比方法

  • DT:scikit-learn CART,相当于 VIPER 的去 Q-value 变体(监督信号改为策略标签而非 Q 值)+ DAgger。
  • Cubist:Quinlan 的连续类规则学习器 + DAgger。
  • RuleFit:基于规则集合的集成 + DAgger。

所有方法使用相同的采样超参数,仅各自的主要超参数(DT 树深度、Cubist/RuleFit 规则数、ORCAID 树深度与 max_mse)被调优。

3.3 评估维度(四个 Research Questions)

  • RQ1 性能-尺寸:代理 vs. RL 的累计奖励比 + 模型尺寸
  • RQ2 保真度:测试集 MSE(按输出范围缩放)。
  • RQ3 策略改进:把 LEGIBLE 方法从离散扩展到连续,通过镜像规则区域识别 RL 弱点。
  • RQ4 可解释性:LLM-as-a-Judge,6 个 LLM(mimo-v2-flash、llama-3.3-70b、deepseek-r1-0528、glm-4.5-air、qwen3-coder、gpt-oss-120b),15 个问题(5 个通用 + 8 个领域 + 2 个综合),1–5 Likert 量表,并给出质性分析。

4. 资源与算力

  • 硬件:4 块 NVIDIA A100-SXM4-40GB GPU + 2 颗 AMD EPYC CPU 的集群。
  • 训练量
  • 每个 RL 策略用 3 个种子训练;每个代理用 3 个种子训练 ⇒ 每个结果为 9 次运行的均值。
  • 性能评估每个模型跑 1,000 个 episode
  • 训练时长示例
  • Mountain Car:DT 5s、Cubist 40s、RuleFit 10s、ORCAID 20s。
  • Half Cheetah:DT 15s、Cubist 22 min、RuleFit 2 min、ORCAID 30 min(包含 DAgger 评估时间)。
  • LLM 评判:调用 OpenRouter 上 6 个免费 SOTA 模型,温度设为 0.2。

5. 实验数量与充分性

  • 主实验:9 个环境 × 4 种方法 × 3 个种子 = 108 次代理训练;每个环境还做了多组超参数扫描(Table 26–61)。
  • 策略改进实验:4 种镜像策略 × 每个方法最多 10 个模型规模 × 50 次随机选择 × 500 episodes(基础策略 1,500 episodes)= 数万次 episode。
  • LLM 评判:9 环境 × 2 对比(vs DT、vs Cubist)× 6 LLM × 15 问题 = 大量评分。
  • 消融研究:在 Pendulum 与 Swimmer 上对 7 个因素(#steps、σ、max_mse、k、#samples、是否线性回归、是否 DAgger、是否简化)逐一进行(Tables 62–65)。
  • 补充工具:交互式状态可视化工具(Appendix C),可用于人工核查区域归属。
  • 充分性评估
  • 环境覆盖从 2 维到 17 维、动作 1–6 维,含混合状态空间(LL),覆盖度较好。
  • 多指标(性能、保真度、尺寸、可解释性)+ 多评判主体(数值指标 + LLM 群体评分),客观性较强。
  • 使用 95% 置信区间()和 Dunnett 检验(自举版)保证统计推断。
  • 但缺少人工用户研究,且 LLM 评判对 prompt 和模型版本敏感(论文自身已声明此局限)。

6. 主要结论与发现

  • RQ1(性能-尺寸):ORCAID 在奖励比上与最优基线相当或更优,但模型尺寸显著小于其他代理(log 尺度上常少 1–3 个数量级)。Half Cheetah 上 ORCAID 表现远优于 DT/Cubist(≈75% vs ≈47%)。
  • RQ2(保真度):ORCAID 测试 MSE 普遍低于 DT 和 RuleFit,与 Cubist 接近甚至更低。
  • RQ3(策略改进):在 IP、IDP、S、H 等环境中,ORCAID 引导的镜像规则比其它代理更频繁地发现 RL 弱点,且最大改进幅度更高或相当。
  • RQ4(可解释性):6 个 LLM 裁判在大多数环境下选 ORCAID 为胜者(胜率 50–100%),并指出 ORCAID 区域对应物理运行模式(power stroke / recovery stroke 等),而 DT 被批评为"数据查表"、"无整体策略"。
  • 消融发现
  • 去除线性回归、DAgger、简化或减少聚类/样本数均显著降低性能或增大模型。
  • DT 不加线性回归等价于基线,进一步证实 ORCAID 各组件的必要性。

7. 优点与亮点

  • 方法新颖性:第一个面向连续动作 + 混合状态的基于斜向规则的 XRL 方法,弥补了 VIPER 等仅支持离散动作或 Q-value 的局限。
  • 算法工程化
  • 三阶段分裂搜索(随机 初始化 → 差分进化 → 反向消除)兼顾速度数值稳定性(PCA + 缩放)。
  • 叶子内多元线性回归 + 反向消除保证每条规则的"动作逻辑"简洁。
  • 模型紧凑度:超平面分裂能用更少节点逼近曲线边界(Fig. 1 的对比非常直观)。
  • 策略可改进性:将 LEGIBLE 扩展到连续动作场景,开辟了"用解释模型反向改进 RL"的新用途。
  • 评估多维:性能 + 保真度 + 尺寸 + 改进能力 + LLM 群体评分,多角度印证解释质量。
  • 工具与可复现:提供 GitLab 代码、交互式可视化工具、所有超参数表(App. E)。
  • 质性分析:LLM 评分附带原文解释(App. D),增强了结论的可信度。

8. 不足与局限

  • 可扩展性:实验最大状态维度为 17(HC)、动作 6 维,更高维任务需额外降维或特征选择。
  • 策略类型:仅支持确定性策略,通过环境查询收集数据;DAgger 需访问原 RL 模型作为专家,对随机策略无法回访专家的情形受限。
  • 随机策略扩展:未来工作建议在叶子内用对角协方差的高斯线性模型扩展至随机策略。
  • LLM 评判偏差:仅用 6 个免费模型做 judge,且受 prompt 设计影响;缺少与人类专家评分的一致性研究。
  • 统计假设:Dunnett 检验在不等方差下使用自举版,文中坦言仍需更严格验证。
  • 应用场景限制:目前未与基于形式化验证的决策树策略(如 Schilling 等 2023 的连续时间安全验证)结合,未在实际安全关键系统中部署测试。
  • 计算成本:在复杂环境(HC、IDP)上 ORCAID 训练时间可达 30 min 量级,比 DT 高一个数量级。
  • 解释的可证伪性:LLM-as-a-Judge 对"区域对应物理模式"的判断未必客观,存在过度解读风险。
  • 基线公平性:Cubist/RuleFit 在 RuleFit 因"每动作一模型"无法跨区域镜像,使 RQ3 比较对它们结构性不利。

(完)

✨ 编译论文

点「✨ 编译」开始,LLM 会按 Polaris 风格翻译并把图片/表格嵌到对应位置。结果存到浏览器 localStorage,下次访问自动加载。

📓 我的笔记