📊 论文图表(共 2 张)

展开查看 2 张图

‹ ›

TL;DR

LenGuard-GPC 针对多视角空间推理中视觉语言模型推理链随长度增加而变得冗余、却无准确率提升的问题，提出在标准 GRPO 框架下引入逐词元 KL 散度的过程级稠密奖励，同时通过分阶段长度奖励控制生成长度。实验在六个多视角空间推理基准上同时实现了准确率提升与回复长度压缩，为可验证奖励强化学习中的过程级反馈与长度控制提供了统一解法。

研究背景与动机

多视角空间推理要求视觉语言模型处理来自同一场景的多张不同视角图像，在图像间比对视觉证据、建立物体对应关系，并推断三维空间中的相对位置关系。这一任务与单图视觉问答的本质区别在于，模型必须显式解决跨视角匹配问题——当问到"椅子在柜子的左侧还是右侧"时，模型需要正确判断两张图中的哪个物体是椅子、哪个是柜子，再依据相机位姿推断空间关系。

这类任务中 [[思维链推理]] 的表现往往不尽如人意。模型倾向于对每张图像进行冗长的描述性输出，导致推理轨迹越来越长，但准确率并未随之提升，反而可能因为错误在长链中的传播而下降。更关键的是，标准 [[GRPO]] 奖励仅依赖于结局级（outcome-level）的二元反馈——回答正确得一分，错误不得分——这种稀疏信号无法告诉模型推理轨迹究竟在哪一步出现了偏差：是跨视角物体对应错误，还是相机位姿推断错误，抑或是最终的空间关系判断失误。

这一困境催生了两个核心需求：一是过程级的细粒度反馈，让模型知道"哪里错了"；二是生成长度的有效控制，避免模型陷入"越冗长越安全"的惯性。然而，现有的稠密奖励方案往往顾此失彼——直接用长度作为负奖励会引发极短回答的退化行为，而平坦的长度奖励则容易导致生成长度集中在奖励阶梯的最低边界上，形成边界聚集问题。

方法

LenGuard-GPC 的核心思路源于一个简单却深刻的观察：对于同一个推理步骤，在"标准提示"与"附加了任务级指导的引导提示"两种条件下，模型的预测分布应当保持一致——如果模型真正掌握了正确的推理逻辑，那么无论是否看到指导句，其在每一步的词元预测概率分布应当相似。分布的显著差异则暗示该位置存在推理偏差。

具体而言，给定标准提示 $x=(\mathcal{I},q)$（其中 $\mathcal{I}$ 为多视角图像集，$q$ 为问题），作者额外构造引导提示 $x_{gp}=(\mathcal{I},q,h)$，其中 $h$ 是由 GPT-5.3-Chat 为每个训练实例生成的单句任务指导。对于同一条采样轨迹 $y=(y_1,\dots ,y_T)$，分别在两种条件下计算逐词元预测分布：

取两分布间的 [[KL散度]] $D_t=D_{KL}(p_t^{std}\parallel p_t^{gp})$，累积求和作为一致性度量：

该奖励信号沿推理轨迹逐词元累积，提供细粒度的过程级反馈——分布差异大的位置惩罚更重，差异小的位置则放过。

然而，KL 惩罚随 token 数累积这一特性带来一个副作用：它会不加区分地偏好更短的回复，无论回复质量如何。为了在保持稠密反馈的同时约束长度，研究者引入了分阶段长度奖励。定义三个长度边界 $(l_1,l_2,l_3)$ 和两个奖励水平 $(r_1,r_2)$：

这一设计的精妙之处在于三层含义：当回复过短（$T<l_1$）时，模型受到抑制以防止跳过推理直接给答案；当回复处于适中区间时，奖励线性递增，鼓励模型输出充分但不过度的推理；超过 $l_2$ 后奖励恒定，不再为额外长度付出代价，从而避免边界聚集。

最终奖励函数整合任务奖励、KL 惩罚与长度奖励：

其中 $r_{task}$ 包含准确率奖励与格式奖励两部分。优势函数在组内归一化后用于标准 GRPO 策略更新。

一个关键的工程细节是计算效率：引导提示下的分布通过 teacher forcing 在已采样的固定轨迹上并行计算，而非重新采样，因此训练时间仅增加约 $1.6\times$，推理时则完全不引入额外开销，因为引导提示仅在训练阶段使用。

实验与结果

实验以 Qwen3-VL-8B-Instruct 为基模型，在 VST-500K 的多视角空间推理子集（约 13,000 实例）上进行训练，并在六个基准上评估：域内的 MMSI-Bench、ViewSpatial-Bench、MindCube，以及域外的 3DSR、BLINK、CV-Bench。

主实验结果显示，LenGuard-GPC 在六个基准上取得平均 57.3% 的准确率，较 vanilla GRPO（55.3%）提升 2.0 个点，较基模型（51.4%）提升 5.9 个点。分任务来看，域内增益尤为显著：MMSI-Bench +3.9、MindCube +3.7、ViewSpatial-Bench +2.5，而三个域外基准也有小幅提升（+0.3 至 +1.1），说明方法未过拟合训练分布。

细粒度分析揭示了改进的来源分布。在 MMSI-Bench 的子类别中，跨视角位置推理类任务提升最为突出：Cam–Obj（相机-物体相对位置）提升 +13.9、Cam–Reg（相机-区域相对位置）提升 +12.0、Obj–Reg（物体-区域相对位置）提升 +7.1、Obj–Obj（物体间相对位置）提升 +5.3。这些正是需要跨视角对齐的任务类型，验证了引导提示一致性奖励在捕捉局部推理偏差上的针对性优势。相比之下，属性外观（Appr.）和物体运动（Obj.）子类别反而出现小幅下降（-7.6 和 -1.5），表明当前奖励设计对这类非空间导向的推理改进有限。

效率方面的结果同样亮眼：MMSI-Bench 上平均 token 从 307.9 降至 261.9（-14.9%），ViewSpatial-Bench 上从 196.5 降至 121.6（-38.1%），实现了"更短且更强"的双赢。消融实验进一步确认了分阶段长度奖励的必要性——移除该组件后，准确率从 36.1 跌落至 33.5，证实了其在平衡充分性与紧凑性上的关键作用。

讨论与可借鉴点

LenGuard-GPC 的贡献在于提供了一个优雅的统一框架，同时解决了 [[强化学习]] 训练中过程级反馈缺失与生成长度失控两个痼疾。引导提示一致性的设计思路尤其值得借鉴：它不需要人工标注每一步的正确推理，仅通过对比两种提示条件下的分布差异，就能隐式地定位推理偏差区域。这种"自洽性检验"的思路或许可以推广至其他需要过程监督的多模态任务。

然而，方法也存在明显局限。首先，引导提示 $h$ 依赖 GPT-5.3-Chat 生成，引入对闭源模型的依赖不说，不同引导质量对奖励信号稳定性的影响也未被系统分析。其次，分阶段长度奖励的超参数（$l_1,l_2,l_3,r_1,r_2$）需要针对数据集手工调优，跨任务迁移性未经验证。更根本地，token-sum KL 随长度累积这一本质缺陷只是被长度奖励所缓解，而未被根本解决——对于需要真正长推理的任务（如复杂的多步空间规划），该方法可能矫枉过正。

从更宽的视角看，这项工作呼应了当前多模态 [[视觉语言模型]] 研究中一个重要趋势：随着模型生成内容越来越长，如何在保持推理深度的同时抑制冗余，已成为与准确率同等重要的优化目标。LenGuard-GPC 将长度控制内嵌于稠密奖励设计的做法，或许能为视频理解、多图比对、文档视觉推理等长上下文多模态任务提供方法论参考。

摘要

多视角空间推理要求视觉-语言模型在图像间比较视觉证据、对齐物体对应关系，并在长视觉上下文中推断空间关系。在这种场景下，思维链推理往往变得越来越冗长，却并不能带来更高的准确率。可验证奖励的强化学习天然契合该任务，但标准 GRPO 奖励仅依赖于稀疏的结局级反馈，既无法提供关于推理轨迹何处出错的信号，也无法对其长度施加任何控制。我们提出了 LenGuard-GPC，一个同时解决上述两个问题的密集奖励框架。对于每一条采样轨迹，它比较在标准提示与引导提示下的逐词元预测分布，并以所得的词元求和 KL 散度作为密集奖励信号。由于该 KL 惩罚沿词元累积，否则会无论质量如何都偏向较短的回复，我们引入了一种分阶段长度奖励，将推理长度控制在合理范围内，同时避免简单地鼓励简短回复。在六个多视角空间推理基准上的实验表明，LenGuard-GPC 在提升准确率的同时降低了平均回复长度。

Abstract

Multi-view spatial reasoning requires vision-language models to compare visual evidence across images, align object correspondences, and infer spatial relations over long visual contexts, a setting where chain-of-thought reasoning tends to grow verbose without becoming more accurate. Reinforcement learning with verifiable rewards is a natural fit for this task, but standard GRPO reward relies on sparse outcome-level feedback and gives no signal about where a reasoning trajectory goes wrong, nor any control over its length. We propose LenGuard-GPC, a dense reward framework that addresses both problems together. For each sampled trajectory, it compares the token-wise predictive distributions under a standard prompt and a guided prompt, and uses the resulting token-sum KL divergence as a dense reward signal. Since this KL penalty accumulates over tokens and would otherwise reward shorter responses regardless of their quality, we introduce a staged length bonus that keeps reasoning length within a controlled range without simply encouraging brevity. On six multi-view spatial reasoning benchmarks, LenGuard-GPC improves accuracy over vanilla GRPO while reducing average response length.

论文详细总结（自动生成）

LenGuard-GPC 论文总结

1. 核心问题与研究背景

问题定义：多视角空间推理（Multi-view Spatial Reasoning）要求视觉-语言模型（VLM）在同一场景的多个不同视角图像之间比对视觉证据、建立物体对应关系，并推断空间关系。这一任务超越了单图视觉问答的范式，模型必须显式解决"跨视角物体匹配"问题。

关键挑战：

• 长推理链不带来准确率提升：模型倾向于对每张图进行冗长描述，推理轨迹越长，越容易积累未校正的错误，错误传播加剧，反而干扰了对关键跨视角证据的提取。
• 稀疏奖励缺乏过程级反馈：标准 GRPO（Group Relative Policy Optimization）仅使用结局级（outcome-level）的对错奖励，无法定位推理轨迹中具体哪一步出错（例如视角错配、物体对应错误、空间关系推断错误等局部错误）。
• 长度控制难题：单纯的奖励塑造容易引发两种退化行为——(a) 极短回答（short-answer collapse），即模型仅输出答案跳过推理；(b) 边界聚集（boundary-seeking），即模型将生成长度集中在奖励阶梯的最低边界上。

研究意义：现有 GRPO 训练在多模态长上下文任务中缺乏过程级引导与生成长度调控机制，亟需一种稠密且长度感知的奖励设计。

2. 方法论

2.1 核心思想

LenGuard-GPC 提出一种长度守卫的引导提示一致性奖励框架（Length-Guarding with Guided-Prompt Consistency），由两个核心组件构成：

1. 引导提示一致性奖励（Guided-Prompt Consistency Reward）：在标准提示基础上引入一个含任务级指导句 $h$ 的"引导提示"，对同一采样轨迹计算两种条件下的逐词元 KL 散度，作为过程级稠密信号。

2. 分阶段长度奖励（Staged Length Bonus）：分段式长度奖励机制，避免 KL 累积带来的偏短倾向与边界聚集。

2.2 关键技术细节

引导提示构造：

• 标准提示 $x=(\mathcal{I},q)$，其中 $\mathcal{I}=\{I_1,\dots ,I_m\}$ 为多视角图像，$q$ 为问题。
• 引导提示 $x_{gp}=(\mathcal{I},q,h)$，其中 $h$ 是由 GPT-5.3-Chat 为每个训练实例生成的单句任务指导。
• 引导提示仅用于训练时的奖励计算，推理时不使用，引入零推理时开销。

KL 散度稠密奖励：对同一条采样轨迹 $y=(y_1,\dots ,y_T)$，在标准提示和引导提示条件下分别计算逐词元预测分布：

累积 KL 散度作为一致性度量：

关键实现细节：轨迹仅从标准提示 $x$ 自回归采样一次，引导提示下的分布通过 teacher forcing 在固定轨迹上并行计算 token 级预测，因此训练时间仅增加约 $1.6\times$，而非翻倍。

分阶段长度奖励：定义三个长度边界 $(l_1,l_2,l_3)$ 和两个奖励水平 $(r_1,r_2)$：

• $T<l_1$：无奖励，抑制过短回答；
• $l_1\le T\le l_2$：线性递增，平衡充分性与紧凑性，避免边界聚集；
• $l_2<T\le l_3$：恒定 $r_2$，不鼓励额外长度。

GRPO 总奖励函数：

其中 $r_{task}={\lambda }_{acc}{r}_{acc}+{\lambda }_{format}{r}_{format}$。优势函数在组内归一化：

2.3 算法流程

```

输入：训练实例 (I, q, a)，策略 π_θ，组大小 G

1. 构造 x = (I, q) 与 x_gp = (I, q, h)

2. 从 π_θ(·|x) 采样 G 条轨迹 {y_i}

3. 对每条 y_i 计算 r_acc, r_format, r_KL, r_len

4. 组合为 r_i = r(y_i)

5. 组内归一化得到优势 {A_i}

6. 用标准 GRPO 目标更新 π_θ

```

3. 实验设计

3.1 训练数据

• 来源：VST-500K（Visual Spatial Tuning，Yang et al., 2025b）的多视角空间推理子集。
• 规模：约 13,000 个实例，每个实例包含来自不同视角的多张图像，需跨视角物体对应与空间布局推断。

3.2 评估基准

3.3 对比方法

• 闭源模型：Gemini-2.5-Pro、GPT-5、Gemini-3-Pro-Preview；
• 开源通用 VLM：InternVL3（2B/8B）、Qwen2.5-VL（3B/7B）、Qwen3-VL（2B/4B/8B）；
• 空间智能专用模型：SpatialLadder-3B、SpaceR-7B、ViLaSR-7B、Cambrian-S（3B/7B）、VST-3B/7B-RL；
• 基线：Qwen3-VL-8B-Instruct 基模型、Vanilla GRPO。

3.4 实现细节

• 基模型：Qwen3-VL-8B-Instruct（8B 参数）；
• 优化器：GRPO，学习率 $1\times 10^{-6}$；
• 格式奖励 $r_{format}=0.2$；
• ${\lambda }_{KL}=5\times 10^{-3}$；
• 长度边界：$l_1=160,l_2=360,l_3=768$；长度奖励：$r_1=0.25,r_2=0.30$；每 token 增幅 $2.5\times 10^{-4}$；
• 训练时的引导提示 $h$ 由 GPT-5.3-Chat 生成。

4. 资源与算力

论文未明确披露以下关键信息：

• 使用的 GPU 型号与数量；
• 总训练时长（wall-clock time）；
• 训练 token 总数或 epoch 数；
• KL 计算所引入的 $1.6\times$ 训练时间开销对应的硬件配置。

仅间接提及：

• 引导提示的额外评估使训练时间增加约 $1.6\times$（非翻倍），因引导分布通过 teacher forcing 在固定轨迹上并行计算；
• 缩短的推理轨迹部分抵消了该开销。

> 不足指明：算力与训练预算信息缺失，限制了对方法实用成本的可复现性评估。

5. 实验数量与充分性

实验规模

• 主结果表（Table 1）：在 6 个基准上对比 18 个模型，含域内/域外划分；
• MMSI-Bench 细粒度分析（Table 2）：11 个子类别（位置关系 6 项、属性 2 项、运动 2 项、MSR 1 项）的准确率；
• 消融实验（Table 3）：在 MMSI-Bench 上比较 (1) Vanilla GRPO，(2) 无分阶段长度奖励变体，(3) 完整方法；
• Token 效率分析（Figure 2）：MMSI 与 ViewSpatial 上 vanilla GRPO 与 LenGuard-GPC 的平均生成长度对比；
• 论文 Section 4.3 还提及"两阶段推理结构 vs 自由形式推理""有无 GRPO""有无格式奖励"等额外消融观察。

充分性与公平性评价

较充分之处：

• 覆盖域内 3 个、域外 3 个基准，泛化检验全面；
• 同时报告准确率与 token 成本，兼顾效果与效率；
• 细粒度子类别分析揭示了改进来源（跨视角位置推理显著提升）；
• 消融实验拆分清晰。

可改进之处：

• 消融仅在 MMSI-Bench 单基准上进行，未在多基准上交叉验证长度奖励与 KL 奖励的独立贡献；
• 缺乏对不同 ${\lambda }_{KL}$、不同 $(l_1,l_2,l_3)$、不同 $r_1/r_2$ 的超参数敏感性分析；
• 引导提示 $h$ 由 GPT-5.3-Chat 生成，但未分析不同引导质量/来源对奖励信号稳定性的影响；
• 缺乏与 R1-VL、Insight-V、Video-R1 等其他过程级 RL 奖励方法的直接对比；
• 单次实验结果（无方差或多次种子），统计显著性未充分验证。

6. 主要结论与发现

1. 准确率提升：在 6 个基准上，LenGuard-GPC 取得 57.3% 平均准确率，比 vanilla GRPO（55.3%）提升 +2.0 个点，比基模型（51.4%）提升 +5.9 个点，并在开源模型中达到最优平均分。

2. 域内显著增益：MMSI-Bench +3.9（32.2→36.1）、MindCube +3.7（44.7→48.4）、ViewSpatial +2.5（44.4→46.9）。

3. 域外不退化：3DSR +0.7、BLINK +1.1、CV-Bench +0.3，证明未过拟合训练分布。

4. 跨视角位置推理提升最显著：MMSI-Bench 子类别中 Cam–Obj +13.9、Cam–Reg +12.0、Obj–Reg +7.1、Obj–Obj +5.3，验证了稠密 KL 奖励在跨视角对齐上的针对性。

5. 效率改进：MMSI 上平均 token 从 307.9 降至 261.9（−14.9%），ViewSpatial 上从 196.5 降至 121.6（−38.1%），实现"更短且更强"。

6. 组件必要性：消融表明分阶段长度奖励单独贡献正向（33.5→36.1），格式奖励起到稳定器作用。

7. 通用性：方法框架可推广至视频理解、多图比对、文档视觉推理、具身感知等长上下文多模态任务。

7. 优点

• 方法新颖性：将"引导提示"作为参考条件来构造过程级奖励（受 Self On-Policy Distillation 启发，但用作 RL 奖励而非监督蒸馏损失），思路简洁而有效。
• 零推理开销：引导提示仅训练时使用，推理时与基模型一致，部署友好。
• 可解释的过程级反馈：token-sum KL 提供了细粒度的轨迹级信号，理论上可定位局部推理偏差。
• 长度控制双目标兼顾：分段式奖励同时抑制过短回答与边界聚集，比平坦奖励更鲁棒。
• 效率-效果双赢：在多数基准上同时实现准确率提升与 token 成本下降。
• 计算经济：teacher forcing 复用采样轨迹，使额外开销控制在 $1.6\times$ 而非 $2\times$。
• 泛化验证完整：域内 + 域外共 6 个基准，含细粒度子类别分析，论据充分。

8. 不足与局限

8.1 方法层面

• 引导质量依赖外部 LLM：$h$ 由 GPT-5.3-Chat 生成，引入了对闭源模型的依赖与潜在的提示偏差（不同引导质量对奖励稳定性影响未分析）。
• KL 分布对齐假设：以"标准提示 vs 引导提示"分布差作为过程奖励，但 $h$ 仅为单句指导，是否充分反映正确的空间推理过程存疑。
• 长度奖励设计依赖调参：分段边界 $(l_1,l_2,l_3)$ 与奖励水平 $(r_1,r_2)$ 需针对数据集手工设定，跨任务迁移性未验证。
• token-sum KL 仍存在偏短倾向：尽管通过分段奖励缓解，但 KL 项本身随长度累积的根本性质未被根本解决。

8.2 实验层面

• 算力与训练预算未披露，影响可复现性；
• 缺乏多次种子运行的方差报告，统计显著性不明确；
• 消融仅在 MMSI-Bench 单基准，未在多基准上交叉验证组件贡献；
• 无超参数敏感性分析（不同 ${\lambda }_{KL}$、不同长度边界的影响）；
• 缺乏与同类过程级 RL 方法的直接对比（如 R1-VL 的 step-wise GRPO、Video-R1、Insight-V 等）；
• 引导提示生成策略的消融缺失：未比较人工设计 vs LLM 生成 vs 不同 LLM 的影响。

8.3 应用层面

• 任务域集中于多视角空间推理，对其他长上下文多模态任务（视频、文档、具身）的迁移仅作展望，未提供实证；
• 8B 规模基模型，未验证方法在更大或更小模型上的可扩展性；
• MMSI-Bench 细粒度分析显示，属性外观（Appr.）和物体运动（Obj.）子类别反而下降（−7.6 和 −1.5），表明奖励信号对局部属性/动态推理的引导能力有限。

（完）