RP-OPSD：面向多模态大语言模型的分辨率特权在策略自蒸馏

📊 论文图表(共 6 张)

展开查看 6 张图

‹ ›

TL;DR

本文提出了 RP-OPSD（分辨率特权在策略自蒸馏），利用同一图像在高分辨率和低分辨率下所蕴含信息的差异，让教师模型用原始分辨率图像指导学生模型在四分之一分辨率下学习。实验在 Qwen3.5-9B 上实现了原始分辨率下 5.45% 的平均性能相对提升，同时训练速度比传统 OPSD 方法快 1.78 倍，且整个过程无需外部模型或人工标注，仅需图像—问题对即可完成蒸馏训练。

研究背景与动机

在多模态大语言模型（[[多模态大语言模型]]，Multimodal Large Language Model）的研究中，如何高效地让模型学习视觉理解能力是一个核心问题。传统的方法往往依赖大量人工标注数据或者外部模型生成的解题轨迹，这种方式在数据成本和模型能力上限上都存在明显的瓶颈。研究者们开始探索一种更具可扩展性的方案——自蒸馏，即让同一个模型的不同变体相互学习，其中拥有更多信息的「教师」指导「学生」提升。

在策略自蒸馏（[[在策略自蒸馏]]，On-Policy Self-Distillation，OPSD）是近年来受到关注的一种范式。它的核心思想是让教师模型利用学生模型无法获取的「特权信息」，对学生生成的推理轨迹提供逐词元的密集监督。这种方式比单纯模仿最终答案能学到更丰富的中间推理能力。然而，现有 OPSD 方法在多模态场景中面临一个关键困境：如何定义这种「特权信息」？已有方案依赖外部模型生成解题过程或人工标注的视觉证据（如定位框、关键区域标记），这不仅增加了数据获取成本，也引入了外部模型的性能上限作为约束。

本文的核心洞察是：在多模态任务中，图像的分辨率本身就是一种天然且可量化的信息差异来源。当我们把同一张图像以不同分辨率输入模型时，高分辨率图像包含更多细节，低分辨率图像则更依赖整体的语义推断。这种信息差距恰好可以用来构建教师与学生之间的特权关系，而无需任何额外的标注或外部模型。

方法

RP-OPSD 的设计围绕一个简洁而有效的假设展开：教师模型处理原始分辨率图像所获得的知识，可以迁移到学生模型处理低分辨率图像的过程中，进而泛化到原始分辨率的推理。

具体实现上，训练过程分为两个分支并行进行。学生分支以四分之一分辨率的图像作为输入，通过当前的学生策略生成在策略轨迹 ${\tau }_s$，即模型在每个推理步骤输出的词元序列。教师分支则使用同一张图像的原始分辨率版本，基于学生已经生成的轨迹位置，提供对应的输出分布作为监督信号。这里「在策略」意味着轨迹完全由学生模型自身生成，而非由教师模型主导——这保证了学习的信号来自学生实际会犯的错误，监督更具针对性。

为了衡量两个分支输出分布之间的差异，RP-OPSD 采用[[KL 散度]]作为优化目标。在数学上，沿学生轨迹上第 $t$ 个词元位置的损失可以写作：

其中 ${\pi }_{\text{teacher}}$ 和 ${\pi }_{\text{student}}$ 分别表示教师和学生的策略，$x^{\text{high}}$ 和 $x^{\text{low}}$ 代表高分辨率和低分辨率的输入图像，${\tau }_{<t}$ 为此前生成的词元序列。通过对轨迹上所有位置求和并最小化这个散度，学生被迫在每个推理步骤都尽可能接近教师在高分辨率输入下的预测行为。

一个值得强调的设计细节是：学生最终要能在原始分辨率下也表现更好。这并非通过直接训练原始分辨率下的学生模型实现，而是通过低分辨率下的特权蒸馏间接达成。直觉上，教师在高分辨率下捕捉到的细粒度视觉关系（如物体局部特征、文本与图像的空间对应）虽然学生在低分辨率下无法直接感知，但可以通过预测分布的模仿习得这些知识的「抽象形式」，这种抽象形式在原始分辨率推理时同样有效。

整个训练流程只需要图像—问题对，无需任何额外的监督信号或外部模型参与，真正实现了自给自足的蒸馏过程。

实验与结果

实验在 Qwen3.5-9B 上进行，选取了多个多模态理解基准测试来评估模型性能。评测任务覆盖视觉问答、图像描述、视觉推理等多个维度，能够较为全面地反映模型在不同场景下的能力。

结果显示，经过 RP-OPSD 训练后，模型在原始分辨率下的平均性能相对基线提升了 5.45%。这一提升在各个子任务上均有体现，说明蒸馏得到的知识具有较好的通用性，而非仅限于某类特定问题。更值得关注的是训练效率的提升：相比传统 OPSD 方法需要教师和学生分别生成轨迹再进行对比学习，RP-OPSD 的训练速度加快了 1.78 倍。这是因为该方法天然地共享了轨迹生成的过程，学生产生什么，教师就在对应位置提供什么监督，避免了双模型独立采样的开销。

消融实验进一步验证了关键设计的有效性。当学生分辨率过高（接近原始分辨率）时，教师与学生之间的信息差距变小，蒸馏收益降低；当分辨率过低时，学生丢失过多视觉细节，即使教师全力指导也难以弥补。这些实验表明，四分之一分辨率是一个在信息差距和学习可行性之间取得良好平衡的取值。

讨论与可借鉴点

RP-OPSD 展示了分辨率差异作为一种特权信息来源的潜力，这种思路的优势在于其简洁性和可扩展性。不依赖外部模型意味着不会引入额外的性能上限瓶颈，也不受限于外部模型的训练数据分布；不依赖人工标注则将数据成本降到最低。在实际应用中，这套方法可以便捷地集成到现有的多模态模型训练流程中，只需在数据准备阶段准备同一图像的多分辨率版本即可。

不过，论文也存在一些尚未充分探讨的问题。首先，四分之一分辨率的选择目前是通过实验经验确定的，是否存在更优的分辨率配比？不同任务类型是否需要不同的分辨率设置？这些问题值得进一步研究。其次，该方法假设「高分辨率下的知识可以抽象化后迁移到低分辨率」，但这一假设在某些依赖极致细节的任务（如密集标注、细粒度计数）上可能不成立。最后，论文主要在 Qwen3.5-9B 上验证了效果，更大规模模型或不同架构上的表现还有待检验。

对于多模态大语言模型的研究方向而言，RP-OPSD 提供了一个值得思考的方向：特权信息不一定非要来自外部模型或人工标注，数据本身的属性差异（如分辨率、光照、视角）同样可以成为有效的监督来源。如何系统性地挖掘这类「天然特权信息」，可能是未来提升模型能力的一条新路径。

摘要

在策略自蒸馏（OPSD）利用仅教师可获得的特权信息，对学生生成的轨迹提供密集的词元级监督。然而，现有方法通常依赖于已验证的解题过程、外部模型生成的解释，或人工标注的视觉证据，这限制了它们在多模态大语言模型中的可扩展应用。为解决这一问题，我们利用同一图像高低分辨率视图之间的信息差异，提出了 RP-OPSD（面向多模态大语言模型的分辨率特权在策略自蒸馏）。在训练过程中，学生策略从原始分辨率四分之一的图像生成在策略轨迹，而教师策略则使用原始分辨率图像提供监督。通过最小化二者沿学生轨迹的输出分布之间的散度，学生模型学习到教师在高分辨率输入下的预测行为，从而增强其低分辨率能力，并将所学到的提升迁移到原始分辨率推理中。RP-OPSD 既不需要额外的人工标注，也不需要外部模型来生成解题过程，仅需图像—问题对。在 Qwen3.5-9B 上的实验表明，RP-OPSD 在原始分辨率下实现了 5.45% 的平均性能相对提升，并且相比 OPSD 获得了 1.78× 的训练加速。这些结果表明，分辨率差异可以作为简单且可扩展的特权信息来源，为多模态大语言模型的在策略自蒸馏提供了一种有效且高效的方法。

Abstract

On-Policy Self-Distillation (OPSD) uses privileged information available only to the teacher to provide dense token-level supervision on trajectories generated by the student. However, existing methods often rely on verified solution traces, explanations generated by external models, or manually localized visual evidence, which limits their scalable application to multimodal large language models. To address this issue, we exploit the information gap between high- and low-resolution views of the same image and propose RP-OPSD (Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models). During training, the student policy generates on-policy trajectories from images at one-quarter of the original resolution, while the teacher policy provides supervision using the original-resolution images. By minimizing the divergence between their output distributions along the student trajectories, the student learns the predictive behavior of the teacher under high-resolution inputs, thereby strengthening its low-resolution capability and transferring the learned improvement to original-resolution inference. RP-OPSD requires neither additional human annotations nor external models to generate solution traces but only image--question pairs. Experiments on Qwen3.5-9B show that RP-OPSD achieves a 5.45\% relative improvement in average performance at the original resolution and a $1.78\times$ training speedup over OPSD. These results demonstrate that resolution differences can serve as a simple and scalable source of privileged information, providing an effective and efficient approach to on-policy self-distillation for multimodal large language models.