arXiv 2607.00083v1 · 发布 2026-06-30

利用潜在空间：从引导向量到模型校准器，实现控制与可信性

Harnessing the Latent Space: From Steering Vectors to Model Calibrators for Control and Trust

AUTHORS Nishant Subramani

EVIDENCE 用于大语言模型行为控制的引导向量与潜在空间校准器

SCORE 0.8

GENERATED 2026-07-04 02:30:59 UTC

📝 TLDR

随着大语言模型参数规模膨胀至万亿级，其内部表征愈发难以理解，但在高风险决策场景下亟需控制模型行为并判断输出可信度。本文提出利用潜在空间的操控向量实现行为引导控制，并开发基于潜在空间的模型校准器评估输出可信度。实验表明该方法能有效调控模型生成行为并改善置信度估计。整体工作揭示了LLM潜在空间的内在结构，为构建更可控、可信的语言技术提供了新视角与方法支撑。

🧭 速览

动机

语言模型规模急剧增长，内部表征难以理解，高风险场景下需控制模型行为并判断输出可信度。

方法

提出基于潜在空间的操控向量用于行为控制，并设计潜在空间驱动的模型校准器衡量输出可信度。

结果

操控向量可有效引导模型行为，校准器改善置信度估计，实验验证了方法在控制与可信度上的有效性。

结论

揭示大语言模型潜在空间的可解释性，为构建更可控、可信的语言模型提供新方法与思路。

📊 论文图表(共 10 张)

展开查看 10 张图

TL;DR

这篇论文围绕"如何利用大语言模型的[[潜在空间]]"这一核心问题，系统研究了两种互补的路径：其一是通过[[引导向量]]实现推理时行为控制，其二是开发基于[[潜在空间]]的[[模型校准器]]评估输出可信度。实验表明，引导向量能在不更新参数的情况下精确调控模型生成，而所提出的 MICE 和 ACUTE 方法在多个任务和模型上显著优于原始置信度估计，为构建更可控、可信的语言技术提供了新思路。

研究背景与动机

大语言模型的参数规模已从早期的千万级膨胀至万亿级，其内部表征的复杂度随之急剧攀升。在很长一段时间里，NLP 社区倾向于将语言模型视为"黑盒"，主要通过输入输出的行为观察来评估模型性能。这种方法在模型能力有限的阶段尚可接受，但随着模型被数百万用户用于与外部工具交互、在中高风险场景中辅助决策，仅靠行为评估已远远不够。

一个直观的困境是：当模型生成的代码可能导致系统故障、总结的医学文献可能影响临床判断时，我们如何知道什么时候该信任模型的输出？更进一步，如果模型的输出存在问题，我们能否在推理阶段就介入调控，而不是事后被动修复？这些需求催生了两个核心研究方向——行为控制（确保模型输出符合预期）和可信性评估（判断模型输出是否可靠）。

然而，已有方法在这两条路径上都存在明显瓶颈。行为控制方面，传统的做法通常需要通过强化学习微调或提示工程来引导模型，但前者计算代价高昂，后者效果不稳定且难以精确调控。可信性评估方面，主流做法是直接使用模型输出的原始置信度，但大量研究已经证明这种置信度普遍校准不佳——模型可能以极高的概率自信地输出错误答案。

本文的切入点在于：既然语言模型的隐藏状态和激活空间蕴含着丰富的语义与决策信号，那么我们是否可以直接在[[潜在空间]]中进行操作来实现控制和可信性评估？这一思路将"黑盒"转变为"灰盒"，既保留了深度学习端到端学习的优势，又为人类理解和干预提供了接口。

方法

论文的核心方法论建立在一个基本假设之上：语言模型的[[潜在空间]]并非杂乱无章的高维向量集合，而是具有一定的语义结构，可以通过向量运算进行有意义地干预和解读。基于这一假设，作者提出了两条并行的技术路径。

路径一：引导向量用于控制

第一条路径旨在通过在模型的隐藏状态中注入精心设计的[[引导向量]]来实现对生成行为的调控。对于 LSTM 模型，作者定义了句子空间为平坦向量空间 $Z \in R^{d^{'}}$ ，通过在每个时间步向隐藏状态和细胞状态注入引导向量 $z_{s t eer}$ 来实现干预。具体形式为：

h_{t} = f_{θ} (h_{t - 1} + z_{s t eer}, x_{t})

这里的引导向量通过优化获得——给定目标序列，算法前向估计时优化 $z_{s t eer}$ 以最大化对数似然；反向估计时则将 $z_{s t eer}$ 注入后用 beam search 解码生成。

对于 [[Transformer]] 模型，作者发现引导更加高效：只需在模型堆栈的某一层（如第 6/7 层）前馈层之后、仅在第一个时间步注入引导向量即可产生显著效果。这一发现本身很有意思——它暗示 Transformer 的信息传递机制使得单一位置的扰动能够有效扩散到整个生成过程。

在此基础上，作者进一步提出了 DiffMean 概念引导方法，将引导向量的构造从优化求解简化为无监督的向量运算：

z_{s t eer} = λ \cdot (z_{p os} - z_{n e g})

其中 $z_{p os}$ 和 $z_{n e g}$ 分别是正负样本引导向量的均值， $λ$ 控制引导强度。这种方法的优势在于完全无需标注数据，只需要收集两组语义对立的样本（如正面评论和负面评论），就能得到可以调控情感的引导向量。

路径二：潜在空间校准器用于可信性

第二条路径则关注如何利用[[潜在空间]]信息来改进[[置信度校准]]。作者首先引入了 Logit Lens 技术——在 Transformer 的每一中间层都解码出候选生成结果，计算这些候选与最终输出的语义相似度作为特征。

具体而言，给定模型在第 $i$ 层的解码结果 $y^{(i)}$ 和最终输出 $y^{(f ina l)}$ ，MICE 方法使用 BERTscore 作为相似度度量：

feat_{i} = BERTscore (y^{(i)}, y^{(f ina l)})

将各层的 BERTscore 与原始置信度拼接为特征向量，训练一个简单的分类器（随机森林或逻辑回归）来预测输出的正确性。分类器对"correct"类的预测概率即为校准后的置信度。

ACUTE 方法则进一步简化了特征工程，直接对模型的激活向量进行特征化，包括早期、中期、晚期激活的统计特征、cosine 相似度特征，以及 PCA 降维后的激活向量。这种做法摆脱了对大型辅助模型（如 DeBERTa）的依赖，降低了部署成本。

关于评估指标的贡献

值得注意的是，作者指出了传统 [[ECE]]（Expected Calibration Error）指标的固有缺陷：它无法区分一个完美的 oracle 估计器和仅输出 base rate 的平凡估计器。为此，论文提出了两个新指标——ETCU 和 EURO，它们通过设计奖励-惩罚结构来评估置信度估计器在决策效用层面的表现，更适合中高风险场景的需求。

实验与结果

实验设计覆盖了从小型 LSTM 到大型 [[Transformer]] 的多种架构，以及从单一任务到多任务的多种场景，展现了方法的广泛适用性。

在控制任务上，论文使用了 English Gigaword 摘要数据集和 IWSLT16 英德翻译数据集进行域内域外评估。结果显示，引导向量能够实现近乎完美的精确序列恢复——token exact match 达到 0.99 以上，BLEU-4 接近 100。更重要的是，即使在域外数据上（IWSLT16 翻译任务），引导向量依然保持了有效性，表明学习到的向量确实编码了可迁移的语义结构。对于情感概念引导，DiffMean 方法在 Yelp 数据集上实现了无监督的情感翻转，成功率显著高于随机基线。

在可信性评估任务上，论文首先在 tool-calling 场景下测试 MICE 方法，使用 50 个 API 的合成数据集。结果表明，原始置信度的 [[ECE]] 普遍较高，而 MICE 和 ACUTE 都能显著降低校准误差。特别值得关注的是，传统后处理校准方法（如 HRE、NWKR）虽然改善了 ECE，但实际决策效用反而下降——它们倾向于将所有预测推向 base rate，变成了"什么都预测平均"的平凡估计器。论文提出的 ETCU 和 AUCEURO 指标成功捕捉了这一现象。

在更广泛的评估中，ACUTE 在 MMLU（57 个子任务）、APIGen（tool-calling）和 SCITLDR（科学摘要）三个任务上对 6 个不同规模的 LLM 进行了测试。结果显示，后期层激活特征和 PCA-20 降维特征表现最优，说明模型的深层表征与输出正确性的关联最为紧密。

讨论与可借鉴点

这篇论文的一个重要贡献在于证明了[[潜在空间]]的可操作性——我们不仅可以通过行为观察来评估模型，还可以通过直接操纵隐藏状态来实现精确控制。这种"灰盒"视角为后续研究提供了新的范式参考。

然而，论文也存在一些局限。首先，引导向量方法虽然展示了强大的控制能力，但作者主要与传统的 beam search 基线进行对比，并未与现代 steering 方法（如 SAE、Inference-Time Intervention、activation addition 等）在统一基准下进行比较。这使得我们难以判断这些方法之间的相对优劣。其次，MICE 方法依赖大型辅助模型计算 BERTscore，在资源受限场景下的实用性受到限制；虽然 ACUTE 缓解了这一问题，但仍需额外的分类器训练步骤。

从实践角度，有几个值得借鉴的点。其一是 DiffMean 概念引导的简洁性——它将监督信号从端到端优化简化为两组样本的均值相减，为实现无标注概念控制提供了新思路。其二是 决策效用导向的评估指标，ECURE 和 EURO 的设计提醒我们，在高风险场景下，纯统计指标的改善并不等同于决策质量的提升。其三是 Logit Lens 作为特征工程工具的巧妙应用——通过分析中间层解码结果与最终输出的相似度，可以有效挖掘模型内部的置信信号，而无需引入额外的标注或模型。

展望未来，一个重要的方向是如何将这些方法从研究和实验场景扩展到真实的高风险应用中。当前的 tool-calling 实验虽然具有实际意义，但与医疗诊断、法律咨询等真实场景仍有差距。如何确保引导向量在对抗性输入下依然可靠、如何设计更鲁棒的可信性评估框架，都是值得深入探索的问题。

摘要

语言模型已从不可靠的文本生成器发展为拥有数万亿参数的高性能大规模模型。能力的提升与规模的扩大相伴而生，使得理解模型的内部表征变得更加困难。由于数百万用户越来越依赖语言模型与外部工具交互，或在中等乃至高风险场景中做出决策，我们需要对模型行为建立控制，并知晓何时应当信任模型输出。在本文中，我们讨论了通过提出用于控制的引导向量以及开发基于潜在空间的模型校准器以实现可信性，从而利用潜在空间所做出的贡献。这些贡献共同揭示了语言模型潜在空间的奥秘，并为如何利用模型内部机制构建更值得信赖的语言技术提供了新的洞见。

Abstract

Language models have changed from unreliable text generators to highly-capable large models with trillions of parameters. Capability increases come hand-in-hand with increases in scale, making understanding the internal representations of models more challenging. Since millions of users increasing rely on language models to interact with external tools or make decisions in medium or high-stakes scenarios, we need to establish control over model behavior and know when to trust model outputs. In this paper, we discuss our contributions on harnessing the latent spaces by proposing steering vectors for control and developing latent space-based model calibrators for trust. Together, our contributions help demystify the latent spaces of language models and offer new insights into how to harness model internals to build more trustworthy language technology.

论文详细总结（自动生成）

论文总结：利用潜在空间——从引导向量到模型校准器，实现控制与可信性

1. 核心问题与整体含义（研究动机与背景）

随着语言模型参数规模从早期数千万膨胀至万亿级，其内部表征变得愈发难以分析。NLP 社区越来越倾向于将模型视为"黑盒"，仅通过行为观察来评估模型。然而，当 LLM 被数百万用户用于与外部工具交互、或在医学、法律等中高风险场景中辅助决策时，仅靠行为评估远远不够，需要：

对模型行为建立控制（Control）：确保安全性和对齐性；
对模型输出建立信任（Trust）：准确判断何时应信任 LLM 的输出。

本文围绕 "如何利用（harness）语言模型的潜在空间" 这一主线，综述了作者四项研究工作，分别对应控制（§2、§3）和可信性（§4、§5）两条路径。

2. 方法论

2.1 整体思路

四项研究均基于同一前提：语言模型的隐藏状态/激活空间含有丰富的语义与决策信号，可通过向量操作或简单分类器进行干预或解读。

2.2 关键技术与公式

#### （1）§2 — LSTM 引导向量（Subramani et al., 2019）

定义句子空间为平坦向量空间 $Z \in R^{d^{'}}$ ，通过在每个时间步向隐藏状态与细胞状态注入引导向量 $z_{s t eer}$ 实现干预：

h_{t} = f_{θ} (h_{t - 1} + z_{s t eer}, x_{t})

前向估计（sequence → vector）：优化 $z_{s t eer}$ 以最大化目标序列的对数似然；
反向估计（vector → sequence）：注入 $z_{s t eer}$ 后用 beam search 解码。

#### （2）§3 — Transformer 引导向量（Subramani et al., 2022）

在 Transformer 堆栈中的某一层（如第 6/7 层）前馈层之后，仅在第一个时间步注入 $z_{s t eer}$ 。优化目标相同：

z_{s t eer} = ar g z max lo g p_{θ} (x ∣ z_{s t eer})

提出 DiffMean 概念引导：

z_{s t eer} = λ \cdot (z_{p os} - z_{n e g})

其中 $λ$ 为引导强度， $z_{p os}$ 、 $z_{n e g}$ 分别为正/负情感引导向量的均值。

#### （3）§4 — MICE（Subramani et al., 2025a）

利用 Logit Lens 在每一中间层 $i$ 解码得到候选生成 $y^{(i)}$ ，计算与最终输出的 BERTscore：

feat_{i} = BERTscore (y^{(i)}, y^{(f ina l)})

将各层 BERTscore 与原始置信度拼接为特征，训练分类器（随机森林或逻辑回归）预测正确性，分类器对 "correct" 类的概率即为校准后置信度。

提出新指标 ETCU（Expected Tool-Calling Utility）：在给定风险水平 $r$ 下，奖励-惩罚结构化评估置信度估计器的决策效用。

#### （4）§5 — ACUTE（Subramani et al., 2026）

将 MICE 中的 BERTscore 特征替换为直接对模型激活进行特征化（如早期/中期/晚期激活、cosine 特征、PCA 降维），无需辅助模型。

提出新指标 EURO（Expected Utility Renormalized by the Oracle）：

EURO \in [0, 1]

$EURO = 1$ ：oracle 估计器；
$EURO = 0$ ：anti-oracle 估计器。

通过在不同净效用阈值 $u_{c a}$ （"正确弃答" 的收益）下计算 EURO 并求曲线下面积，得到 $AUC_{EURO}$ 。

3. 实验设计

3.1 §2 — LSTM 引导

数据集：English Gigaword（训练 50M 句，dev/test 各约 879k/878k 句）；IWSLT16 En-De（域外泛化测试）；随机数据（高熵对照）。
模型：自训练 2 层 LSTM，hidden 维度 ${256, 512, 1024}$ ，BPE 词表 20,234。
评估：token 级精确匹配、 $BLEU$ 、最长前缀匹配。

3.2 §3 — Transformer 引导

数据集：4 个领域（电影、书籍、新闻、Wikipedia）共 256 句；Yelp 情感数据集（概念引导）。
模型：GPT2-117M。
评估： $BLEU-4$ 、STS-B（语义相似度）、情感翻转成功率。
变量：注入位置（embedding/第 6 层 self-attn/第 7 层 FFN/全部层/LM head）、注入时间步（first/all）。

3.3 §4 — MICE

数据集：STE（Simulated Trial-and-Error）合成 tool-calling 数据集（4250/1500/750/750 split，50 个 API）。
模型：Llama-3-8B-Instruct、Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct（8-shot prompt）。
基线：Raw Confidence、HRE（Histogram Regression）、NWKR（Nadaraya-Watson Kernel Regression）。
指标：smECE（smooth ECE）、ETCU、 $AUC_{ETCU}$ 。
鲁棒性测试：50 折 leave-one-API-out 零样本评估。

3.4 §5 — ACUTE

任务（3 个）：MMLU（57 子任务）、APIGen（tool-calling）、SCITLDR（科学文档摘要）。
模型（6 个 LLM）：含 Gemma-3-12B-it 等。
基线：Raw Confidence、HRE、NWKR，以及 ACUTE 自身变体（early/mid/late act、cosine、PCA-10/PCA-20）。
指标：smECE、 $AUC_{EURO}$ ，配合 reliability diagrams。

4. 资源与算力

论文未明确披露：

使用的 GPU 型号与数量；
总训练/推理时长；
碳排放或经济成本。

仅可从上下文推测：

§2 实验使用非线性共轭梯度（不易 GPU 加速）和小规模 LSTM，资源消耗较低；
§3–§5 涉及 6 个 LLM 跨 3 个任务，但具体算力细节未给出。

这一信息缺失是该综述类论文的常见局限，降低了实验可复现性的评估依据。

5. 实验数量与充分性

章节	实验维度	充分性评价
§2	3 种 LSTM 尺寸 × 多种序列长度 × 域内/域外/随机数据	较充分，覆盖容量与泛化
§3	4 领域 × 多注入位置/时间步 × 情感概念引导	较充分，变量控制清晰
§4	3 个 Llama 模型 × STE 测试集 × 50 折留出 × ETCU 全风险档	充分，多档风险评估
§5	6 个 LLM × 3 个任务 × 7 种 ACUTE 变体 × 多档 $u_{c a}$	最充分，跨家族跨任务

总体评价：实验设计较为系统，从 LSTM → Transformer → 多个 LLM 家族，从单一任务（tool-calling）扩展到多任务（MMLU/APIGen/SCITLDR），变量控制清晰。但：

§4 仅在 Llama 单家族、单任务上验证 MICE；
§2、§3 缺乏与现代 steering 方法（如 SAE、ITI、activation addition）的直接对比；
未给出统计显著性检验或多随机种子报告。

6. 主要结论与发现

1. 控制方面：

引导向量可在不更新参数的情况下，对 LSTM 和 Transformer 实现几乎完美的精确序列恢复（token exact match ≥ 0.99，BLEU-4 接近 100）；
Transformer 比 LSTM 更易引导（仅需单层单时间步注入）；
引导向量本身可作为优质语义表示，优于 mean-pooled hidden states（STS-B）；
DiffMean 概念引导可实现无监督情感翻转。

2. 可信性方面：

原始 LLM 置信度普遍校准不佳；
传统后处理校准方法（HRE、NWKR）会坍缩为 base rate 估计器，决策效用低；
MICE 与 ACUTE 能在保持低 smECE 的同时维持更宽的概率分布和更高的 $AUC_{EURO}$ ；
后期层激活与 PCA-20 降维激活在 ACUTE 中表现最优。

3. 大图景：

潜在空间含有可操作的语义结构，可同时用于控制和置信度评估；
决策效用导向的指标（ETCU、EURO）比纯 ECE 更适合高风险场景评估。

7. 优点

统一的视角：将 "控制" 与 "信任" 两大主题在 "潜在空间利用" 这一概念下统一，结构清晰；
新颖的指标贡献：ETCU、 $AUC_{ETCU}$ 、EURO、 $AUC_{EURO}$ 弥补了 ECE 的固有缺陷（无法区分 oracle 与 base rate、对风险水平不敏感）；
极简的干预方式：引导向量方法无需微调、无需辅助模型（ACUTE 版本），部署成本低；
跨架构、跨任务验证：从 LSTM 到现代 LLM，从单任务到多任务，泛化证据充分；
Logit Lens 的巧妙应用：将中间层解码相似度作为置信度特征，思想简洁有效；
DiffMean 概念引导：首次展示无监督概念级别的推理时控制。

8. 不足与局限

1. 算力与可复现性披露不足：未列出 GPU 型号、数量、训练时长，限制复现；

2. 模型覆盖有限：§4 仅测试 Llama 家族；§5 虽扩至 6 个 LLM，但未覆盖闭源大模型或不同规模；

3. 缺乏与主流方法的直接对比：未与 SAE-based steering、Inference-Time Intervention、representation engineering 等现代 steering 方法在同一基准下系统比较；

4. MICE 的特征开销：BERTscore 需引入大型辅助模型（DeBERTa-xlarge-mnli），推理成本较高；ACUTE 虽缓解，但仍依赖分类器训练；

5. ETCU 的强假设：对 "弃答一律奖励 0" 的简化被 EURO 改进，但 EURO 的 $u_{c a}$ 单自由度设计本身仍是简化；

6. 概念引导评估单一：仅在情感翻转任务上演示，未在更广泛概念（如毒性、风格、事实性）上验证；

7. 未涉及安全/对齐关键场景：高风险示例以 tool-calling 为主，未直接覆盖医疗/法律等真实高风险决策；

8. 缺乏统计显著性：未报告多随机种子结果或显著性检验，结果稳定性存疑。

（完）

✨ 编译论文

点「✨ 编译」开始,LLM 会按 Polaris 风格翻译并把图片/表格嵌到对应位置。结果存到浏览器 localStorage,下次访问自动加载。