EmoAgent-R1：基于强化学习的动态智能体专业化实现多模态情感理解

📊 论文图表(共 2 张)

展开查看 2 张图

‹ ›

TL;DR

EmoAgent-R1 针对多模态情感识别任务中固定提示词难以捕捉情绪源动态性的问题，提出基于强化学习的动态智能体专精化框架。模型先通过冷启动获得基础能力，再借助包含智能体选择与专精化的两步工作流适应不同情感场景，并设计了 P-GRPO 算法将稀疏奖励转化为细粒度学习信号。实验表明，该方法在多个 MER 基准上实现了更强的情感推理能力，同时显著提升了强化学习的优化稳定性。

研究背景与动机

多模态情感识别（Multimodal Emotion Recognition，MER）是让机器理解人类情感的前沿课题，其核心挑战在于情感信息的来源高度动态且复杂——一段视频中的人物可能同时表现出语言、面部微表情、声调乃至肢体动作等多种模态的信号，而不同模态在表达同一情感时的权重和可靠性差异巨大。传统方法依赖手工设计的特征提取器或固定的融合策略，难以捕捉这种跨模态的动态关联。近年来，基于 [[多模态大语言模型]]（Multimodal Large Language Model，MLLM）的方法凭借强大的视频理解能力和自然语言生成能力，将 MER 推向了一个新的高度——模型不仅能识别情感类别，还能用自然语言描述复杂的情感状态和推理过程。

然而，现有基于 MLLM 的方案普遍存在一个根本性局限：它们使用固定提示词来引导情感感知。这种做法的问题在于，不同视频片段中的情感来源可能截然不同——有些情感主要由面部表情驱动，有些则更多依赖语气或上下文语境。固定提示无法让模型根据输入内容自适应地调整关注重点和推理策略，导致模型在面对情感源分布不均或模态质量参差的样本时泛化能力受限。这一问题的本质是，现有的端到端训练范式缺乏显式的机制来让模型学会「什么时候该关注什么模态」以及「如何针对特定情感类型专精化推理策略」。

EmoAgent-R1 的核心动机正是要打破这一瓶颈。研究者意识到，情感识别的动态性本质上要求模型具备类似「智能体」的能力——能够根据当前输入选择合适的处理「专家」，并让这些专家针对具体场景进行深度专精化。这一洞察直接催生了基于 [[强化学习]] 的动态智能体专精化框架设计。

方法

EmoAgent-R1 的方法框架围绕两条主线展开：冷启动预训练阶段与 [[强化学习]] 训练阶段，两者共同构成了一个从基础能力到动态适应能力的渐进式训练流程。

冷启动阶段的目标是为模型奠定三项基础能力：情感识别、推理和智能体路由。研究者采用合成数据的方式生成训练样本，其中最关键的是「以答案为条件的思维链」（answer-conditioned chain-of-thought）数据。这类数据的特殊之处在于，思维链的生成过程被显式约束以最终答案为条件——这确保了推理过程与情感识别结果之间的一致性关联，而非仅仅在表面上堆砌推理文本。智能体路由数据则教导模型在给定输入下应当激活哪个「专家」智能体。通过这两类合成数据的联合训练，MLLM 在冷启动阶段获得了初步的情感感知骨架和路由判断能力。

冷启动完成后，模型进入强化学习训练阶段，采用两步智能体工作流（two-step agentic workflow）实现真正的动态专精化。第一步是智能体选择（agent selection），模型需要根据当前输入的多模态特征判断应当调用哪个专业智能体来处理当前情感识别任务。第二步是智能体专精化（agent specialization），被选中的智能体针对具体情感场景进行深度推理，生成细粒度的情感分析结果。这两步工作流的设计核心在于，将情感识别问题从「用单一模型处理所有输入」转变为「按需选择并专精」，使模型能够自然地处理情感源的动态复杂性。

为了有效训练这一框架，研究者提出了渐进式分组相对策略优化（Progressive Group-Relative Policy Optimization，P-GRPO）。这一方法的提出针对的是 [[GRPO]]（Group Relative Policy Optimization）算法在稀疏奖励场景下的固有缺陷——GRPO 通过组内相对优势来估计策略梯度，但在情感识别这类奖励信号稀疏且粒度粗的任务中，均匀的信用分配会导致有效学习信号被稀释。P-GRPO 的创新在于两个层面：其一是将基于分组的相对优势机制与受点互信息（Pointwise Mutual Information，PMI）启发的渐进式词元级调制相结合，使得策略优化能够从句子级别精确到词元级别；其二是渐进式调制机制确保了训练过程中不同阶段的学习信号强度自适应调整。将这一机制形式化地表达，P-GRPO 的优势函数可以写为：

其中 $\mathcal{G}$ 表示组内样本集合，${\mu }_{\mathcal{G}}$ 和 ${\sigma }_{\mathcal{G}}$ 为组内奖励的均值与标准差，${\alpha }_t$ 为与训练进度 $t$ 相关的渐进式调制系数。这一设计将原本稀疏的奖励信号在词元层面进行细粒度分解，使模型能够更精准地学习哪些推理步骤对情感识别贡献最大。

实验与结果

研究者在多个主流 MER 基准上进行了全面评估，实验设置涵盖了不同情感类型、模态组合和数据规模的测试场景，以验证 EmoAgent-R1 在情感推理性能和优化稳定性两方面的表现。

在情感推理性能方面，EmoAgent-R1 相比基线方法展现出持续且显著的提升。实验结果表明，固定提示词方法的主要短板在于面对情感源分布不均的样本时表现波动较大——当某类情感主要由视觉模态驱动而视频质量较差时，推理准确率明显下降。EmoAgent-R1 的两步智能体工作流通过显式的智能体选择机制，让模型学会了在这种情况下主动调整对不同模态的依赖程度，从而在困难样本上保持了更强的鲁棒性。具体而言，在跨模态情感识别的挑战性子集上，EmoAgent-R1 的性能提升尤为突出，验证了动态专精化策略的有效性。

优化稳定性是 P-GRPO 设计的主要验证目标。研究者对比了 P-GRPO 与标准 GRPO 在训练过程中的奖励曲线波动情况。结果显示，标准 GRPO 在训练早期容易出现剧烈的策略崩溃（policy collapse）现象，奖励信号在迭代过程中频繁震荡，难以收敛到稳定解。P-GRPO 通过渐进式词元级调制有效平滑了信用分配过程，使得训练曲线更为平稳，同时收敛速度也有所提升。这一结果表明，细粒度的学习信号分解对于处理情感识别这类奖励稀疏任务至关重要。

消融实验进一步验证了各组件的贡献。冷启动阶段合成数据的引入显著加速了强化学习阶段的收敛；两步智能体工作流中的智能体专精化步骤对最终性能提升贡献最大，说明仅靠智能体选择而缺乏针对性的深度推理是不够的；P-GRPO 的渐进式调制机制则在防止过拟合和提升泛化能力方面发挥了关键作用。

讨论与可借鉴点

EmoAgent-R1 的核心贡献在于揭示了「动态专精化」对于多模态情感识别的重要性——与使用单一固定策略处理所有输入的传统范式相比，能够根据输入特性自适应调整处理方式的系统展现出了更强的鲁棒性和泛化能力。这一思想具有超出 MER 任务的普遍意义，可以推广到其他需要处理多模态输入且输入分布动态变化的任务中。

冷启动与强化学习相结合的两阶段训练范式也是一个值得关注的实践策略。冷启动阶段提供了基础能力的安全初始化，避免了强化学习从零开始探索时可能遭遇的早期崩溃风险；而强化学习阶段则在此基础上解锁了动态适应能力，两者形成互补。这一范式与 [[大语言模型]] 领域流行的「预训练+微调+RLHF」流水线在精神上是一致的，但针对多模态情感识别的特殊性做了定制化调整。

P-GRPO 方法为解决稀疏奖励下的 [[强化学习]] 训练稳定性问题提供了一个新的思路：将奖励信号在词元级别进行细粒度分解，并引入与训练进度相关的渐进式调制。这一设计在概念上简洁优雅，在实践中也展现了可观的收益。未来的研究可以探索将 P-GRPO 的核心思想迁移到其他存在类似信用分配难题的任务中，例如代码生成或多轮对话系统。

当前方法的局限也值得指出。首先，智能体选择与专精化的粒度设计依赖于预先定义的专家数量和类型，如何在更开放域的情感场景中实现动态扩展仍待探索。其次，P-GRPO 的渐进式调制系数设计需要一定的超参调优，可能对不同任务和模型的迁移性带来挑战。最后，合成数据驱动的冷启动虽然高效，但合成数据与真实数据之间的分布差异可能限制模型的最终上限。

摘要

多模态大语言模型（MLLMs）在多模态情感识别（MER）任务上取得了令人瞩目的表现，并将MER提升到了一个新高度，即结合先进视频理解能力与自然语言描述的复杂情感理解。然而，现有的基于MLLM的方法通常使用固定的提示词来感知情感，忽略了多模态输入中情感源的动态性与复杂性。为解决这些问题，我们提出了一种新颖的基于强化学习的动态智能体专业化框架（EmoAgent-R1），通过基于强化学习的动态智能体专业化来优化MLLM的情感识别、推理与泛化能力。具体而言，我们首先采用冷启动策略，通过使用合成的以答案为条件的思维链数据和智能体路由数据对MLLM进行训练，使其具备初步的情感识别、推理和智能体路由能力。然后，我们进一步使用强化学习训练MLLM，使其在包含智能体选择和智能体专业化的两步智能体工作流中感知情感。为有效训练EmoAgent-R1，我们提出了一种新颖的渐进式分组相对策略优化（P-GRPO）方法，将基于分组的相对优势与受PMI启发的渐进式词元级调制相结合，将稀疏奖励转化为细粒度的学习信号，从而缓解GRPO中粗粒度均匀信用分配的问题。在MER基准上的大量实验证明了EmoAgent-R1在更强的情感推理性能和更优的优化稳定性方面的优越性。

Abstract

Multimodal large language models (MLLMs) have achieved impressive performance in multimodal emotion recognition (MER) tasks and lifted MER to a new level that is complex emotion understanding with advanced video understanding abilities and natural language description. However, existing MLLM-based methods often use a fixed prompt to perceive the emotions, ignoring the dynamicity and complexity of the emotion source in the multimodal inputs. To address these issues, we propose a novel Reinforcement Learning-based Dynamic Agent Specialization framework (\textbf{EmoAgent-R1}) to optimize the emotion recognition, reasoning, and generalization abilities of an MLLM with dynamic agent specialization based on reinforcement learning. Specifically, we first adopt a cold start strategy to endow an MLLM with preliminary emotion recognition, reasoning, and agent routing ability by training with synthetic answer-conditioned chain-of-thought data and agent routing data. Then, we further train the MLLM with reinforcement learning to perceive emotions in a two-step agentic workflow with agent selection and agent specialization. To effectively train EmoAgent-R1, we propose a novel Progressive Group-Relative Policy Optimization (P-GRPO) to combine group-based relative advantages with a PMI-inspired progressive token-level modulation to transform sparse rewards into fine-grained learning signals, mitigating the coarse-grained uniform credit assignment issue in GRPO. Extensive experiments on MER benchmarks demonstrate the superiority of our EmoAgent-R1 in stronger emotion reasoning performance and improved optimization stability.