FedAgentKE：面向异构智能体的联邦语义知识进化

📊 论文图表(共 3 张)

展开查看 3 张图

‹ ›

TL;DR

本文提出 FedAgentKE，一种让分布式的大语言模型智能体在不暴露原始推理轨迹的前提下，通过迭代语义蒸馏与聚合协作提炼通用推理能力的框架。实验表明，该方法在跨框架与跨任务两种设定下均能带来持续性能提升，验证了联邦语义知识进化在构建协作型智能体生态方面的可行性。

研究背景与动机

近年来，基于[[大语言模型]]的智能体系统展现出强大的推理、工具调用与迭代执行能力。然而，这些智能体框架大多以孤立方式运行：每个框架各自维护本地记忆，通过检索与工作流复用提升单个智能体的表现，但积累的推理经验被锁死在各自的系统边界内。这种碎片化状态导致两个核心问题——一方面，高质量的问题解决策略无法跨框架传播，造成重复造轮子；另一方面，孤立的智能体难以从全局视角学习更通用的推理模式，限制了其持续演进的能力。

现有方案虽已探索过记忆增强、经验复用等技术，但它们本质上仍是单智能体视角的优化，缺乏跨框架协作的机制。而传统的[[联邦学习]]虽能在不共享原始数据的前提下实现协同训练，但其设计初衷是处理结构化数据（如图像、表格），并不天然适配智能体产生的非结构化推理轨迹。因此，如何在保护隐私的前提下，让异构智能体框架共享可迁移的推理抽象，而非原始经验，成为一个亟待解决的关键问题。

方法

FedAgentKE 的核心思路是将推理轨迹转化为「语义知识」，并在智能体之间建立一套迭代式的蒸馏、聚合与适配循环。整体框架包含三个关键模块。

首先是语义蒸馏。每个参与的智能体框架不再直接共享原始推理轨迹，而是将其编码为高层语义表示——这些表示捕捉的是「为什么这样推理」的抽象模式，而非具体的中间步骤。通过设计针对性的语义编码器，系统能够将多样化的推理路径压缩为统一的语义空间向量，从而在保留关键推理逻辑的同时剥离敏感细节。

其次是联邦聚合。来自多个异构智能体的语义表示被汇集到中心服务器，但服务器收到的并非原始数据，而是一组经过编码的语义知识。聚合过程采用加权平均策略，根据各智能体提供知识的质量与多样性动态调整权重，生成全局语义知识原型。这一步等价于让所有智能体共同「提炼」出一套跨框架适用的推理抽象。

最后是自适应适配。聚合后的全局知识需要被各智能体框架本地吸收，但由于不同框架的架构与任务偏好存在差异，直接应用全局知识可能产生适配偏差。FedAgentKE 引入了轻量级的适配网络，让每个智能体在保留本地特色的同时，选择性吸收全局语义知识。这种设计既保证了知识迁移的效率，又维护了各框架的异构性。

整个流程以迭代方式进行：每轮聚合后的知识反馈给各智能体，智能体基于更新后的知识重构推理策略，产出新的推理轨迹，再进入下一轮蒸馏与聚合。这种闭环机制确保语义知识能够持续演化，逐步收敛到高质量的推理抽象。

实验与结果

论文在两类实验设定下评估了 FedAgentKE 的有效性。跨框架设定模拟了不同智能体框架之间的协作场景，各框架可能使用不同的[[大语言模型]]后端或拥有不同的工具集；跨任务设定则考察了知识从一组任务迁移到另一组任务的能力。

实验结果表明，在两种设定下，FedAgentKE 均实现了相比基线的持续性能提升。关键发现包括：参与协作的智能体数量越多，语义知识的质量越高，性能提升越显著，说明聚合机制有效整合了多框架的经验；即便某框架的初始能力较弱，它也能从联邦协作中获益，表明语义知识的迁移具有普适性而非仅仅强化强者。

此外，消融实验进一步验证了语义蒸馏、联邦聚合与自适应适配三个模块各自的贡献：移除任何一个模块都会导致性能下降，其中语义蒸馏模块的影响最为显著，直接共享原始轨迹的朴素方案在隐私泄露风险之外，性能也不如语义编码后的蒸馏方案。

讨论与可借鉴点

FedAgentKE 为构建跨框架协作的智能体生态提供了一条可行路径，其核心贡献在于重新定义了「知识共享」的粒度——从原始经验上升到语义抽象。这一思路对隐私敏感场景尤其有意义，因为它在理论上杜绝了推理轨迹的直接泄露，同时仍能实现有意义的知识迁移。

然而，该框架也存在局限。首先，语义编码器的设计质量直接决定了知识蒸馏的效果，如何为不同类型的推理任务设计通用且高效的编码器仍有待探索。其次，跨框架协作的前提是存在足够多的参与者，当参与方较少时，聚合收益可能有限。此外，当前实验主要验证了性能提升，对于语义知识的可解释性以及潜在偏见在聚合过程中的传播问题，论文尚未深入讨论。

对于后续研究，一个有价值的探索方向是将 FedAgentKE 与多模态智能体结合，使其能够处理视觉、语音等多种模态的推理任务。另一个方向是引入激励机制，鼓励更多智能体框架主动贡献高质量语义知识，从而形成良性循环的协作生态。

摘要

基于大语言模型（LLM）的智能体日益依赖推理、工具调用与迭代执行，然而现有的智能体框架在很大程度上仍处于孤立运行状态。尽管近年来基于记忆的智能体系统通过本地检索与工作流复用以提升单个智能体的能力，但局部经验仍然分散在各个孤立的智能体框架中，限制了跨框架的知识迁移与协作推理进化。为此，我们提出了 FedAgentKE，一个面向异构智能体的轻量级联邦语义知识进化框架。FedAgentKE 使分布式智能体框架能够通过迭代的语义知识蒸馏、聚合与自适应机制，协作进化出可迁移的推理抽象，同时无需共享原始推理轨迹。实验结果表明，在跨框架与跨任务两种设置下均能取得持续的性能提升，凸显了联邦语义知识进化在未来协作型智能体生态系统中的潜力。

Abstract

Large language model (LLM)-based agents increasingly rely on reasoning, tool use, and iterative execution, yet existing agent frameworks still operate largely in isolation. While recent memory-based agent systems improve individual agents through local retrieval and workflow reuse, local experiences remain fragmented across isolated agent frameworks, limiting cross-framework knowledge transfer and collaborative reasoning evolution. We propose FedAgentKE, a lightweight framework for Federated Semantic Knowledge Evolution across heterogeneous agents. FedAgentKE enables distributed agent frameworks to collaboratively evolve transferable reasoning abstractions through iterative semantic knowledge distillation, aggregation, and adaptation without sharing raw reasoning trajectories. Experiments demonstrate consistent improvements under both cross-framework and cross-task settings, highlighting the potential of federated semantic knowledge evolution for future collaborative agent ecosystems.