OrchBench：通过确定性模拟孤立评估多智能体编排计划

📊 论文图表(共 11 张)

展开查看 11 张图

‹ ›

TL;DR

OrchBench 提出了一个通过确定性模拟来孤立评估多智能体编排计划质量的新基准。它从真实编码任务构建任务依赖的 DAG 图，由规划器在给定约束下生成子任务分配与信息传输方案，模拟器则无需调用真实智能体即可评估计划的质量、时长与成本。该方法与 Claude Code 实际执行的皮尔逊相关系数达到 0.816，而 token 消耗仅为真实执行的 1.3%、耗时为 10.3%，为多智能体编排计划的高效比较与诊断提供了可解释的评估框架。

研究背景与动机

多智能体系统（MAS）在处理复杂任务时，需要将任务分解为多个可并行执行的子任务，并协调各智能体之间的信息流动与依赖关系。这种编排能力直接影响系统的最终性能——一个好的编排计划可以让多个智能体高效协作，而一个糟糕的计划则可能导致信息丢失、重复劳动甚至任务失败。

然而，如何评估这些编排计划的质量，长期以来是领域内的一个难题。传统的端到端评测需要让规划器生成的计划实际运行，依赖真实智能体在真实环境或仿真环境中执行任务，再根据执行结果评判计划好坏。这种做法存在根本性缺陷：它将编排计划的质量与智能体本身的能力、工具调用的可靠性、外部环境的干扰等因素混为一谈。换言之，当一个计划执行效果不佳时，我们很难判断问题究竟出在计划本身（编排设计不合理），还是出在执行层（智能体能力不足或环境噪声）。这导致评估结果缺乏可解释性，难以针对性地改进规划器。

与此同时，随着工作流规模的扩大，端到端评测的成本急剧攀升。智能体的每次调用都涉及 token 消耗和计算时间，当工作流包含数十个子任务、涉及多个智能体时，系统化地评估多个规划器方案变得既耗时又昂贵。这严重制约了领域内规划器算法的迭代与对比研究。

正是在这一背景下，OrchBench 的研究团队提出一个核心问题：能否在隔离环境下，仅通过模拟来评估编排计划的质量？即把「如何编排」从「如何执行」中解耦出来，让研究者能够单独审视计划本身是否合理，而不受执行层因素的干扰。

方法

OrchBench 的设计围绕一个核心思想：用确定性模拟替代真实执行，从而在隔离环境中评估编排计划本身的质量。

整个评估流程从真实任务出发。首先，研究团队从实际编码任务中提取任务依赖结构，将其编码为[[有向无环图]]（DAG）。DAG 的节点代表子任务，边代表任务间的依赖关系——只有当所有前驱任务完成后，后继任务才能开始。通过控制 DAG 的规模和并行度（即可以同时执行的任务数量），研究者可以系统地构建不同复杂度的测试场景。

给定一个 DAG、每个智能体的上下文限制（context limit）以及可用的智能体预算后，被评估的规划器需要做出两项关键决策。其一是子任务分配：将 DAG 中的每个子任务分配给某个智能体执行。其二是信息传输方案：指定跨智能体之间的信息传递内容以及保留比例。保留比例是一个关键参数，它模拟了真实场景中信息在传输过程中可能丢失（如摘要不完整、关键细节被遗忘）的情况。

规划器输出的计划随后被送入一个确定性模拟器。这个模拟器的核心假设是：每个智能体在执行其分配的子任务时，能够正确完成任务本身，问题只在于「有没有得到足够的信息」以及「是否在正确的时机获得了所需信息」。模拟器根据 DAG 的拓扑顺序、任务的分配方案以及信息保留比例，模拟整个工作流的执行过程。它计算三个核心指标：结果质量（综合考量各子任务是否获得充分的前置信息）、完工时间（makespan，即整个工作流从开始到结束的耗时，考虑了任务并行与等待）和 token 成本（模拟的信息传输开销）。

这种方法的关键洞察在于：它将「规划」与「执行」解耦。通过假设子任务本身能被正确执行，模拟器能够隔离出编排计划层面的因素——任务分配是否均衡、关键信息是否及时传递、并行度是否被充分利用——从而实现对计划质量的孤立评估。

实验与结果

研究团队在多个维度上验证了 OrchBench 的有效性。

相关性验证是首要问题：模拟得分能否预测真实执行的表现？他们让同一批编排计划同时经过 OrchBench 模拟和 Claude Code 的实际执行，将两者的质量分数进行对比。结果显示，皮尔逊相关系数达到 $r=0.816$，表明模拟得分与真实执行质量之间存在强相关性。这意味着 OrchBench 能够有效捕捉影响最终质量的关键因素。

效率对比同样令人印象深刻。模拟执行仅消耗真实执行的 1.3% token 和 10.3% 挂钟时间，使得大规模系统化评估成为可能。研究者在多种不同的规划器（从随机分配到启发式优化算法）和不同规模的工作流上进行了实验。

核心发现有两点。其一，保留任务关键信息比单纯增加智能体数量更重要。实验表明，即使分配了更多智能体，如果信息在跨智能体传输过程中损失严重，最终质量仍然不佳。相反，合理的任务分配配合充分的信息保留，即使在较少的智能体数量下也能取得良好效果。这提示领域内不应只关注「如何分配」，更要关注「如何传递」。

其二，并行化带来的收益随协调失败累积而递减。当 DAG 中存在复杂的依赖链时，信息需要在多个智能体之间辗转传递。每一次传递都伴随着信息损失的风险，累积效应会导致下游任务获得的信息严重不足。虽然增加并行度能缩短完工时间，但当协调失败累积到一定程度后，并行化反而开始损害质量。这为编排策略的选择提供了重要参考。

讨论与可借鉴点

OrchBench 提出了一个有价值的研究视角：通过确定性模拟实现编排计划的孤立评估。这种解耦思路在多智能体系统研究中具有广泛的启发意义——当某个研究问题涉及多个环节的交互影响时，尝试在模拟中隔离出单一环节，有助于更清晰地理解因果关系。

该基准的适用范围目前主要限于编码类任务，且假设子任务能被正确执行。这一假设简化了问题，但也意味着 OrchBench 目前无法评估智能体能力差异带来的影响。未来的工作可以探索将智能体能力模型纳入模拟，或将评估范围扩展到更多类型的任务。

对于多智能体系统研究社区而言，OrchBench 的一个重要贡献在于提供了可解释的评估指标。相比端到端评测只给出「好」或「不好」的结果，OrchBench 能够分解出质量、时长、成本三个维度的表现，帮助研究者诊断计划失败的根因——是信息传递不畅、还是并行度利用不足、抑或任务分配不均。这种可诊断性对于规划器算法的迭代优化尤为宝贵。

总体而言，OrchBench 通过将编排计划评估从昂贵的端到端执行中解放出来，为多智能体系统的规划器研究提供了一个高效、可控、可解释的实验平台。

摘要

复杂任务通常可分解为可并行但相互依赖的子任务，这使得编排对多智能体系统（MAS）的性能至关重要。现有评估通常依赖端到端执行，这会将编排计划的质量与智能体能力、工具可靠性以及环境噪声混为一谈。此外，随着工作流规模的扩大，实际执行所需的时间和令牌成本会迅速增长，导致系统化评估成本高昂。我们提出 OrchBench，一个基于模拟的多智能体编排计划孤立评估基准。OrchBench 从真实任务出发，构建编码任务依赖关系的有向无环图（DAG），并对其规模与并行度进行控制。在给定 DAG、各智能体上下文限制以及智能体预算的条件下，被评估的规划器将子任务分配给各智能体，并指定跨智能体的信息传输及其保留比例。一个确定性模拟器在无需调用工作智能体的情况下评估所生成的计划，并返回关于结果质量、完工时间与令牌成本的可解释度量。OrchBench 所产生的模拟分数与 Claude Code 执行所得的质量分数呈现强相关性，皮尔逊相关系数达到 \(r=0.816\)，而仅需 1.3\% 的令牌和 10.3\% 的挂钟时间。在多样化的规划器与工作流规模下，我们发现保留任务关键信息比单纯增加智能体数量更为重要，且随着协调失败的累积，并行化带来的收益逐渐减弱。这些结果确立了 OrchBench 作为一种高效且可解释的基准，可用于比较和诊断多智能体编排计划。

Abstract

Complex tasks often decompose into parallelizable yet interdependent subtasks, making orchestration critical to the performance of multi-agent systems (MAS). Existing evaluations typically rely on end-to-end execution, which conflates orchestration-plan quality with worker capabilities, tool reliability, and environmental noise. Moreover, the time and token costs of real execution grow rapidly with workflow scale, making systematic evaluation expensive. We present OrchBench, a simulation-based benchmark for evaluating multi-agent orchestration plans in isolation. Starting from real-world tasks, OrchBench constructs directed acyclic graphs (DAGs) that encode task dependencies, with controlled sizes and degrees of parallelism. Given a DAG, a per-agent context limit, and an agent budget, the evaluated planner assigns subtasks to agents and specifies cross-agent information transfers and their retention ratios. A deterministic simulator evaluates the resulting plan without invoking worker agents and returns interpretable measures of result quality, makespan, and token cost. The simulated scores produced by OrchBench correlate strongly with quality scores from Claude Code executions, achieving a Pearson correlation of \(r=0.816\), while requiring only \(1.3\%\) of the tokens and \(10.3\%\) of the wall-clock time. Across diverse planners and workflow scales, we find that preserving task-critical information is more important than simply increasing the number of agents, and the benefits of parallelism diminish as coordination failures accumulate. These results establish OrchBench as an efficient and interpretable benchmark for comparing and diagnosing multi-agent orchestration plans.