AgentSight：面向多智能体系统的可解释事后诊断框架

AgentSight：面向多智能体系统的可解释事后诊断框架

原文网页：https://arxiv.org/html/2610.13889v1
PDF链接：https://arxiv.org/pdf/2610.13889v1
arXiv编号：arXiv:2610.13889v1 [cs.AI]

摘要
多智能体系统依靠多个子智能体分工协作完成复杂任务，但系统失效时，海量交互日志、交错通信、长执行轨迹会带来故障定位难题：很难定位究竟是哪一个智能体、哪一条消息、哪一步推理造成整体失败。现有调试工具大多面向单智能体，缺少针对多智能体交互链路的因果溯源能力。
本文提出AgentSight，一套多智能体可解释事后诊断框架。该框架读取完整多智能体执行日志，构建多智能体因果信息流图MCIG（Multi‑Agent Causal Information Graph），显式建模智能体、消息、工具调用、中间产物之间的因果依赖；基于MCIG实现两层故障溯源：①粗粒度根因候选筛选；②细粒度对比反事实分析，定位真正的故障根源。
在Multi‑Agent‑Bench、MAMU两个多智能体基准上开展实验：AgentSight根因定位精确率达到86.2%，召回率82.7%，显著优于LLM直接日志阅读、图检索基线；消融实验验证MCIG图结构、反事实分析模块的关键贡献。案例分析表明该框架可以定位多种典型多智能体故障：错误消息传播、智能体推理缺陷、工具调用错误、错误中间结果扩散。全部代码与评测脚本开源。

关键词
多智能体；事后诊断；因果信息流图；故障根因定位；反事实分析；可解释AI；智能体调试

目录

1. 引言
2. 相关工作
3. AgentSight方法框架
   • 3.1 多智能体因果信息流图 MCIG
   • 3.2 日志解析与图构建流水线
   • 3.3 两层故障溯源流水线
     • 3.3.1 第一层：粗粒度根因候选筛选
     • 3.3.2 第二层：细粒度反事实对比分析
4. 实验设置
5. 实验结果
   • 5.1 主实验：根因定位整体性能
   • 5.2 消融实验
   • 5.3 不同故障类型细分性能
   • 5.4 案例分析
6. 讨论与局限性
7. 结论
8. 附录简要说明

1 引言

多智能体系统通过多个具备不同角色的智能体分工、消息通信、工具调用完成复杂任务，在代码开发、科研、规划任务中广泛使用。多智能体系统的失效模式比单智能体更加复杂：

• 故障源头可能是某个智能体推理错误、工具调用出错；
• 错误结果通过消息广播传递给其它智能体；
• 多个子模块小缺陷叠加，最终造成整体任务失败。

当任务失败后，开发者需要阅读海量交错的交互日志，人工追踪信息传播链路，定位根因，调试成本很高。
现有智能体调试工具大多面向单智能体，侧重轨迹可视化、提示词调试、单步推理检查；直接把完整原始日志丢给大模型阅读做诊断，容易受长上下文干扰，容易混淆因果关联与单纯时序先后关系，经常输出虚假根因。

核心挑战：多智能体故障诊断需要厘清信息如何跨智能体流动、哪些中间结果是下游错误的真正诱因，而不只是看事件发生先后顺序。

本文提出AgentSight事后诊断框架，输入多智能体完整JSON日志，输出任务失败的根因位置与解释。

1. 构建MCIG多智能体因果信息流图，节点分为智能体实例、消息、工具调用、中间工件；边代表因果信息依赖，刻画“谁产生什么，被谁消费”。
2. 两层溯源流水线：
   • 第一层粗粒度筛选：从任务失败终点反向回溯信息流，生成根因候选集合，过滤大量无关节点；
   • 第二层细粒度反事实对比：对候选节点执行反事实仿真：替换该节点输出为正确版本，在MCIG图上做前向传播，观察任务失败是否被消除；以此判定该节点是否为真实根因。

本文主要贡献

1. 提出MCIG多智能体因果信息流图，显式建模多智能体系统内部智能体、消息、工具、中间工件之间的因果信息依赖。
2. 设计两层溯源流水线：反向回溯筛选候选 + 图上反事实前向仿真分析，实现多智能体故障根因定位。
3. 在Multi‑Agent‑Bench、MAMU多智能体基准评测，AgentSight精确率86.2%、召回率82.7%，优于LLM直接读日志、图检索基线；消融验证MCIG与反事实模块必要性；对四类典型多智能体故障开展案例分析。
4. 全部解析脚本、评测数据集、实验代码开源。
   

2 相关工作

2.1 智能体调试与可观测性

单智能体调试：LangSmith、AgentScope Trace、OpenHands Trace，提供轨迹可视化、日志检索、LLM‑as‑Judge逐步骤评估；但缺少跨智能体的因果依赖建模，很难处理消息传播导致的连锁故障。

2.2 多智能体可观测与诊断

部分多智能体框架提供消息日志记录；但大多只做时序展示，不提取因果依赖。现有工作多聚焦运行时监控告警，面向事后离线根因定位的专门框架较少。

2.3 因果推断与反事实分析在AI调试

反事实分析广泛用于大模型、推荐系统调试；对于多智能体，AgentSight在已构建的信息流图之上做图内反事实仿真，不需要重复运行真实多智能体，只在图层面传播改动效果，开销低。

2.4 图结构用于智能体分析

Otap、OnTrack等工作构建执行DAG，但主要针对单智能体步骤‑工件依赖；AgentSight的MCIG额外建模智能体实例、跨智能体消息传递边，适配多智能体通信交互场景。

3 AgentSight方法框架

整体流程：多智能体原始日志 → 日志解析器 → MCIG因果信息流图构建 → 两层故障溯源 → 输出根因集合+自然语言解释。

3.1 多智能体因果信息流图 MCIG

MCIG定义为有向图 KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲G=(V,E)\)。
节点集合$V$分为4类节点：

1. $A$：智能体实例节点；记录智能体ID、角色、配置；
2. $M$：消息节点；智能体之间传递的消息，包含发送方、接收方、消息内容、时间戳；
3. $T$：工具调用节点；工具名称、入参、返回结果、调用发起智能体；
4. $O$：中间工件节点；推理输出、子任务结果、文档片段等中间产出。

边集合

转载自 CSDN-专业IT技术社区

原文链接：https://blog.csdn.net/weixin_44626085/article/details/167696193