Benchmark Radar 第 118 天:静态测试测不出会用工具的智能体
Published:
Benchmark Radar 第 118 天。静态测试测不出会用工具的智能体。本轮抓取 1,285 条,发布 536 条,其中 270 条标为推荐。
Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。
DynamicMCPBench 是一个新框架,用于在实时、有状态的 Model Context Protocol 服务器上评估智能体,这些服务器会向模型开放外部工具。它生成目标并执行这些目标以记录成功轨迹,评分超越了只看最终答案或固定工具列表的方式。配套的 MCPAgentBench 沙箱会加入无关工具作为干扰项,因此智能体必须在众多工具中选出正确的工具。两者一起在不断变化的执行条件下测试工具使用,而不只是使用静态提示词。如果你正在为工具调用型智能体选择评估方法,这些发布成果可让你测试智能体能否在你自己的服务器上正确选择并执行工具,而不只是判断它在一段不可见的操作序列之后能否给出看似合理的答案。 DynamicMCPBench: A Trace-Grounded, Effect-Scored Benchmark for LLM Agents over Live MCP Servers。 MCPAgentBench: A Real-world Task Benchmark for Evaluating LLM Agent MCP Tool Use。
GUI-360° 是一个新的 Windows 桌面智能体数据集,包含 17,000 条轨迹、131,000 个经过验证的成功操作步骤,以及 109 万个失败步骤。每个步骤都包含屏幕截图、无障碍元数据、目标、推理轨迹,以及结构化的图形界面或 Application Programming Interface 操作。失败执行的加入改变了评估选择。同一资源既能衡量操作定位能力并检查工作流在何处中断,也能为未来的恢复训练提供材料。已完成的任务不再是唯一有用的数据。如果你为办公应用构建智能体,一个保留失败记录的基准比一个只统计成功的基准更能说明问题。 GUI-360° : A Comprehensive Dataset and Benchmark for Desktop Productivity Computer-Using Agents。
为什么要在意
在固定提示词上给工具调用型智能体打分,你可能只是在认证一个服务器状态一变就出问题的系统。而只用成功样本训练桌面智能体,你永远学不到它的工作流在哪里断开。最终答案并不是执行过程,成功日志也不是全部事实。
扫描范围
这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 536 条证据中的 125 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。
数据与简报:2026-11-21 归档快照。
