Benchmark Radar 第 114 天:35 个排行榜胜负里 27 个是统计噪声

less than 1 minute read

Published:

Benchmark Radar 第 114 天。35 个排行榜胜负里 27 个是统计噪声。本轮抓取 1,234 条,发布 635 条,其中 346 条标为推荐。

作者:Koutian Wu;GitHub: ktwu01

Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。

新研究 Beyond Leaderboard Ranks 将软件智能体选型重新界定为一项需要权衡准确率、成本和不确定性的决策。在七个基准上的 58,197 次智能体运行中,准确率-成本前沿上 35 个相邻选项里有 27 个的准确率差异在统计上无法判定,这意味着它们表面上的排序无法可靠地区分性能。如果你要在预算约束下采购或评估编码智能体,这意味着排行榜冠军可能并不足以证明其更高的运行成本是合理的。选型报告需要提供置信区间,以及为辨明有意义的差异而开展足够多次评估所需的成本,而不能只提供排名和平均准确率。 Beyond Leaderboard Ranks: Selecting Software Engineering Agents Under Budget Constraints。

EVIDENT 是一个新基准,用于测试网页浏览智能体给出的答案是否得到其实际观察到的证据支持,而不只是检查任务是否完成。其 220 项英语和韩语任务包含由人工整理的记录,明确必须验证哪些证据,并通过不同指标分别评估任务完成情况、证据使用情况及二者的综合表现。如果你正在为研究、合规或事实核查选择图形用户界面智能体,这种设计可以识别出那些未检查必要页面内容却得出貌似合理答案的智能体。它将评估目标从仅关注输出是否成功,转变为关注导航过程与答案之间是否存在可审计的联系。 EVIDENT: Evaluating Evidence Grounding in GUI Agents。

为什么要在意

依据排行榜挑选编码智能体时,你可能正在为一个统计上站不住脚的名次支付溢价。只看智能体是否完成任务,你分不清真正读过证据的智能体和碰巧猜对的智能体。排名本身并不是结果,完成任务本身也不是证明。

扫描范围

这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 635 条证据中的 156 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。

数据与简报:2026-11-17 归档快照。