Benchmark Radar 第 108 天：你的排行榜分不清谁真正赢了
Published:
Benchmark Radar 第 108 天。你的排行榜分不清谁真正赢了。本轮抓取 1,292 条，发布 573 条，其中 249 条标为推荐。
Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star，或阅读论文。数据见 Hugging Face 数据集。
新研究 Agent Benchmarks Stop Ranking Before They Run Out of Tasks 重新评分了八个基准已发布的运行结果，发现二元通过失败评分会掩盖有用的差别。在 SWE-bench Verified 上，相邻前十智能体之间的报告差距小于估计的测试误差，修正后排名可能互换。这项研究把一部分表面饱和归因于测量本身，任务并没有耗尽。从排名接近的排行榜上挑选智能体时，微小的通过率差别未必能支撑稳定的选择。 Agent Benchmarks Stop Ranking Before They Run Out of Tasks。
OpenRE-Bench 是一个新的开源比较框架，用于多智能体需求工程，智能体把软件需求转成规格说明。它为输入、中间阶段产物和指标提供统一约定，框架通过适配器接入，不用改动案例或评分。案例来自挖掘的 GitHub 议题。选择或开发需求工程智能体框架时，这套设计把框架行为和运行环境与定制指标的差别分开，让并排测试更容易复现。 OpenRE-Bench: A Benchmark Harness for Multi-Agent Requirements Engineering with Mined GitHub Issues。
为什么要在意
从排行榜上挑选智能体时，排名本身可能是噪声，第一名和第五名的差距可能小于测试误差。开发把需求转成规格说明的智能体时，直到现在还没有统一的比较方法。瓶颈在测量，不在模型。
扫描范围
这是按关键词筛选的发现信息流，不能代表全部 AI 研究。归档简报使用了所收录 573 条证据中的 152 条。本文概述其中引用的发布成果；扫描发现日期不一定是成果的最初发布日期。
数据与简报：2026-11-11 归档快照。