Benchmark Radar 第 115 天:排行榜冠军可能只是运气好
Published:
Benchmark Radar 第 115 天。排行榜冠军可能只是运气好。本轮抓取 1,554 条,发布 747 条,其中 288 条标为推荐。
Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。
新研究 SOTA or Luck? 将大语言模型排行榜中的胜者诅咒形式化。对含噪声的基准分数进行排名时,抽样运气和真实能力都会得到奖励,因此榜单上显示的胜者未必是底层表现最佳的系统。作者提出一种 bootstrap 校正方法。在五个基准家族的 14 个基准上,排名第一的修正幅度在 0.09 到 3.86 个百分点之间。在 SWE-bench Verified 快照中,并列第一的模型被下调 0.90 个百分点。如果你正在从排行榜上分数接近的结果中选择模型,榜首的差距可能只是噪声,校正后的估计或不确定性区间应当影响你的选择。 SOTA or Luck? The Winner’s Curse in LLM Leaderboards。
ForecastGym 是一个新基准,它记录了在预测结果揭晓之前,来自四个商业网络搜索应用程序编程接口的证据如何变化,从而能够基于固定的证据历史,对预测智能体进行实时但可重放的测试。每个系统都在离线状态下重放同一份冻结证据,而不用各自联网搜索,因此检索到的信息差异不再与推理能力差异混在一起。如果你正在比较预测模型、搜索提供商或记忆策略,这种设计可以将推理质量与检索运气区分开来,并避免可能暴露后续信息的回溯性搜索。 ForecastGym: A Live, Controlled, and Replayable Benchmark for Forecasting Agents。
为什么要在意
依据排行榜榜首挑选模型时,你可能买到的只是抽样运气。用实时搜索测试预测智能体时,你分不清它推理得好还是检索到的证据更好。排名本身并不是结果,预测本身也不是推理。
扫描范围
这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 747 条证据中的 178 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。
数据与简报:2026-11-18 归档快照。
