Benchmark Radar 第七天:模型卡采纳排行榜与注册表 v0.3.0

less than 1 minute read

Published:

最大的一天。模型卡采纳排行榜上线,注册表扩到了 2026 年前沿,版本号升到 0.3.0。

作者:Koutian Wu;GitHub: ktwu01

Benchmark Radar 已上线。 每天追踪新的 AI 基准测试、数据集与排行榜:打开仪表盘 或 在 GitHub 上 Star。

今天做的事

模型卡采纳排行榜是一个全新视图,按有多少张模型卡引用了这个基准来排名。模型卡就是一张小卡片,记录某个 AI 模型(比如 GPT-4)自己报告了哪些基准。一个同时被 GPT-4、Claude、Gemini 的模型卡引用的基准,排名自然比只被一篇论文提到的基准高。排名靠一张人工整理的模型卡到基准对应表算出来。

注册表从只记摘要计数,扩展成了完整记录,再扩到了 2026 年前沿(也就是最新的那批模型)。每张模型卡现在会展开成它具体报告的基准,并建起从基准反查到引用它的模型卡的链接。注册表就是那张记录对应关系的表。

Frontier-Bench 系列并进了 Terminal 系列(#96)。总数还是 13 个没变,因为这是整理重叠基准,不是新增。

注册表现在是张双向图:模型卡链到它引用的基准,基准也反向链回每张引用它的模型卡。

学术期刊来源现在比随便抓的网页权重更高。

我们堵上了注册表里剩下的三个校验漏洞。重复的文档、标量别名、不可能的提及都会被拒掉,日期校验也加固了。

版本号升到了 0.3.0,反映这次注册的扩展规模。

我们从一张对比表里抠出了 Fable 5 和 Mythos 5 这两个基准,加进了注册表。

已有语料库被盖上了是用了哪个版本分类法分的类的标签。分类计数和产出它的分类法绑在一起。以后再重新分类,就成了看得见的事件。

采纳排名现在可以被引用了,我们还加了贡献者入口。

为什么这件事重要

模型卡采纳排行榜是项目第一个竞争情报功能。雷达不再只是列基准,而是开始回答:顶级实验室发模型时,实际在用什么基准?这和有哪些基准根本不是一回事。对正在决定把评估精力投到哪的人来说,前者的答案有用得多。

注册表从摘要计数扩成完整记录,是对数据质量的一次承诺。不完整的数据只能得出不完整的结论,完整记录才能给出能审计的结论。

分类法盖章解决了一个微妙的问题:你要是对语料库重新分类,就得记下每条是被哪个版本的分类法分的。不然历史对比就毫无意义。

解决的问题

  • #85:模型卡采纳排行榜
  • #87:学术来源可靠性
  • #89:扩展模型卡注册表
  • #92:排行榜 Fable/Mythos 基准
  • #93:版本号升至 0.3.0
  • #96:合并 Frontier-Bench 到 Terminal-Bench
  • #100:Frontier-Bench 引用合并
  • #101:可引用的采纳排名
  • #102:将类别计数绑定到分类法
  • #103:为已有语料库盖上分类法标签

第八天:稳定化与最小修复。

想跟进 Benchmark Radar?在 GitHub 上 Star 仓库 获取每日更新,或 打开实时仪表盘 浏览扫描结果。阅读论文:arXiv:2609.11115。