Benchmark Radar 第七天:模型卡采纳排行榜与注册表 v0.3.0
Published:
最大的一天。模型卡采纳排行榜上线,注册表扩到了 2026 年前沿,版本号升到 0.3.0。
Benchmark Radar 已上线。 每天追踪新的 AI 基准测试、数据集与排行榜:打开仪表盘 或 在 GitHub 上 Star。
今天做的事
模型卡采纳排行榜是一个全新视图,按有多少张模型卡引用了这个基准来排名。模型卡就是一张小卡片,记录某个 AI 模型(比如 GPT-4)自己报告了哪些基准。一个同时被 GPT-4、Claude、Gemini 的模型卡引用的基准,排名自然比只被一篇论文提到的基准高。排名靠一张人工整理的模型卡到基准对应表算出来。
注册表从只记摘要计数,扩展成了完整记录,再扩到了 2026 年前沿(也就是最新的那批模型)。每张模型卡现在会展开成它具体报告的基准,并建起从基准反查到引用它的模型卡的链接。注册表就是那张记录对应关系的表。
Frontier-Bench 系列并进了 Terminal 系列(#96)。总数还是 13 个没变,因为这是整理重叠基准,不是新增。
注册表现在是张双向图:模型卡链到它引用的基准,基准也反向链回每张引用它的模型卡。
学术期刊来源现在比随便抓的网页权重更高。
我们堵上了注册表里剩下的三个校验漏洞。重复的文档、标量别名、不可能的提及都会被拒掉,日期校验也加固了。
版本号升到了 0.3.0,反映这次注册的扩展规模。
我们从一张对比表里抠出了 Fable 5 和 Mythos 5 这两个基准,加进了注册表。
已有语料库被盖上了是用了哪个版本分类法分的类的标签。分类计数和产出它的分类法绑在一起。以后再重新分类,就成了看得见的事件。
采纳排名现在可以被引用了,我们还加了贡献者入口。
为什么这件事重要
模型卡采纳排行榜是项目第一个竞争情报功能。雷达不再只是列基准,而是开始回答:顶级实验室发模型时,实际在用什么基准?这和有哪些基准根本不是一回事。对正在决定把评估精力投到哪的人来说,前者的答案有用得多。
注册表从摘要计数扩成完整记录,是对数据质量的一次承诺。不完整的数据只能得出不完整的结论,完整记录才能给出能审计的结论。
分类法盖章解决了一个微妙的问题:你要是对语料库重新分类,就得记下每条是被哪个版本的分类法分的。不然历史对比就毫无意义。
解决的问题
- #85:模型卡采纳排行榜
- #87:学术来源可靠性
- #89:扩展模型卡注册表
- #92:排行榜 Fable/Mythos 基准
- #93:版本号升至 0.3.0
- #96:合并 Frontier-Bench 到 Terminal-Bench
- #100:Frontier-Bench 引用合并
- #101:可引用的采纳排名
- #102:将类别计数绑定到分类法
- #103:为已有语料库盖上分类法标签
第八天:稳定化与最小修复。
想跟进 Benchmark Radar?在 GitHub 上 Star 仓库 获取每日更新,或 打开实时仪表盘 浏览扫描结果。阅读论文:arXiv:2609.11115。
