Benchmark Radar 第二十三天:外部基准目录与排行榜导航器

less than 1 minute read

Published:

雷达吸收了外部目录。第二十三天构建了外部目录系统,并在排行榜中新增了基准测试搜索功能。

作者:Koutian Wu;GitHub: ktwu01

Benchmark Radar 已上线。 每天追踪新的 AI 基准测试、数据集与排行榜:打开仪表盘 或 在 GitHub 上 Star。

你好,我是 Koutian。第二十三天,雷达学会了「借别人的清单」。

我们建了一套外部基准目录系统。外面早有现成的基准注册表,比如 llm-stats 和 OpenCompass。雷达现在能把它们的数据抓过来,统一整理成自己内部的格式。每个来源都经过爬取、再拆成按基准分片的小文件,最后过一道身份校验。你不用再自己跑去那几个网站翻,雷达替你归拢好了。

身份层是这里的关键。我们放了一份人工核过的身份种子文件 identity.yml,给整个整理流程打底。系统会自动生成候选身份,但真正拍板的权威身份得人来验证。这样做,既能让机器自动扩规模,又能防止它把两个不同的测试错并成一个,或者把一个拆成两个。你的数据不会被乱改。

normalize-external 这个命令,输出的是按基准分好的文件。每个分片装着那个基准测试的元数据、分数和出处引用,格式统一。你翻任何一个测试,看到的都是一致的排版。

排行榜导航器现在有搜索功能了(这是 M1 的起点)。你可以按名字、按能力等级、按厂商去找某个具体的基准测试。你面对几百个测试时,不用再靠手指一路划下去,几秒就能定位。

搜索索引会导出到 site/data,供网页端直接搜,而且离线也能用。你断网翻看,照样查得动。

OpenCompass 的第二轮目录也并进外部目录了,身份解析全部跑通。Issue #240 那个区块默认折叠,但还看得见,页面不挤也不丢内容。GitHub Pages 的部署也把外部目录的构建接了进去。分片和身份的校验锁死在 100%,保证整理管道永远一致。我们还修了一下导航器的声明,记下了 office hours(开放答疑时间)里的发现。所有外部目录模块都过了 ruff 格式检查。

为什么值得你关心。

外部目录是雷达最大的一次架构升级。以前它只从自己的来源采数据,以后它能吸收外面的注册表。这意味着雷达的覆盖面不再卡在自己爬虫的本事上,接上现成目录,整个基准生态都能纳进来。你能在一个地方看遍全行业,不用到处跳。

身份层是个要紧的技术决定。自动整理很猛,但也危险:一次错并,数据就永远坏了。人工核过的种子在底层保证正确,机器负责处理规模。你存进去的数据,基础是稳的。

排行榜搜索是让雷达数据能被大规模翻找的第一步。几百个测试光靠滚动是不够的,搜索让你几秒找到想要的那个。你查东西的效率,直接翻了好几倍。

解决的问题。

  • #240: 外部目录区块
  • #246: 外部目录模块
  • #247: 导航器审计修正
  • 外部目录系统(llm-stats、OpenCompass)
  • 人工核验种子的身份层
  • 按基准分片输出
  • 排行榜基准搜索
  • 搜索索引生成
  • 不变量锁定 100%

这标志着 Benchmark Radar 开发的前23天。从空白仓库到具备中文国际化、AI 驱动简报、社交媒体集成和外部目录规范化的全功能基准情报平台,项目连续三周每天都有交付。

想跟进 Benchmark Radar?在 GitHub 上 Star 仓库 获取每日更新,或 打开实时仪表盘 浏览扫描结果。阅读论文:arXiv:2609.11115。