Benchmark Radar 第十四天:订阅源覆盖、简报可靠性与生产环境 Q&A

less than 1 minute read

Published:

你好,我是 Koutian。第十四天,我们把雷达的几个老毛病修好了,也让它更像一个会自己干活的工具。

作者:Koutian Wu;GitHub: ktwu01

Benchmark Radar 已上线。 每天追踪新的 AI 基准测试、数据集与排行榜:打开仪表盘 或 在 GitHub 上 Star。

订阅源(feed,就是雷达每天去抓数据的新闻源头)覆盖面更广了。我们多接了一些第一方基准测试的源头,抓到的东西更全。你以后看到的清单会更多更全。

我们加了一个过滤器,专门挡掉「赞助诱导内容」。说白了就是那些挂着基准测试名号、其实是来打广告的文章。这样你看到的都是真内容,不是软文。

OpenAI 简报(每天自动写的一份总结)现在有了重试预算。网络偶尔抽风时,它会多试几次再放弃,而不是一断就废。你早上打开看到的简报更不容易半截没了。

我们还加了一道输出截断防护。长内容不会被莫名其妙砍断。你读到的总结是完整的。

运行调度改成了每天只跑一次,定在新加坡时间上午 9 点。之前是多个时段跑,时间飘忽不定。现在每天同一时刻跑,出了事也好查。你哪天发现没更新,一眼就知道是断了。

生产环境里我们开了问答功能。雷达现在不只会把「有什么」摆给你,还会自己提问、自己答。比如它会问「今天新出的基准测试里,哪个跟昨天最不一样」,然后给答案。你不用自己琢磨该问什么,它替你想了。

我们把每条数据标上了采集方式。你能分清哪些是实时抓来的,哪些是从历史回溯补采的。你看数据时心里有底,知道来源是哪。

回溯补采的数据,我们也补上了采集方式标记。旧的窟窿填上了。

为什么值得你关心。

把调度改成每天一次,最大的好处是稳。之前多个时段跑,什么时候出结果没准儿。现在固定时刻跑,记录清清楚楚,事后查账也方便。

问答功能是个转折。雷达以前是单向输出,它告诉你有什么。现在它会反过来问你该问的问题。你哪怕啥也不懂,也能跟着它的问题看明白今天发生了啥。

采集方式标注,说白了就是给你知情权。你能区分实时数据和历史补采数据,就不会被混在一起的数字误导。

解决的问题。

  • Issue #169
  • Issue #170
  • Issue #171
  • Issue #172
  • Issue #175
  • Issue #176
  • Issue #177

想跟进 Benchmark Radar?在 GitHub 上 Star 仓库 获取每日更新,或 打开实时仪表盘 浏览扫描结果。阅读论文:arXiv:2609.11115。