Benchmark Radar：面向 AI 基准的、以证据为先的每日雷达
Published:
新的 AI 基准冒出来的速度，比任何研究员评估它们的速度都快。所以我建了一个雷达，让「发现新基准」变成一件每天做、过程透明、可以复核的事。先说一个词：基准（benchmark）就是用来考 AI 的一套题，或者一份评测。
Benchmark Radar 已上线。 每天追踪新的 AI 基准测试、数据集与排行榜：打开仪表盘 或 在 GitHub 上 Star。
Benchmark Radar 是一个开源系统，每天找新发布的 AI 基准、评估方法、数据集、排行榜，还有数据质量研究。它从一手和结构化来源收记录，做去重，用一套看得见的分类法归类，再用能解释的信号排序，每天发一个 GitHub issue（issue 就是一个待办或 bug 单）和一份累计仪表盘。
我正要开启一段新冒险，而我工作的一大部分就是找这类信息。我得知道哪些基准、评估方法、数据集、数据质量的点子在冒头，我也得有一种靠谱的方式跟上它们。这就是我需要 Benchmark Radar 的原因，也是我动手建它的原因。
这个项目解决一个挺简单的问题：光是追踪 AI 评估这件事，就已经变成了一项研究工作。
一个新基准最早可能以一篇 arXiv 论文（arXiv 是研究者发论文预印本的地方）、OpenReview 投稿、GitHub 仓库或 Hugging Face 数据集的面目出现。它的排行榜可能晚些才到。同一个东西随后会被几个二手来源讨论，每个的标题和描述都略有出入。一个普通的 feed 会把这些记录一视同仁地摆出来，把「什么是新的、什么是重复的、什么背后有真证据」留给读者自己拼。
Benchmark Radar 是我让这个过程更系统化的一次尝试。
雷达在盯着什么
默认分类法覆盖四个彼此相连的领域：
- 新的 AI 和 LLM 基准、挑战集和评估套件；
- 评估框架、裁判模型、安全与能力评估、以及排行榜；
- 公开数据集、偏好数据、合成数据，以及其他数据发布；
- 关于污染、泄漏、来源、去重、标注质量及相关数据质量问题的研究。
收集器查询 arXiv、OpenReview、Hugging Face、GitHub、GitHub Releases、Semantic Scholar、OpenAlex 和 Brave Search。可选来源发生故障或不可用，也不会中断每日报告。发生这种情况时，来源健康表会显示缺失的覆盖范围，而不是假装这次运行是完整的。
这个细节很重要。一条靠变动的来源覆盖范围拼出来的趋势线，就算它只是一种收集痕迹，看起来也像在涨。
证据排在新颖性前面
核心设计选择是：每个被排序的条目都带着四个看得见的分项分。
相关性（Relevance）看这条记录跟基准、评估、数据集、数据质量这套分类法有多贴。证据（Evidence）奖励一手或结构化的来源、署名信号和佐证材料。新鲜度（Recency）抓的是这项工作最近多久发布或实质更新过。采纳度（Adoption）用星标、下载、点赞或引用这些信号，按对数尺度算。
默认优先级得分是这样算的：
0.35 relevance + 0.20 evidence + 0.20 recency + 0.25 adoption
结果按 0 到 100 分报告。权重和分项区间跟给记录打分的代码放在同一处，这套评分细则也会导出到仪表盘。点开一个优先级得分，会显示该记录的分项值和它排位背后的加权计算。
这不会让排序变成客观正确。它只是让排序能被检视。
Benchmark Radar 是一个分诊系统，不是科学质量裁判。它没法判断一个基准是否测出了作者声称的能力、它的测试集有没有被污染、一个排行榜结果能不能复现。它能做的是展示为什么一个产物会出现在每日列表上，并给读者一条更干净的证据线索，用来决定什么值得更仔细看一眼。
数的是产物，不是提了一嘴
去重是这个系统里不显眼、却挺重要的部分之一。
累计语料库用 DOI、arXiv、OpenReview、GitHub、Hugging Face 的 ID 这些精确标识符来认实体。它不会用模糊匹配偷偷把两个标题像像的工程合并。观察结果始终连着它们被发现时的那个产物，仪表盘可以展开多条记录，而不会把每一次「提了一嘴」都算成一个新基准。
这种谨慎也用在历史比较上。趋势计算只比较用相同的报告限制、相同的连接器覆盖签名收集的快照。不完整的日子保持可见并标出来，而不是被平滑掉假装没发生。
这听着保守，因为它就是保守。只有当图上升意味着「不止是爬虫今天跑得不一样」时，雷达才有用。
一份每天产出的研究产物
整个流程在 GitHub Actions 里跑，UTC 时间 12:15，也能手动触发。一次运行会收集记录并打分、校验一个带版本号的每日快照、更新按日期过滤的 GitHub issue，再重建累计仪表盘。
每个快照都记下了从拉取记录、去重、筛选到发布条目的整个漏斗。它还留着检索时间、解析器版本、上游载荷的指纹，但不发布凭证和原始 API 响应。
所以这个仓库里不只有生成的网页。还有生产这份 feed 要用的代码、配置、schema 和带版本号的观察记录。
你可以用 Python 3.11 或更高版本在本地跑它：
git clone https://github.com/ktwu01/benchmark-radar.git
cd benchmark-radar
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -e '.[dev]'
benchmark-radar
主要输出是一份 Markdown 报告、一份机器可读的证据快照、一份带日期的语料库快照，还有仪表盘用的浏览器数据。
我为什么公开做它
AI 评估需要更好的发现基础设施，但它也需要对你用来做发现的那套基础设施保持怀疑。
排序系统很容易把编辑决定藏在一个分数后面。数据管道很容易用一个清爽的界面把缺失的来源藏起来。累计仪表盘很容易把注意力当成证据、把重复提及当成新活动。Benchmark Radar 没有消除这些风险，但它试图在产品内部暴露它们：可见的分项、来源健康警告、带版本号的 schema、明确的限制、确定性的重建，以及返回到被发现的记录的反向链接。
这个项目受 agents-radar 启发，它的来源和评分是为基准和 AI 数据研究重新设计的。它用 MIT 许可证发布，源码 和 在线仪表盘 都公开。
目标不是再做一个排行榜。而是让基准周围那个快速变化的版图，稍微更容易被检视，也稍微更难被误读。
2026 年 8 月 25 日更新。这份日志现在也是一份公开的成长记录：一个项目如何走向 1000 颗星。三十篇日更之后，仓库有 86 颗星、17 个 fork，其中 53 颗来自 v0.8.0 发布和搜索与引用改造之后的两天。最新一篇是 Benchmark Radar 第三十天，仓库现在会在 README 里画出自己的星标历史。
想跟进 Benchmark Radar？在 GitHub 上 Star 仓库 获取每日更新，或 打开实时仪表盘 浏览扫描结果。阅读论文：arXiv:2609.11115。