Benchmark Radar 第 103 天：基准和软件一样，会积累维护债务

Benchmark Radar 第 103 天。基准和软件一样，会积累维护债务。本轮抓取 1,627 条，发布 831 条，其中 444 条标为推荐。

作者：Koutian Wu；GitHub: ktwu01

Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star，或阅读论文。数据见 Hugging Face 数据集。

新论文「Benchmarks as Software」用 Terminal-Bench 定义智能体基准的持续验证。它把社区报告、任务产物和智能体轨迹结合起来，找出有效的新解法过不了旧验证器，或基础设施变化让任务假设失效的案例。论文把由此产生的分数与预期能力之间的差距，称为基准维护债务。 Benchmarks as Software: Terminal-Bench and the Case for Continuous Benchmarks。

Agent Operation Recovery Benchmark 测试智能体能否恢复一项状态不确定的业务操作，既不改变原始目标，也不重复执行，同时仍允许真正获得授权的新请求。它提供横跨六类故障的 24 个合成案例、确定性模拟器和评分器，以及 96 条已记录的模型运行轨迹。常规任务完成分数可能漏掉重复执行和身份绑定故障。 Agent Operation Recovery Benchmark: 24 Synthetic Scenarios and 96 Model Episodes (full96-v1)。

为什么要在意

当任务、验证器和基础设施都在变，只做发布时的验证是不够的。恢复操作也需要同样的纪律，智能体续跑之前，要先证明它不会把同一操作执行两次。

扫描范围

这是按关键词筛选的发现信息流，不能代表全部 AI 研究。归档简报使用了所收录 831 条证据中的 180 条。本文概述其中引用的发布成果；扫描发现日期不一定是成果的最初发布日期。

数据与简报：2026-11-06 归档快照。