Benchmark Radar 第 101 天:排行榜排的可能是评测框架
Published:
Benchmark Radar 第 101 天。排行榜排的可能是评测框架。本轮抓取 1,686 条,发布 844 条,其中 354 条标为推荐。
Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。
新论文「Silent Instrument Errors Reorder Agent Leaderboards」审计了 HAL 和 tau2-bench 智能体排行榜已发布的产物。报告指出,评分未被触发、成本核算错误等测量工具问题,不用重跑智能体就能改变模型之间表面上的差距。否则,排行榜排的就是评测框架的行为了。 Silent Instrument Errors Reorder Agent Leaderboards。
DualWorldBench 是一个围绕共享取送任务的智能体规划基准。它改变符号与时间复杂度,也就是规则、目标和时序,也改变具象的拓扑复杂度,要求智能体把感知与地点和路线联系起来。这种设计把抽象规划中的失败,与同一问题落到感知环境后产生的失败分开。 DualWorldBench: Can Agents Plan Deliveries across Symbolic and Grounded Worlds?。
为什么要在意
在引用任何模型差距之前,评分器触发覆盖和成本重建都该进入评测审计。规划类套件同样应该说清,失败出在推理、感知,还是两者衔接的地方。
扫描范围
这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 844 条证据中的 184 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。
数据与简报:2026-11-04 归档快照。
