Benchmark Radar 第 102 天:没有证据的验证器,只是在发表意见

less than 1 minute read

Published:

Benchmark Radar 第 102 天。没有证据的验证器,只是在发表意见。本轮抓取 1,638 条,发布 785 条,其中 354 条标为推荐。

作者:Koutian Wu;GitHub: ktwu01

Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。

FORMA-Bench 测试多智能体架构中的指定验证器,能否依据不同的证据安排检查已声明的约束。它提供五个运营领域的 2,910 条观测,包括数据驻留和委托财务权限,同时包含合规与违规场景。问题在于架构有没有给验证器足够的决策证据,而不只是底层模型能不能把策略说对。 Dataset for the paper “Architectural Verifiability in Agent-to-Agent Systems: Design and Evaluation of FORMAW。

SlackBench 把协作任务建立在对话、私信、真实代码仓库,以及可能过时或相互冲突的证据之上。ViBench 2.0 和 ReScopeBench 则分别测试连续的功能请求和环境变化时的经验复用。单任务准确率可能漏掉智能体在一个项目中查找、调和与保留信息时的失败。 SlackBench: Benchmarking Agents on Collaborative Projects Grounded in Real Code Repositories。

为什么要在意

只有当架构把一份能下判断的记录交给验证器时,策略门控才成立。职场智能体也需要同样的对待,要在持续演变的工作流上测,孤立的提示词测不出真本事。

扫描范围

这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 785 条证据中的 181 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。

数据与简报:2026-11-05 归档快照。