Benchmark Radar 第 117 天:评分标准输给了数字惯例
Published:
Benchmark Radar 第 117 天。评分标准输给了数字惯例。本轮抓取 1,339 条,发布 626 条,其中 289 条标为推荐。
Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。
新发布的 AgentJudgeBench 测试被用作自动化评审器的大语言模型能否对以依赖图表示的工具调用工作流进行评分。其 3,808 个实例涵盖六种图结构和三个难度级别,并比较了有无工作流真实信息时的评审结果。它针对的是结构化执行。今日信息流中另一项独立的量表反转探测还测试评审器遵循的是评分标准的含义,还是数值惯例。如果你使用基于模型的评分器评估智能体,常规一致性分数可能不足以证明评分器理解工作流依赖关系或评分标准本身。 AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling。 Rubric Semantics or Numerical Priors? Auditing Scale-Direction Bias in LLM Judges。
新发布的 TraceProbe 基准在可执行沙箱中运行智能体,记录规范化的动作轨迹,并重放工具操作,以定位安全风险在何处进入以及如何传播。它同时对最终结果和隐藏的规则违规进行评分。只看终点是否可以接受,无法判断执行过程是否安全。如果你评估的智能体会使用文件、工具、记忆、检索到的内容或其他智能体,TraceProbe 提供了一种方法,用于区分看似安全的结果与通向该结果的不安全路径。这可能改变安全测试套件是否被选用于发布门控、事件诊断或安全措施对比。 TraceProbe: An Execution-Based Benchmark for Diagnosing Safety Failures in LLM Agents。
为什么要在意
用模型评审器为智能体打分时,一致性分数再高,也可能掩盖评审器从未理解工作流或评分标准本身。只看最终答案测试智能体安全时,干净的终点也可能掩盖产生它的不安全步骤。分数不等于理解,终点不等于路径。
扫描范围
这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 626 条证据中的 165 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。
数据与简报:2026-11-20 归档快照。
