Benchmark Radar 第 116 天:攻击成功率高不代表智能体更强

less than 1 minute read

Published:

Benchmark Radar 第 116 天。攻击成功率高不代表智能体更强。本轮抓取 1,317 条,发布 599 条,其中 269 条标为推荐。

作者:Koutian Wu;GitHub: ktwu01

Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。

新版 PIPETTE 不仅依据攻击成功率,还依据提示注入攻击能否促成有效防御来进行评估。其说明指出,自动化红队测试中的高攻击成功率,并不一定会转化为对抗训练后更强的智能体。如果你正在为工具调用型智能体选择自动化红队测试方法,仅看攻击成功率并不足以做出选择。PIPETTE 将下游鲁棒性提升设为独立的评估目标,把进攻性测试与该测试旨在改善的防御结果联系起来。 PIPETTE: Prompt Injection Purple-Teaming for Robust LLM Agents。

新版 STEMBench 对高能物理学、天体物理学和神经科学中的 12 道博士后水平问题进行评分,评分依据各领域自身的解答质量衡量标准。每道题还包含一个无需领域知识的锚点和一个专家锚点。如果你正在评估科研智能体,这一设计检验其工作是否改善了科学家实际优化的量。当不同科学领域的原始分数存在差异时,这些锚点也能提供可解释的参照点。 Benchmarking LLM abilities on postdoc-level natural science problems。

为什么要在意

依据攻击成功率挑选红队测试方法时,你可能买到的只是进攻能力,它未必会变成防御能力。用答案匹配为科研智能体打分时,你分不清它做的是科研还是复现已知答案。攻击成功率本身并不是鲁棒性,答案本身也不是科研。

扫描范围

这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 599 条证据中的 169 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。

数据与简报:2026-11-19 归档快照。