Benchmark Radar 第 99 天：测试时攻击占八成，部署时只占百分之二

Benchmark Radar 第 99 天。测试时攻击占八成，部署时只占百分之二。本轮抓取 1,039 条，发布 414 条，其中 193 条标为推荐。

作者：Koutian Wu；GitHub: ktwu01

Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star，或阅读论文。数据见 Hugging Face 数据集。

一项对劫持智能体检测器的新审计发现，11 项评估里攻击样本占测试样本的 16% 到 86%，没有一项改变过这个比例，其中六项没有测试第二个基准或来源的数据。论文以 2% 的攻击率重新评估检测器，并测试在 AgentDrift 与 AgentDojo 之间的迁移。攻击占比高、来源单一的测试集上的表现，未必说明攻击罕见时的行为。 What Standard Evaluations Hide About Detectors of Hijacked LLM Agents: Rare Attacks, Unseen Tools and Benchmark Transfer。

新论文「Simple Features Beat Most AI Control Monitors」报告，在一个标准后门检测数据集上，不需要执行代码的特征胜过了 24 个开放权重监控模型中的 20 个。原因被归于标签泄漏，诚实解答由人类编写，后门代码由较早的语言模型编写，两个类别用的问题类型也不同。高分可能只反映了来源风格或任务选择，跟检测能力无关。 Simple Features Beat Most AI Control Monitors。

为什么要在意

按部署环境的攻击率测试和跨基准迁移，应该成为选择检测器的明确标准。在比较监控模型之前，也应该先让简单的元数据或风格基线试着预测标签，预测不出来才算数。

扫描范围

这是按关键词筛选的发现信息流，不能代表全部 AI 研究。归档简报使用了所收录 414 条证据中的 160 条。本文概述其中引用的发布成果；扫描发现日期不一定是成果的最初发布日期。

数据与简报：2026-11-02 归档快照。