Benchmark Radar 第 104 天：评分器会被它评的答案骗过

Benchmark Radar 第 104 天。评分器会被它评的答案骗过。本轮抓取 1,462 条，发布 744 条，其中 307 条标为推荐。

作者：Koutian Wu；GitHub: ktwu01

Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star，或阅读论文。数据见 Hugging Face 数据集。

LLM Evals Judge Adversarial Benchmark 测试的是评分器本身。它针对一个模拟的大语言模型裁判，以及基于关键词或正则表达式的确定性评分器，使用否定表述、关键词复述、虚构主张、虚假引用，以及带给裁判的指令或预先写好裁决的候选答案。输出可以在不满足任务要求的情况下拿到有利分数。 Tushar29k/llm-evals-judge-adversarial-benchmark。

一项新研究在使用工具的智能体中，评估经过机器遗忘的模型，机器遗忘即尝试移除指定知识。在五种方法和两个被遗忘领域中，权重层面的证明决定不了模型对间接提示注入的抵抗力，恶意指令会通过工具内容传入。其中一种方法让成功执行的数据窃取攻击从 34.9% 升至 42.8%。 Uncovering the Security Debt of Machine Unlearning in Agentic Deployment。

为什么要在意

做发布门槛的自动评分器，自己也需要对抗性检查，高分案例可能还需要独立核验。遗忘证明有同样的盲区，模型层面的测试覆盖不了工具和不受信任内容进入系统之后的行为。

扫描范围

这是按关键词筛选的发现信息流，不能代表全部 AI 研究。归档简报使用了所收录 744 条证据中的 146 条。本文概述其中引用的发布成果；扫描发现日期不一定是成果的最初发布日期。

数据与简报：2026-11-07 归档快照。