Benchmark Radar 第 112 天:拿了 0.93 分却丢了 15% 的水

less than 1 minute read

Published:

Benchmark Radar 第 112 天。拿了 0.93 分却丢了 15% 的水。本轮抓取 1,391 条,发布 605 条,其中 302 条标为推荐。

作者:Koutian Wu;GitHub: ktwu01

Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。

AgentShield Multi-Turn Agent Attack Benchmark 是一项新发布的基准,用于测试安全框架能否在贴近现实的多轮对抗性交互中阻止未经授权的工具执行。与另外分别针对分页、重试和取消的新基准一道,它反映出这批采集信息中反复出现的一种趋势,不仅要评估模型的最终答案,还要评估智能体周边的工作流控制。如果你正在为使用工具的智能体选择控制措施,这意味着评估可以涵盖跨轮次保留的状态,以及重复副作用、检索不完整或取消后仍下发操作等运行故障。这些测试能够区分那些在传统问答任务中看起来可能表现相当的框架。 Anmol2507/agentshield-attack-benchmark。

HydroTuring 是一项新的黑盒基准,包含 37 项探测,用于检验水文模型中的质量、能量和动量守恒。其来源给出了一个合成示例,某模型损失了其输入水量的 15%,但传统的径流拟合分数仍达到 0.93。如果你正在评估用于洪水预测的人工智能,仅看预测拟合度可能会忽略物理上不一致的行为。HydroTuring 增加了一个独立的决策标准,即模型是否遵守守恒定律,从而使团队能够比较输出准确度相近但物理有效性不同的模型。 HydroTuring: A physics probe benchmark testing mass, energy and momentum conservation in hydrologic models。

为什么要在意

只给最终答案打分的基准,无法告诉你智能体在过程中是否守住了权限,也无法告诉你被评分的模型是否真正理解它声称能预测的物理。防护措施和守恒定律属于结果本身,值得和分数一起看。一个丢了 15% 的水的 0.93 分,说明这个模型从未理解水。

扫描范围

这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 605 条证据中的 136 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。

数据与简报:2026-11-15 归档快照。