Benchmark Radar 第 93 天:评判智能体实际改了什么

less than 1 minute read

Published:

Benchmark Radar 第 93 天。评判智能体实际改了什么。本轮抓取 1,280 条,发布 643 条,其中 320 条标为推荐。

作者:Koutian Wu;GitHub: ktwu01

Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。

V³AST-Bench 通过 18 个类别的 212 项风险任务评估编码智能体的安全性。它的运行时环境检查任务留下的状态、记录和产物,配套的能力测试则用来区分规避危害和根本无力完成任务。它衡量的是智能体实际改变了什么,书面回答不算数。 V³AST-Bench: Verifiable, Valid, and Versatile Safety Evaluation for Coding Agents。

Δτ-Bench 包含 1,588 项经过验证的多轮任务,随着服务消失、替代方案出现、文档噪声增加,任务里的工具生态也随之变化。SkillShift-Bench 则独立地对网页智能体施加可控的上下文、感知和执行变化。静态测试看不出智能体能不能发现新的工具路径,并修订已经过时的流程。 Δτ-Bench: Pushing Agents Toward a Moving Capability。

为什么要在意

安全评分不该把不能行动的模型,和有能力行动但正确选择停手的模型,给同样的分。服务在智能体脚下不断变化时,适应能力也该和初始任务完成情况一起计入成绩。

扫描范围

这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 643 条证据中的 188 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。

数据与简报:2026-10-27 归档快照。