Benchmark Radar 第 96 天：先检查技能，再让它运行
Published:
Benchmark Radar 第 96 天。先检查技能，再让它运行。本轮抓取 1,461 条，发布 676 条，其中 332 条标为推荐。
Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star，或阅读论文。数据见 Hugging Face 数据集。
SkillCT 在运行之前评估打包好的智能体技能，考察九个维度，包括指令质量、对行为变化的抵抗力、语义契合度和责任边界。它不同于只看技能能否完成下游任务的基准。含义模糊或权限过大的技能包，可以在接入工具和生产环境之前就被拒掉。 SkillCT: A Multidimensional Benchmark and Execution-Free Baseline for Agent Skill Assessment。
一项新研究用自进化智能体审计 SWE-bench 风格的软件工程数据集，检查任务清晰度和测试覆盖率，这两个属性决定编码任务是否既可解决又可验证。它针对的是数据集质量，落点在数据本身。这样能把智能体的失败和基准自身的缺陷分开，比如问题描述不充分，或者测试根本验证不了答案。 Well-Specified and Well-Tested? Assessing SWE-bench-Style Datasets with a Self-Evolving Agent。
为什么要在意
在生产环境里靠执行来测试，成本高又不安全，筛选必须提前。对评测套件本身也一样，任务没写清楚，会让一个好智能体看起来像坏的。
扫描范围
这是按关键词筛选的发现信息流，不能代表全部 AI 研究。归档简报使用了所收录 676 条证据中的 158 条。本文概述其中引用的发布成果；扫描发现日期不一定是成果的最初发布日期。
数据与简报：2026-10-30 归档快照。