Benchmark Radar 第 94 天:正确答案,有时就是根本不存在方案
Published:
Benchmark Radar 第 94 天。正确答案,有时就是根本不存在方案。本轮抓取 1,283 条,发布 573 条,其中 238 条标为推荐。
Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。
OpenGray 评估放射治疗规划智能体是否做出正确决策,而不只是生成一份好看的剂量计划。它的已知答案任务包括治疗目标相互冲突的情形,此时智能体应识别出根本不存在有效计划,也包括一个可行的对照情形,其中存有一份满足所有硬性目标的计划。它给停手或请求审核加分,硬去优化一个不可能实现的要求加不了分。 OpenGray: a benchmark for evaluating the decisions of radiotherapy planning agents。
EffectWorld 按每个工具读取、写入和改变的内容来描述工具,包括重复调用是否安全。随后,可执行的验证器可以检查工具使用轨迹中的不安全影响,不依赖人工标签,也不靠另一个模型当裁判。重复写入、未经确认就删除这类动作,即使最终答案看起来正确,也能被查出来。 Small agents should know what their tools do。
为什么要在意
优化一个不可能实现的要求,就是失败。评估应该检查每一次工具调用留下的影响,这样答案再好看,也藏不住一条不安全的轨迹。
扫描范围
这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 573 条证据中的 152 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。
数据与简报:2026-10-28 归档快照。
