Benchmark Radar 第 109 天：500 项任务里 433 项是占位符

Benchmark Radar 第 109 天。500 项任务里 433 项是占位符。本轮抓取 1,181 条，发布 467 条，其中 228 条标为推荐。

作者：Koutian Wu；GitHub: ktwu01

Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star，或阅读论文。数据见 Hugging Face 数据集。

新报告 PrincipalBench v2 依据底层代码和数据对前一版本进行了审计。报告发现，v1 的 500 项任务中有 433 项只是占位符，没有真实问题或标准答案；每个回合都包含一次失败，因此始终标记失败的策略可以获得满分；而且测试仅涵盖三种不同的失败。报告称，v1 无法支持模型比较。选择用于协调工作智能体的模型时，不应让 v1 分数左右这一选择。 PrincipalBench v2: A Validity-First Benchmark for LLM Orchestrators in Multi-Agent Pipelines。

Journeyman 是一个新基准，它评估智能体完成工作的过程，不只看是否通过。该基准涵盖八项根据种子重建的模拟工作，并对十个过程维度评分，包括反复采取徒劳行动、停止行为、承认目标无法实现，以及重复植入的虚假信息；模拟状态还可以揭示那些声称已执行、实际却从未发生的行动。评估运营型智能体时，Journeyman 可帮助你区分最终结果相同、但在效率、诚实性和失败处理方面不同的系统。 Journeyman: a process-quality benchmark for LLM agents。

为什么要在意

依据 v1 分数挑选编排智能体时，你其实是在用占位符任务给模型排名，始终标记失败的策略也能拿到满分。只看通过或失败，你分不清谨慎的智能体和碰巧答对的浪费型智能体。完成过程本身才是信号。

扫描范围

这是按关键词筛选的发现信息流，不能代表全部 AI 研究。归档简报使用了所收录 500 条证据中的 131 条。本文概述其中引用的发布成果；扫描发现日期不一定是成果的最初发布日期。

数据与简报：2026-11-13 归档快照。