Benchmark Radar 第 92 天：经典文档基准的高分，一部分来自错标签和重复数据
Published:
Benchmark Radar 第 92 天。经典文档基准的高分，一部分来自错标签和重复数据。本轮抓取 1,048 条，发布 464 条，其中 211 条标为推荐。
Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star，或阅读论文。数据见 Hugging Face 数据集。
一项对 RVL-CDIP 的新审计发现，它 400,000 份文档里约 10.5% 标签错误，测试集里 35.2% 的文档在训练集中有重复或近重复项。只凭页面识别码就能达到 69% 的准确率，去掉识别码后，一个模型的分数下降 11 分。这个数据集的标称准确率，一部分测的是标签错误、重复文档和来源标识。 Data Quality in RVL-CDIP: A Systematic Audit。
THReD Agent Benchmark 评估一个电子健康记录预处理助手，共 141 项任务，涵盖简单和多步骤转换、故障恢复、不应采取行动的请求、结构变化，以及藏在数据里的提示注入。它用合成健康记录表、专家参考流水线和结果检查，不用真实患者数据。运行安全和故障恢复与预处理成功一起被测试。 THReD Agent Benchmark: Evaluation of an LLM Agent for Preprocessing Electronic Health Records into AI-Ready Datasets。
为什么要在意
基准上的决定，质量取决于它脚下的数据。去重、修正标签和屏蔽标识的测试，应该在模型选择之前做，等分数高得可疑之后再补就太迟了。
扫描范围
这是按关键词筛选的发现信息流，不能代表全部 AI 研究。归档简报使用了所收录 464 条证据中的 123 条。本文概述其中引用的发布成果；扫描发现日期不一定是成果的最初发布日期。
数据与简报：2026-10-26 归档快照。