Benchmark Radar 第 105 天：配置决定了排名
Published:
Benchmark Radar 第 105 天。配置决定了排名。本轮抓取 1,322 条，发布 599 条，其中 205 条标为推荐。
Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star，或阅读论文。数据见 Hugging Face 数据集。
The Ceiling Is Not the Model 这项新研究指出，输出上限、解码设置和服务栈改变了本地大语言模型的分数，幅度足以压低测得的能力、颠倒排名，还会制造出看似存在的推理循环。研究采用五组对照设计，逐一分离每种配置的影响，并附有原始记录和分诊流程。 The Ceiling Is Not the Model: How Harness Configuration Fabricates Local LLM Benchmark Results。
新发布的 corpus-assay 会扫描大语言模型的训练语料，检查基准污染。它使用可审计的 n 元文法，也就是短小的精确文本片段，把匹配结果归属到具体的基准和测试条目。 corpus-assay: benchmark contamination detection for LLM training corpora。
为什么要在意
比较本地部署的模型时，评估需要先变化并记录词元预算、解码设置和服务配置，再把分数差异归因于模型权重，否则决定排名的可能只是部署设置。判断基准分数反映的是泛化能力还是背下来的测试内容时，corpus-assay 多了一步检查，能指明到底是哪些评测条目与训练语料重合。
扫描范围
这是按关键词筛选的发现信息流，不能代表全部 AI 研究。归档简报使用了所收录 599 条证据中的 123 条。本文概述其中引用的发布成果；扫描发现日期不一定是成果的最初发布日期。
数据与简报：2026-11-08 归档快照。