ResearchClawBench
Published:
ResearchClawBench 评测 AI 智能体能否完成端到端的科学研究任务。
大多数面向科学的 AI 评测，只考研究工作的一小段：答一道难的物理题，写一段分析代码，总结一篇论文。研究本身是一整个闭环：读文献，看原始数据，决定做什么实验，做实验，发现结果不对，最后写出一个别人能检验的结论。ResearchClawBench 问的就是：智能体能不能在没有人指挥的情况下，从头到尾走完这个闭环。
我是这篇论文的 51 位作者之一。论文于 2026 年 5 月 28 日首次提交到 arXiv，并投稿 AAAI 2027。
评测怎么做
一共 40 个任务，覆盖 10 个科学领域。每个任务都来自一篇真实发表的论文。智能体拿到相关文献和原作者使用的原始数据，但拿不到目标论文本身。它要自己从数据走到结论。
这是整个设计的核心。真实论文提供了专家已经认可的标准答案；把它藏起来，智能体就无法照抄，只能重新发现。
打分使用专家编写的多模态评分细则（rubric）。每个目标科学产出，比如一张图、一个数值、一条拟合曲线、一个结论，都被拆成带权重的评分项。细则既能检查智能体有没有复现关键结果，也给超出原论文的发现留了加分空间。项目主页把这称为“从再发现走向新发现”。在主页的前沿视图里，50 分代表追平原论文，100 分代表超越原论文。
结果说明了什么
论文在统一协议下评测了 7 个自主科研智能体，并通过一个轻量框架 ResearchHarness 评测了 17 个原生大模型。
分数很低。最强的智能体 Claude Code 平均 21.5 分。ResearchHarness 下最强的模型 Claude-Opus-4.7 平均 20.7 分。即使取所有系统在每个任务上的最好成绩，前沿平均也只有 26.5 分，而追平原论文是 50 分。
也就是说，把我们测过的所有系统拼在一起，也只走到了“重新发现人类已发表成果”的一半左右。
智能体为什么失败
误差分析把失败归为三类：
- 实验方案不匹配。 智能体做了一个和问题不对应的实验，然后对错误的对象给出自信的回答。
- 证据不匹配。 报告里的结论，并不能从智能体实际算出的数字推出来。
- 缺少科学核心。 产出看起来像一篇论文，有图、有章节、有引用，但最关键的发现不见了。
第三类最让我担心。一位快速浏览的审稿人，会觉得这份产出已经完成了。这正是“生成像研究的文字”和“真正做研究”之间的差距。
我的两点体会
第一，任何“AI 科学家”的说法，都需要一个答案被隐藏、数据是原始数据的测试。用考题构建的评测，测的是在干净问题上的记忆和推理，测不出一个系统在没人告诉它该做什么实验时，能不能选对实验。
第二，评分细则比排行榜更重要。一个总分会掩盖智能体到底是方法错了、证据错了，还是根本没抓住重点。按产出拆分的加权评分项能告诉你系统在哪里出了问题，而这正是改进它所需要的信息。
代码在 GitHub，项目主页还链接了 Hugging Face 和 ModelScope 上的数据集。
会像科学家一样写作的智能体，还不是会像科学家一样发现的智能体。
