ASI-Bench
Published:
ASI-Bench 用 11 个科学领域的 60 个科研级任务评测 AI 智能体。
测试 AI 科学家的常见做法，是给它一个定义清楚的问题，然后核对答案。ASI-Bench 问的问题更难：把操作指导拿掉以后，会发生什么？
我是这篇论文《ASI-Bench: At the Dawn of Artificial Superintelligence》的 42 位作者之一，论文于 2026 年 8 月 18 日发布在 arXiv。项目来自 Apex Intelligence，以 MIT 许可证开源。
任务
一共 60 个项目级科研任务，覆盖 11 个领域：天文、生物、生物统计、化学、计算机、地球科学、电子工程、材料、数学、物理和机器人。主页上的几个例子：
- 研究二维 XY 模型中的 Kosterlitz-Thouless 相变。
- 用 Marcus 理论计算电子转移速率。
- 标定激光雷达和 IMU。
- 优化欧几里得旅行商问题的求解器。
每个任务都是一个完整项目。智能体要理解问题、选方法、写实现、跑实验、诊断失败、迭代改进，最后验证结果。每个任务都有固定的目标、数据和预期产出，评分器据此把提交的结果和标准答案对比。
这些任务由 40 多位专家构建，投入超过 31,000 小时人工。每个任务在入库前都经过专家评审、AI 辅助审核、沙箱执行和评分器验证。
逐步撤掉指导
核心设计是 B1 到 B4 四个提示等级。每个等级的科学目标完全一样，变的是提示里给了多少方法。最高等级给出完整做法，最低等级只给目标，方法要智能体自己想。各等级还会加入干扰信息，测试智能体能否忽略那些看起来有用、实际无关的内容。
这样，一个评测就变成了对“依赖程度”的测量：智能体的分数里，有多少其实来自写提示的那个人，一目了然。
数字说明了什么
在 18 种智能体与模型组合上，平均分随指导减少而下降：
| 指导程度 | 平均分 |
|---|---|
| 完整方法指导 | 50.91 |
| 只指明方法 | 29.10 |
| 智能体自己选方法 | 26.62 |
下降最大的是第一步。提示一旦不再写明具体怎么做，分数就掉了约四成。论文的结论很直接：当前系统仍然严重依赖人类指导，离自主完成项目级科研还很远。
提交必须产出能在沙箱中复现的结果，每份提交都带有出处哈希，维护者验证后才会上榜。任何人都可以用 pip install asibench 运行。截至 2026 年 11 月 3 日，排行榜收录了 25 种智能体与模型组合，大多是 Claude Code 和 Codex 搭配各家前沿模型。
这个设计为什么重要
人们说某个模型“做了研究”时，很少交代提示里写了多少方法。这个隐藏变量可能占到一半分数。固定目标、改变指导程度的评测，把这个变量摆到了台面上。
我持怀疑态度的看法是：大多数宣传引用的是 B1 分数，而真正能预测一个系统能否在“没人知道方法”的实验室里工作的，是 B4 分数。两者之间的差距，才值得盯着看。
智能体真正的能力，从指令结束的地方开始。
访问 ASI-Bench。
