Benchmark 的价值、市场误判与提出问题的能力：一次和我滴好东北哥们儿（CMU）的原始对话

Benchmark 到底是在做研究，还是在“众筹一篇论文”？它是在创造公共价值，还是在占用公共资源？它能不能形成长期能力，还是只适合创业团队向投资人展示潜力？

作者：Koutian Wu；GitHub: ktwu01

几天前，我和我滴好东北哥们儿——一位在 CMU 搞大模型训练的朋友——讨论了这个问题。下面保留部分原始对话，并在后面整理我的理解。

为避免把聊天对象的即时判断包装成正式立场，本文不使用他的真实姓名；下文统一称他为“我滴好东北哥们儿（CMU）”。这只是一次私人讨论里的观点位置，不代表他的正式学术或职业立场。

原始对话

我：

贡献还是有的。

我滴好东北哥们儿（CMU）：

benchmark 这个，没啥多大贡献🤣

我：

你看这些各家大模型，它发布的时候，还不是都得用一些 benchmark 去测试它的水平。

你设计恰当的问题，来难倒这些模型，还是需要有些水平。

之后科研啥的，本质上最后都变成提出问题的事情。

而做 benchmark，就是召集一批提出问题的人。这些提出问题的人以后门槛会越来越高，变成这世界上最聪明的人。

你跟世界上最聪明的人共事，那肯定不会差到哪里去。

我滴好东北哥们儿（CMU）：

我换个问的方式：训练模型和 bench 模型，我觉得我会选训练，主要是没有企业要我🤣

我：

做事情的贡献和带来的价值、它本身的门槛、还有外界对这件事情的评价，这三者不一定吻合。

因为有的市场不是具有较低点差的，或者说它流动性不够。

我滴好东北哥们儿（CMU）：

校内学生都能 bench🤣

前阵子跟 Amazon 的科大学姐唠嗑，她评价这种动作为：占用公共资源。

我：

嘉豪行为 hhh。

我滴好东北哥们儿（CMU）：

我觉得现在企业主流会觉得 bench 不太正经。

之前说搞 LLM security 的 PhD 找不到工作，我觉得是一样的。

主流的 pipeline 还是 pre-train、post-train，benchmark 嘛，我不好说。

然后普遍业界还觉得 pre 比 post 牛逼，这就一鄙视链问题。

这种评价类似于：一群人写了一篇综述，然后弄了一堆 citation。其实综述屁用没有，纯纯学术圈博眼球行为。

所以换到我们这边 bench，我觉得若干组存在，想创业，然后需要给投资者展示一下自身潜力。于是好多人众筹一篇文章，用贡献加新颖角度投一个 Nature，让投资人认为有潜力。然而可能过几年，bench 就没啥意义了。

但是我觉得无论啥时候，pretrain 那些技巧和一手经验不会死得那么快。

我：

恭喜你发现了一些人创业的本质🤣🤣🤣

有道理。

你现在搞 pre 还是 post？

我的理解：我们争论的其实不是 benchmark，而是价值如何被识别

这段对话表面上在比较三种工作：

1. pre-training；
2. post-training；
3. benchmark 与 evaluation。

但更深的问题是：一项工作创造了多少价值、需要多高门槛，以及市场愿意给它多少回报，这三件事并不会自动对齐。

很多人会把“企业现在更愿意招聘什么”直接等同于“什么更有价值”。这种判断在流动性高、岗位定义清晰、交易频繁的市场里可能成立；但研究市场不是完全有效市场。

研究价值经常先产生，评价体系后跟上。评价体系也可能先膨胀，再反向制造虚假价值。

所以不能只问：

现在企业要不要 benchmark researcher？

还要问：

这个 benchmark 是否定义了一个未来必须解决的问题？ 它是否建立了别人必须使用的测量标准？ 它是否把模糊争论转化为可复现结果？ 它是否形成数据、任务、评测基础设施和研究网络？

如果答案是否定的，那么我滴好东北哥们儿（CMU）的批评成立：这可能只是一群人拼接题目、堆作者、追 citation，再向学术界或投资人展示“我们占领了一个方向”。

如果答案是肯定的，那么 benchmark 并不是模型训练的附属工作，而是在定义这个领域以后如何判断进步。

Benchmark 的低门槛部分，确实可以被大量复制

我滴好东北哥们儿（CMU）说“校内学生都能 bench”，并非毫无道理。

今天很多 benchmark 的生产流程是：

• 从已有题库抓取任务；
• 做格式转换；
• 调几个模型；
• 输出排行榜；
• 对失败案例做描述；
• 把结果包装成一个新名称。

这种工作可以产生论文，但不一定产生知识。

它测量的是别人已经定义好的能力，或者把旧问题换了一个数据接口。模型版本一变，榜单可能失效；提示策略一变，排名可能重排；训练数据污染一暴露，结论可能崩溃。

这类 benchmark 的半衰期确实可能很短。

因此，“做 benchmark 有价值”不是一个可以无条件成立的命题。

更准确的说法是：

只有当 benchmark 定义了真实、稳定、难以伪造的能力，并且让错误产生可解释信号时，它才构成研究贡献。

高价值 benchmark 的核心不是出题，而是确定什么值得测量

设计一道难题不一定难。把答案藏起来、增加上下文、加入冷门知识，都可以让模型失败。

真正难的是回答以下问题：

• 这项能力是否对应现实世界中的瓶颈？
• 模型失败时，我们能否知道它为什么失败？
• 模型通过时，它是真的掌握了能力，还是利用了捷径？
• 一个专家按照合理路径作答，是否有机会稳定通过？
• 评测是否区分知识缺失、推理失败、工具调用失败、编码失败和数据问题？
• 结果是否会推动训练、产品或科学工作流发生改变？

这已经不只是“召集一批人出题”。它要求设计者同时理解任务领域、模型行为、测量误差、数据污染、验证机制和研究激励。

从这个角度看，benchmark 设计接近科学中的测量理论。

科学不只通过提出解释来推进，也通过发明新的测量方式推进。望远镜、显微镜、气象观测网、标准化试验、共享数据集和可复现协议，都在改变什么问题能够被研究。

AI benchmark 也可能承担类似作用，但前提是它必须测量真实对象，而不是制造排行榜游戏。

“提出问题的人会越来越重要”，但不能浪漫化

我在原始对话里说，科研最后会越来越接近提出问题，做 benchmark 会聚集提出问题的人。

我仍然认同这个方向，但需要加上限制条件。

提出问题本身不构成价值。一个人可以不断提出宏大、模糊、无法证伪的问题，却不承担解决成本。

高价值的问题至少需要满足三点：

1. 问题指向真实约束。 它不是为了让模型难堪，而是揭示一个阻碍科学、工程或决策的瓶颈。
2. 问题能够被操作化。 它可以转化为任务、数据、验证方法和误差分析。
3. 问题能够改变资源配置。 结果会影响模型训练、系统设计、研究路线或产品判断。

因此，未来稀缺的不是“会提问的人”，而是能够把问题定义到足以推动行动的人。

这类人不只提出一句问题。他们还要决定：

• 边界在哪里；
• 哪些变量需要控制；
• 什么证据可以推翻结论；
• 如何避免奖励作弊；
• 如何让不同系统接受同一套比较；
• 什么结果值得投入下一轮资源。

Pre-training 的经验为什么看起来更硬

我滴好东北哥们儿（CMU）最强的一点是：pre-training 的一手经验通常绑定计算、系统、数据和训练稳定性。

这类经验很难从论文中完整复制。很多知识存在于日志、失败运行、基础设施、调参顺序和团队协作中。企业也更容易把这些能力映射到岗位：

• 训练吞吐；
• 分布式系统；
• 数据质量；
• loss 稳定性；
• scaling；
• 模型架构；
• 成本与性能。

相比之下，benchmark 的产出容易被误判为“写题、跑 API、做表格”。

所以，从职业市场来看，pre-training 经验通常具有更直接的定价渠道。

但这不意味着 benchmark 没有价值，而是说明 benchmark 研究者必须把自己的能力变成可验证资产，而不是只依赖论文标题。

例如：

• 构建被多个团队持续使用的评测基础设施；
• 发现并证明主流模型的系统性失效模式；
• 设计能够指导训练数据或 post-training 的诊断集；
• 建立人工专家与模型之间的对照体系；
• 把评测结果转化为产品决策或研究路线；
• 形成长期维护的数据和社区。

当 benchmark 能够进入训练闭环，它就不再只是“评价模型”，而是参与模型改进。

Benchmark、创业和信号生产

我滴好东北哥们儿（CMU）认为，一些团队通过多人共建 benchmark、发表高影响力论文，再向投资人证明团队具有潜力。

这个观察值得认真对待。

创业早期没有收入、没有客户、没有长期产品数据时，团队必须生产信号。论文、榜单、开源项目、benchmark、社区和合作网络都可以成为信号。

这不是天然错误。问题在于信号是否对应真实能力。

一个 benchmark 可以同时具有三种属性：

• 研究工具；
• 市场宣传材料；
• 团队组织工具。

关键不是它有没有宣传功能，而是宣传之后能否留下可积累资产。

如果项目结束后只剩一篇文章和一串作者名单，那么我滴好东北哥们儿（CMU）所说的“众筹一篇文章”可能成立。

如果项目留下了持续更新的任务体系、真实用户、专家网络、训练反馈和数据壁垒，那么 benchmark 可能是公司的基础设施入口。

因此，我现在会用一个更直接的问题判断这类项目：

当论文热度消失以后，还有谁必须继续使用它？

如果没有明确答案，项目的价值可能主要来自短期信号。

我的结论

我不会把 benchmark 和 pre-training 放进一条简单的鄙视链。

它们解决不同层次的问题：

• pre-training 决定模型如何获得能力；
• post-training 决定模型如何表现、对齐并完成任务；
• benchmark 决定我们是否知道模型获得了什么能力，以及失败发生在哪里。

三者都可能做成基础设施，也都可能做成表面工程。

低质量 pre-training 可以只是烧算力；低质量 post-training 可以只是追奖励模型；低质量 benchmark 可以只是制造排名。

真正需要判断的是：

1. 它是否触及一个真实瓶颈；
2. 它是否产生别人难以替代的知识或资产；
3. 它是否进入后续决策和改进闭环；
4. 它是否在热度消失后仍然被使用；
5. 参与者是否形成可迁移的一手能力。

我仍然相信，定义问题和定义测量标准会变得越来越重要。

但这条路不会因为“提出问题”四个字自动获得价值。Benchmark 研究者必须证明：自己不是在制造更多题目，而是在让一个领域第一次能够看清自己。