MatrAIx
Published:
MatrAIx 是一个人口规模的模拟用户评测框架,用多样化的人设智能体测试 AI 系统和数字产品。
每个产品团队都想在上线前知道真实用户会怎么反应。涨价后用户会走吗?AI 助手答错一次后,用户还会继续用吗?页面加载多久,用户就没耐心了?最可靠的办法是做真人研究,可真人研究慢、贵、样本小。你需要几千人,拿到的只有几十人,而且愿意填问卷的人,只是一部分人。
MatrAIx 想用模拟用户替代其中一部分工作。我是这篇论文《MatrAIx: Simulating the World with 8.3 Billion Persona Agents》的 93 位作者之一,论文于 2026 年 8 月 4 日发布在 arXiv。
三个组成部分
Persona 8B。 83 亿条人设记录,每条用 1,290 个类别维度描述。一部分从依赖图中采样,让相关特征保持一致:一位住在乡村的退休农民,不应同时是曼哈顿的 22 岁加密货币交易员。另一部分来自人类撰写的个人档案。团队开源了一个经过质量筛选的约 100 万人设的核心集,其中 599,847 个基于真实人类档案,400,000 个为合成人设。
Playground。 四个让人设智能体使用产品的环境:问卷、AI 聊天机器人、网页和 App。人设可以填问卷、和助手对话、在网站上点击浏览,或者在手机 App 里操作。
任务。 1,010 个应用任务,覆盖 25 个以上领域,包括电商、软件、金融和医疗。
人设会按描述行事吗?
整个思路能否成立,取决于这个问题。如果你告诉智能体它对价格敏感、没有耐心,它真的会表现得对价格敏感、没有耐心吗?还是依然像一个通用的乐于助人的助手?
论文直接测试了这一点。在一项覆盖十种行为属性、四个环境的 400 次对照试验中,设定的行为在 366 次试验中被表现出来或被正确抑制,比例为 91.5%。
在此之外,团队在八个代表性任务上跑了 18,189 次评测试验,人设智能体分别由 Claude Opus 4.8、GPT 5.5 和 Claude Haiku 4.5 驱动。反馈随人设变化,正好落在想测的那些维度上:涨价后的犹豫、AI 出错后是否继续使用、对延迟的容忍度。
我存疑的地方
91.5% 的特征保真度,对它回答的那个问题来说是很强的结果。可“模拟用户能否预测真实用户的行为”是另一个问题。一个忠实表现“没耐心”的人设,表现的仍然是语言模型想象中没耐心的人。如果模型对“没耐心”的理解有偏差,所有人设都会继承同一个偏差,一百万个智能体会因为同一个错误的理由彼此一致。
所以我把 MatrAIx 看作一道又快又便宜的初筛。先用模拟用户群找出明显的问题,以及不同用户群体之间出人意料的分歧,再把真人研究的预算花在模拟标记出来的问题上。这套流程已经能省下大量成本,也不需要对模拟抱有超出证据的信任。
这项工作得到了广泛报道,包括 WIRED 捷克版、Numerama、Forbes 土耳其版、NZZ am Sonntag,以及 Hugging Face Daily Papers。代码和人设数据在 GitHub,另有一段演示视频。
模拟人群告诉你该看哪里的那一刻,就已经有用了,远早于它告诉你答案。
访问 MatrAIx。

