Benchmark Radar 第 95 天:会回答空间问题,不等于会在空间里行动

less than 1 minute read

Published:

Benchmark Radar 第 95 天。会回答空间问题,不等于会在空间里行动。本轮抓取 1,308 条,发布 568 条,其中 250 条标为推荐。

作者:Koutian Wu;GitHub: ktwu01

Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。

BEHAVIOR-Spatial 检验视觉语言模型给出的空间答案,能否迁移到模拟机器人中的视觉语言动作行为。它的组成部分把回答空间问题与预测和执行动作分开评估,不把视觉理解当作具身能力的替代指标。问答分数高,不再被默认等同于与动作相关的空间能力。 behavior-spatial-benchmark/BEHAVIOR-Spatial。

Tech Graphics Benchmark 把提示词、生成图像和清单、原始人工评分分别发布为相互关联的数据集。生成方身份被隐藏并打乱顺序,标注者在保存评分后才能看到模型身份。这套盲审设计用来评判生成技术图形中的文本、箭头和布局,让模型名气没有机会影响评分。 danielrosehill/Tech-Graphics-Benchmark-Ratings。

为什么要在意

替代指标只有在能预测它所代表的能力时才有价值。视觉理解该在行动里测,人工评分该盲评并分开公布,这样分析能重跑,模型身份也影响不了分数。

扫描范围

这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 568 条证据中的 135 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。

数据与简报:2026-10-29 归档快照。