Benchmark Radar 第 110 天:你的编程智能体从没见过机器人

less than 1 minute read

Published:

Benchmark Radar 第 110 天。你的编程智能体从没见过机器人。本轮抓取 1,548 条,发布 676 条,其中 352 条标为推荐。

作者:Koutian Wu;GitHub: ktwu01

Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。

Robo-SWE 是一个新的可执行问题解决数据集,包含来自 28 个机器人软件仓库中已合并拉取请求的 236 项任务。其覆盖 Robot Operating System 2 软件包、模拟器和物理引擎、机器人算法以及机器人学习框架,并将任务与原始问题文本和可复现的执行上下文一同封装。评估面向机器人领域的编码智能体时,通用软件基准会遗漏专用构建系统、仿真依赖项、时序以及与硬件相关的行为,Robo-SWE 可在为这些软件仓库选择智能体之前提供领域专项测试。 Robo-SWE: An Executable Issue-Resolution Dataset Mined from Robot Software Repositories。

Singularity-Bench 是一个面向构建人工智能系统的智能体的新型开放式基准。其六项端到端任务涵盖预训练、中间训练、后训练、推理、智能体运行框架和计算集群编排,并将智能体实现与成熟的人工工程基线进行比较。评估自主人工智能开发时,这一基准把评估目标从孤立的代码补全转向核心系统组件的实现与运行,不过六项任务对于宽泛结论来说样本还很单薄。 Singularity-Bench: Can Agents Build Agents?。

为什么要在意

通用编程分数无法告诉你,一个智能体能否通过 ROS 2 构建、仿真依赖或时序约束的考验。单个函数的通过也无法告诉你,一个智能体能否把整条训练流水线跑通。值得衡量的单位是工作本身,不是代码片段。

扫描范围

这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 847 条证据中的 188 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。

数据与简报:2026-11-13 归档快照。