Benchmark Radar 第 91 天:静态图表分数,看不见图表藏起来的东西

less than 1 minute read

Published:

Benchmark Radar 第 91 天。静态图表分数,看不见图表藏起来的东西。本轮抓取 1,310 条,发布 466 条,其中 163 条标为推荐。

作者:Koutian Wu;GitHub: ktwu01

Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。

ChartAct 通过真实的浏览器交互测试动态图表理解。模型和图形界面智能体必须悬停、点击、缩放、拖动、滚动和选择控件来回答问题,只看静态图表图片答不出来。它测的是模型能不能拿到藏在交互控件后面的信息。 chartact-benchmark/ChartAct。

LongHaul-Bench 在约 1,000 个连续回合里评估一个自我改进的智能体,保留它不断演化的知识状态,并执行固定的经验记忆预算。它在五个可复现生成的工业环境中,把这个智能体和一个冻结的对照组比较。问题在于,积累的经验随时间推移是让可靠性变好还是变差。 LongHaul-Bench: A Reproducible Benchmark for Long-Horizon Reliability of Self-Improving LLM Agents Under Industrial Edge Constraints。

为什么要在意

静态视觉问答测不到只有交互才能暴露的行为。对于部署后继续学习的智能体,单次会话的准确率也说明不了经验积累最后变成可靠性,还是变成漂移。

扫描范围

这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 466 条证据中的 136 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。

数据与简报:2026-10-25 归档快照。