Benchmark Radar 第 113 天:你的金融基准早已进了训练数据
Published:
Benchmark Radar 第 113 天。你的金融基准早已进了训练数据。本轮抓取 1,129 条,发布 507 条,其中 264 条标为推荐。
Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。
JFinBench 是一个全新的、可刷新的日本金融基准,基于六项定期认证考试 2026 年版中的 321 道题构建。它覆盖会计、税务、财务规划和银行业务,并用有人类监督的智能体流水线搭建,以便新版考试发布时能继续更新。如果你评估金融语言模型,它提供了一个限定司法管辖区和日期的替代选择,可以替代那些题目可能已经进入训练数据的静态金融测试。基准的新旧版本从此也成为评估决策的一部分。 JFinBench: A Continuously Refreshable Japanese Financial Benchmark from the Latest Certification Exams。
Interpreting Coding Agents Through Their Behavioral Trajectories 分析了 125 种智能体配置产生的 143,209 条执行轨迹,把原始事件映射为搜索代码仓库、编辑文件和运行测试等操作。研究发现,解题率相近的智能体可能走过截然不同的工作流程。如果你正在选择编码智能体,只看任务成功率可能掩盖智能体在探索和验证行为上的差异。轨迹层面的度量可以区分那些用不同操作路径拿到相同分数的系统,这对调试和部署审查都很重要。 Interpreting Coding Agents Through Their Behavioral Trajectories。
为什么要在意
分数是否可信,取决于它背后的测试。如果题目已经进了训练数据,分数衡量的只是记忆,无法衡量能力。如果两个智能体用不同的路径拿到相同的分数,只看分数也无法判断哪一个更值得在生产环境中信任。测试本身和执行轨迹都是结果的一部分,值得和分数一起看。
扫描范围
这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 507 条证据中的 134 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。
数据与简报:2026-11-16 归档快照。

