Benchmark Radar 第 88 天:先冻结策略,再测留出期

less than 1 minute read

Published:

Benchmark Radar 第 88 天。先冻结策略,再测留出期。本轮抓取 1,613 条,发布 814 条,其中 319 条标为推荐。

作者:Koutian Wu;GitHub: ktwu01

Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。

Quant-Arena 评估完整的量化交易研究过程。智能体利用 2022 至 2023 年中国 A 股数据的反馈,开发特征和股票评分代码,再冻结一个策略,交给开发期间不可访问的 2024 年封闭留出集测试。这样可以检查迭代改进能否迁移到未见时期。 Quant-Arena: Benchmarking LLM Agents for Quantitative Trading Research。

VerifierBench 用 222 项任务和 4,993 个隐藏测试,评估智能体编写可执行验证器的能力。测试包含其他正确解和攻击,并用六项检查审计基准自身的源验证器和测试。生成的检查程序既要接受有效替代解,也要拒绝无效候选解。 VerifierBench: Benchmarking the Generation of Executable Verifiers for LLM Agents。

为什么要在意

把最终测试隔离在开发循环之外,并审计成功判定机制。否则,迭代可能只提高可见分数,无法证明泛化。

扫描范围

这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 814 条证据中的 169 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。

数据与简报:2026-10-22 归档快照。