Benchmark Radar 第 111 天:你的交易智能体早就知道了明天的新闻
Published:
Benchmark Radar 第 111 天。你的交易智能体早就知道了明天的新闻。本轮抓取 1,492 条,发布 694 条,其中 317 条标为推荐。
Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。
rta-bench 是一个新基准,它测试语言模型交易智能体,同时不允许其利用未来信息进行交易。它在每条新闻标题发布的分钟重放该标题,在下一个市场开盘时成交订单,并使用三个冻结的历史市场。这直接解决了按日期关联新闻与价格的回测问题,在那种做法里,一条 16 点 05 分发布的标题可能影响在此之前 16 点收盘时进行的交易。为交易智能体选择评估时,事件发生时间和订单可执行时间在这里属于基准本身,因此表面收益衡量的是智能体的决策,不会把交易时还不可用的信息误算成决策成果。 jacksonwangpro1/rta-bench-llm-trading-benchmark。
Ragas v0.4.4 是一次维护和安全更新,并非新的评估套件。它恢复了因依赖项变更而无法正常运行的全新安装,将已移除的 Vertex AI 模块设为可选导入,修复了多模态指标中已披露的漏洞,并针对当前的 Anthropic 模型调整请求。已经使用 Ragas 评估当前 OpenAI 或 Anthropic 模型的团队需要注意,较早的安装可能会失败,或发送新模型拒绝的参数,多模态评估还存在所提及的安全问题。升级前后生成的结果可能需要记录其 Ragas 版本。 vibrantlabsai/ragas v0.4.4。
为什么要在意
一条 16 点 05 分的标题推动了 16 点的交易,这样的回测衡量的是信息泄露,无法衡量交易水平。而负责衡量的工具本身也需要记录版本,因为未经修补的评估器可能悄悄失败,或评估了一个和你以为的不同的模型。时间属于测试的一部分,测试工具也属于结果的一部分。
扫描范围
这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 694 条证据中的 140 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。
数据与简报:2026-11-14 归档快照。

