Benchmark Radar 第 107 天：你的回测早就知道未来
Published:
Benchmark Radar 第 107 天。你的回测早就知道未来。本轮抓取 1,148 条，发布 611 条，其中 307 条标为推荐。
Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star，或阅读论文。数据见 Hugging Face 数据集。
MetaPI 是一个新的工具包，它把现有的智能体效用基准改造成端到端的间接提示注入测试。间接提示注入是指藏在智能体读取内容里的恶意指令。MetaPI 复用真实任务、环境和基础设施，找出注入点并生成攻击目标，不再依赖一小批固定攻击样本。评估使用工具的智能体时，这套方法可以在衡量任务成功率的同一工作流上测试安全性，缩小效用评估和安全评估之间的落差。 MetaPI: Constructing Prompt Injection Benchmarks from LLM Agent Benchmark。
FinCutBench 是一个新的基准，用于定位模型金融知识的日历边界。它的 9,000 道中英文题目覆盖 2023 年 1 月到 2026 年 9 月公开的事实，可以检测模型参数里是否含有某个历史决策时点还不存在的信息。在金融回测里使用语言模型时，这个基准改变了模型选择方式，它暴露了参数前视偏差，表面上的预测表现可能依赖模型里已经存好的未来事实。 FinCutBench: A Continually Updated Benchmark for Measuring the Temporal Boundaries of LLM Financial Knowledge。
为什么要在意
部署使用工具的智能体时，任务成功率很高并不能说明藏在读取内容里的指令无法劫持它。拿语言模型做回测时，漂亮的预测成绩可能是对未来的记忆，并非预测。安全性和时间现在都是基准必须衡量的部分。
扫描范围
这是按关键词筛选的发现信息流，不能代表全部 AI 研究。归档简报使用了所收录 611 条证据中的 168 条。本文概述其中引用的发布成果；扫描发现日期不一定是成果的最初发布日期。
数据与简报：2026-11-10 归档快照。