Benchmark Radar 第 90 天:个人记忆需要权限检查,不只是记得准

less than 1 minute read

Published:

Benchmark Radar 第 90 天。个人记忆需要权限检查,不只是记得准。本轮抓取 1,231 条,发布 535 条,其中 242 条标为推荐。

作者:Koutian Wu;GitHub: ktwu01

Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。

PGMem 参考实现把智能体个人记忆的安全要求变成了可执行检查。它包含带来源类型的记录、受权限控制的协助、触发拒答的回忆阈值和执行时的同意检查,还有 19 项自动化测试与一个覆盖 240 名参与者、17,142 个任务回合的合成数据集。检查的不只是记得准不准,还有系统能否追溯证据、拒绝没有依据的回忆。 PGMem: A Reference Implementation of Provenance-Governed Agentic Memory Support with a Synthetic Dataset and Statistical Evaluation。

AmbiGUI 测试操作图形界面的智能体在指令含糊时是先请求澄清,还是立即行动。它评估的是普通任务完成分数容易漏掉的一条界线,智能体能否识别出所要求的操作并没有说清楚。这样就能分开两类智能体,一类靠提问消除不确定,另一类只是闷头执行。 facebookresearch/AmbiGUI。

为什么要在意

一个记忆系统该不该用,要看它能否追溯证据、拒绝无依据的回忆,并在行动前重新检查同意。界面操作上也一样,识别不出指令含糊的智能体,会直接照着做。

扫描范围

这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 535 条证据中的 126 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。

数据与简报:2026-10-24 归档快照。