Benchmark Radar 第 97 天:每条回复都没问题,整场对话却可以出事

less than 1 minute read

Published:

Benchmark Radar 第 97 天。每条回复都没问题,整场对话却可以出事。本轮抓取 1,202 条,发布 517 条,其中 238 条标为推荐。

作者:Koutian Wu;GitHub: ktwu01

Benchmark Radar 已上线。 打开仪表盘、在 GitHub 上 Star,或阅读论文。数据见 Hugging Face 数据集。

SAFE-CARE Bench 为面向患者的医疗智能体制定了一套覆盖多轮对话的发布门禁协议。它测试风险是否会在单条回复看似都可接受的情况下不断累积,以及转交人工医疗是否及时,同时声明启用的能力,让团队能在自己的运行环境中复现这套协议。评估的单位是整条对话路径,单看一条回答不够。 SAFE-CARE Bench: A Benchmark Specification and Evaluation Protocol for Safety, Guardrails, and User Experience in Multi-Turn Healthcare AI Agent Conversations。

MURPHY 使用 1,500 条多语言和表情符号提示,审计推理服务器能否正确报告词元标识和概率记录。它把记录完整性与指令遵循分开评分,所以模型可以完成被要求的任务,同时它的诊断输出仍然是错的。任务成功,不被当作遥测数据正确的证据。 bytkim/MURPHY-BENCHMARK。

为什么要在意

批准一个医疗智能体,要看的是多轮对话里的延迟转交和安全与准确之间的取舍。对测量本身也该如此,系统报告的自身输出记录,需要有它自己的检查。

扫描范围

这是按关键词筛选的发现信息流,不能代表全部 AI 研究。归档简报使用了所收录 517 条证据中的 113 条。本文概述其中引用的发布成果;扫描发现日期不一定是成果的最初发布日期。

数据与简报:2026-10-31 归档快照。