Benchmark Radar 第十天:AI 简报、GPT 洞察与发布准备
Published:
雷达开始会自己说话了。第十天我们加了 AI 生成的每日简报、GPT 驱动的洞察,还有面向中文社交平台的发布文案。
Benchmark Radar 已上线。 每天追踪新的 AI 基准测试、数据集与排行榜:打开仪表盘 或 在 GitHub 上 Star。
大家好,我是 Koutian。先说几个词。token 是大模型处理文字的基本单位,它按 token 算字数,也按 token 计费。速率限制(rate limit)是 API 每分钟能处理的量有上限,超了就会报错。webhook 是一种自动通知,事件发生时会主动推给你。
第十天做了这些。
我们加了「有界的每日 AI 简报」。雷达会从自己的发现里生成一段每日总结。它受 token 预算约束,所以不会在句子一半突然被截断。
我们加了「GPT 雷达洞察」。每条洞察都由 GPT 生成,而且带证据,每个结论都链接到具体来源。简报里还写了采集时间:数据是什么时候采的、覆盖了哪段时间。
OpenAI 的速率限制现在会处理了。碰到 API 报速率限制错误,系统会诊断原因,并按指数退避重试。就算 API 返回了被截断的错误,也不会让整条流水线崩掉。
洞察内容也适配了 token 预算。这样在 API 边界处就不会被切掉。
首页简报现在能链接到证据了。证据详情默认折叠起来,页面看着仍然清爽。
每天的新发现开始按「价值」排序。现在排发现先看价值:读者能从这条发现里得到多少新信息,而不是只看时间。筛选漏斗里损耗最大的一步会被标出来。
低于推荐阈值的记录,只要满足资格条件也会保留,避免不必要的数据丢失。
跨整个归档的观察渲染现在加了限制,防止页面变慢。
扫描日期的过滤器修好了。现在能显示所有日期,不用一条条选。
分享链接的 URL 参数也修了。自动前沿信息不再塞进分享 URL,免得接收的人看不懂。
我们还为中文社交平台写了发布帖。小红书的草稿配上了合适的分数说明,已经可以发了。
为什么重要。
每日简报是第一个不用打开仪表盘也能读的人类可读输出。它把雷达从一个你要主动去翻的工具,变成了会主动来找你的工具。GPT 洞察层给数据加了一层解读。它会告诉你这里发生了什么变化,以及为什么这件事重要。
速率限制处理是上线必须的。OpenAI API 每分钟有 token 上限。没有重试逻辑的话,一次速率限制错误就能搞垮整个每日简报运行。
解决掉的 issue 和 PR:
- #121:有界的每日 AI 简报
- #125:连接器失败时来源面板折叠
- #126:Semantic Scholar 搜索请求修复
- #128:在仪表盘上持久化每日简报
- #130:计算每日发现
- #131:按学习价值对发现排名
- #132:URL 和过滤器修复(#123, #129)
- #133:标注最大漏斗损耗
- #135:保留符合条件的记录
- #136:在每日发现中标注证据
- #138:GPT 雷达洞察
- #139:OpenAI 速率限制处理
- #140:Token 预算适配
- #141:简报输出截断修复
- #142:简报证据链接
- #143:折叠简报证据详情
第十一天:KW-Bench 能力层与社区发布。
想跟进 Benchmark Radar?在 GitHub 上 Star 仓库 获取每日更新,或 打开实时仪表盘 浏览扫描结果。阅读论文:arXiv:2609.11115。
