Auditing AI peer reviewers: a benchmark on real scientific papers
一句话概括
作者提出一个在真实论文中注入可定位错误的基准,用来审计 AI 审稿系统。结果显示,模型选择对检出率的影响最大,工具与脚手架只在补足模型短板时有效。
速览
- 任务:向真实 arXiv 预印本注入 4 类、3 个严重程度的客观错误,测量审稿系统的检出率与误报率。
- 规模:天体物理与机器学习(ML)两个语料库,各 15 篇近期预印本,共注入 357 个错误,评测 12 个审稿系统。
- 关键数字:同一提示下,3 个前沿大语言模型(LLM)的总检出率相差约 50 个百分点;多数系统误报率低于 10%。
- 开源:评测流水线、注入错误与裁决日志作为基准发布;代码仓库地址摘要未给出。
问题背景
基于 LLM 的同行评审已进入生产规模使用。但其评测方式仍然有限。
现有评测多依赖人工构造的评审任务或主观打分。这类评测难以回答一个具体问题:审稿系统能否发现论文中客观存在的错误。
作者因此转向可验证的错误注入思路。错误必须可定位、有唯一正确答案,才能客观计分。
方法要点
- 错误注入:在真实论文中注入 4 类错误,即一般性问题、数学、数值、引用。每类设 3 个严重程度。
- 双指标:统计各系统按错误类型与严重程度的检出率,并在干净副本上测误报率。
- 系统对比:6 个单 LLM 审稿器、2 种 Claude Code 配置、3 个公开审稿器,以及作者提出的 Skepthical。
- Skepthical 设计:多智能体审稿器。引用类主张通过检索被引论文核验,数学主张用计算机代数核验,数值主张用实际执行代码核验。
- 控制变量:比较同一提示下不同模型的表现,以分离模型能力与脚手架的作用。
关键结论
- 模型是主导因素。相同提示下,3 个前沿 LLM 在两个语料库上的总检出率均相差约 50 个百分点。
- 工具有效但有条件。脚手架在提供模型自身无法给出的信息时才有帮助。
- 天体物理上,Claude Code 相比单次 Claude 调用提升了数学与数值错误的检出率。
- 强制引用检索让 Skepthical 的引用错误检出率大幅领先所有系统。
- 该引用优势未在 ML 上重现。作者推测模型更熟悉 ML 文献,Skepthical 的引用检出率与最佳单 LLM 在统计上无法区分。
- 误报率多数系统低于 10%,但随提示、模型与脚手架变化。数学类标记是误报的主要来源。
读后思考
这篇工作的价值在于把「AI 审稿好不好」拆成可计分的子问题。错误注入让检出率成为可比较的量,而不是评审文风的印象分。
「模型差距约 50 个百分点」这一结果值得关注。它意味着换模型可能比加工具更直接地改变审稿质量。
Skepthical 的引用优势在 ML 上消失,提示外部检索的收益取决于模型的知识边界。这对工具设计有直接含义:先判断模型缺什么,再决定加什么。
局限与开放问题
- 语料规模有限:两个领域各 15 篇,结论能否外推到其他学科,摘要未给出证据。
- 注入错误是人工构造的客观错误。真实论文中的错误更隐蔽、更依赖上下文,基准可能高估检出能力。
- 严重程度分级与错误定位的判定标准,摘要未给出细节。
- 误报率低于 10% 在真实审稿场景中是否可接受,缺少与人类审稿人的对照。
- 引用检索依赖被引论文可获取性。开放获取覆盖率低的领域,该方法效果可能下降,摘要未讨论。