哈佛大学组建了一支由顶尖专家构成的人类评审团队，但在与AI的对比中，Claude 实现了全面超越。
面对同一批124篇论文，双方各自出具评审意见。在七个评判标准上，人类未能赢得任何一项。
三位来自知名期刊的前任编辑被邀请进行盲选，30次评判中有26次选择了Claude。其中一位编辑在10组意见中，从未将票投给人类。
这三位前编辑各自比较了10组匿名意见，仅基于评审内容，未重新阅读论文。
学术圈最为担忧的“AI虚构事实”现象，在此次研究中出现了反转。研究人员将评审意见与原文逐句比对，发现人类专家的错误比例几乎是Claude的三倍。
这项研究由哈佛校级教授、定量社会科学研究所所长Gary King，以及该所数据科学主任Steven Worthington共同完成，其标题直截了当：AI评审已超越人类同行评审的最佳状态。
两人在论文中承认，研究之初，他们只期望AI能在某些方面或某些时候胜出。然而，结果却是AI在所有可衡量的指标上都占据了优势。
沃顿商学院教授Ethan Mollick在阅读后立即转发，呼吁学术界尽快思考如何根据AI的发展调整科研模式。
哈佛设立擂台，付费专家对阵联网Claude
为确保比较的公平性，研究团队选择了最强的人类评审。
学术期刊的评审流程向来存在弊端。评审者通常无报酬且时间紧张，有人可能在读到第三页发现一个硬伤后，便不再继续审阅。
因此，King团队选择了rapidPeer——哈佛定量社会科学研究所提供的“投稿前预审”服务，该服务后来也向其他机构开放。这里的评审者是从外校挑选的领域专家，每审一篇论文都有报酬，表现优秀者会持续获得任务。
他们需要通读整篇论文，撰写1.5至2页的评审意见，专注于帮助作者改进论文，而非判断是否应该发表。
效果也确实显著。在74位作者回复的调查问卷中，88%的人认为评审质量高或非常高。几位知名期刊的前任编辑看过这些意见后，也表示它们属于所见过的最高水平。两位作者甚至写道，据他们所知，没有哪批人类评审是在比这更好的条件下完成的。
研究使用了该服务从2019年到2026年的所有有效投稿，共124篇论文、134份人类评审意见，涵盖统计分析、数学建模到纯定性研究。
Claude方面，上场的是Opus 4.8，推理能力调至最高档。它分两个身份参赛。一个与人类完全对等，使用相同的13条评审指南，不允许使用任何外部工具。另一个是调优版，拥有专门编写的评审提示词，并能联网搜索，平均每篇论文搜索12.4次。
这份提示词读起来像一位严格导师的叮嘱。它要求Claude通读全文和图表，主动搜索作者遗漏的前人研究。每篇引用都必须真实搜索到并附上链接，不允许凭记忆引用。它还要求Claude区分哪些问题支撑整篇论文，先讲最重要的两三个，不得客套或凑字数。
裁判是另一家公司的GPT-5.5。两份意见去除格式和出处，调换顺序各比较一次，两次都选择同一份才算赢。除了整体比较，它还在七个维度上逐项比较，并为每份意见打分（0到10分）。
GPT-5.5当裁判，Claude七局全胜
结果出来后，两位作者的评价是“毫不含糊”。在整体比较中，GPT-5.5从未判定人类获胜，所有分出胜负的对比都归Claude。在七个维度上，Claude在找弱点、评方法、补文献三项上全胜。图表赢了99%，理论与想法、论证框架、表达也各赢了92%。
在打分方面，Claude平均8.7分，人类6.0分。拉开最大差距的两项，恰好是审稿时最费功夫的两项。补文献一项，人类专家4.73分，联网的Claude是9.55分。不让它上网时，它在这一项只赢下62%，开了搜索才变成全胜。图表一项，人类平均只有2.95分，Claude是7.57分，不少意见对图表只字未提。
还有一个细节耐人寻味。三位前编辑彼此判断一致的比例是80%，他们和GPT-5.5的一致率反而有87%。也就是说，人类编辑与这位AI裁判的看法，比与自己的同行还要一致。
给人类换上AI文风再比，照样一组没赢
如此悬殊的比分，首先让人怀疑实验本身。两位作者自己先当了一回质疑者，一口气做了十类稳健性检查。
第一个怀疑是AI靠篇幅取胜。研究者只留下字数相近的44组，Claude照样44组全胜。接着有人会说，GPT-5.5偏爱AI的腔调。于是研究者让Claude把134份人类意见全部改写成AI口吻，论点一个不动。换了腔调的人类意见，还是一组都没赢回来，平均分反倒从5.93分掉到了5.87分。
也有人会说，人类样本里混进了水平一般的。研究者就只看评分前40%的人类意见，再挑出和AI最接近的28组。人类依然一组没赢，分数最高的那份，也比AI低0.7分。
还有人担心，Claude训练时见过这些论文后来发表的版本。可按投稿年份一拆，不联网的Claude在2022年及以前的老论文上拿8.2分，在2025到2026年的新稿上拿8.1分，几乎没有差别。
最后一个疑问，是只用一家模型、一种裁判，结论靠不住。研究者干脆让Claude和GPT互当审稿人和裁判，比了416次。不管谁当裁判，AI都赢了九成以上，人类那份意见在五份里基本垫底。
拿原稿逐句对照，专家错误率是AI近3倍
意见写得漂亮，不等于写得对。GPT-5.5比整体时只读了意见，没对照论文原文。所以研究者又专门查了一遍，这些意见到底靠不靠谱。
第一关是引用。联网的Claude在意见里引了651篇带DOI或arXiv编号的文献，研究者一篇篇拿去数据库比对。651篇里，没有一篇是编出来的。抽查引用的用法，能判断的100处里，99处都和要说的问题对得上。
更难的一关，是核对意见里对论文本身的描述。这一轮比的是不联网的Claude和人类。研究者把意见拆成一句句具体说法，隐去出处，让模型拿着原稿逐条判对错。判错的门槛很高，原稿里有直接反证才算错。比如有审稿人批评论文“没做稳健性检验”，可第5节明明写着做了。
结果，人类专家的956次核查里，有152次被判错，占15.9%。Claude的1039次核查里只有57次，占5.5%。按整份意见算，64.2%的人类意见至少错了一处，Claude这边是37.1%。
判错的模型本身靠不靠谱，研究者也验了。人工复核90条，87条结论一致，剩下3条分歧，全是模型冤枉了Claude。他们还给这位核查员设了个陷阱，往审稿意见里塞进258句只改了几个词的反话。结果全被揪了出来，同样多的真话，一句没被误判。
这批专家有报酬、有口碑，还被要求通读全文，逐句对照原稿时，错的却比AI多。挡在AI审稿前面的那条最大理由，在这组数据面前已经站不太住了。
以后投论文，先让AI挑一遍刺
不管期刊允不允许，审稿人其实已经在用AI了。Nature报道过，超过一半的研究者在用AI审稿，不少人还违背了相关规定。ICML 2026做过一次随机分组实验，被分到“禁用AI”组的受访审稿人里，仍有22.5%承认自己用了。
斯坦福大学政治学副教授徐轶青转发这篇论文时说，禁止审稿用AI的期刊，都该重新想想自己的立场了。
所以King和Worthington在论文后半部分，干脆讨论起期刊接下来该怎么办。他们设想了一套新流程。期刊公开一份官方的AI审稿提示词，作者投稿前先用它把论文审几遍、改几遍。投稿时，论文、AI意见和作者对每条意见的回应一起交上来。编辑再换一套不公开的提示词复审，难判的稿子请编委或外部专家把关。最后发不发，还是编辑说了算。
照这个流程走，两人认为，发表决定有望从几个月缩到几天。作者的回应信，是这套流程里少不了的一环。因为论文改到后面，AI会开始较真到离谱。论文里举的例子是，AI可能会说“没错，2+2=4，但你从来没定义过+号”。这时候，作者得有地方据理力争。
风险两人也没回避。每个人用AI想点子，单看都更有新意，放在一起却越来越像，慢慢都往主流、保守的方向靠。所以他们建议，期刊要一直追踪作者和AI意见不合的地方，不断调整提示词和模型。
一份认真的审稿意见，过去是科研里的稀缺品。要等上几个月，还得碰运气，看能不能遇上用心的审稿人。如果AI能让它随叫随到，科学家就能更早听到批评，更快改出下一版。至于哪篇论文配得上哪本期刊，两位作者认为，仍然只能由人类编辑来判断。
参考资料： https://gking.harvard.edu/peerless/ https://x.com/emollick/status/2113483068174692831 本文来自微信公众号“新智元”，作者：ASI启示录，36氪经授权发布。