前沿实验室的研究人员几乎不再阅读论文了?OpenAI 的一位研究员直言不讳地批评了三大顶会:充斥着夸大其词和造假。这一观点的导火索,源于一篇效果好得可疑的 ICLR 论文,网友在深入研究后发现,现在的顶会论文似乎已经进化出了新的“生存法则”。
网友们发现,在顶会发表论文如今似乎更看重“表演”:第一看代码是否开源,第二看实验方法里有没有藏着什么“歪门邪道”,第三才是跑出来的结果能否支撑核心结论。在这层层拷问下,顶会论文究竟有几篇经得起检验?
答案令人咋舌。今年 7 月,由芝加哥大学计算机科学与数据科学副教授谭宸浩联合创办的 SAI(斯坦福人工智能研究院)公布了一次大规模的“实验审稿”。他们选取的对象是 ICML 2026 全部的 168 篇 Oral 论文。作为会议投稿中占比约 0.7% 的顶级成果,这 168 篇论文无疑是学术界的“尖子生”。
SAI Review 采用了比传统审稿更为严苛的标准。除了和传统审稿人一样阅读论文、评估实验设计和结果外,他们还下载了代码、模型和数据,配置环境并实际运行实验,最后将运行结果与论文原文逐项对照。
审查结果显示,在 168 篇 Oral 论文中,只有 104 篇开源代码,最终完成完整复现的有 105 篇。然而,复现得分并不乐观:仅有 34 篇论文复现了超过 40% 的主张,而复现比例超过 80% 的,只剩下 8 篇。
无论每篇论文至少包含 1 项、3 项还是 5 项可验证主张,复现得分的中位数始终徘徊在 28% 到 30% 之间。即使排除掉因硬件限制而中止的实验,复现的中位数也仅提升至 42% 到 50%。当每篇论文至少包含 3 项可验证主张时,中位数稳定在 42%。
复现过程中遇到了各种“经典”问题:代码无法运行、文件缺失、说明不完整、依赖损坏,或者代码跑出的结果与论文数据对不上。更严重的是,有 4 篇论文依赖的模型已经下线,导致后来者即便投入巨资也无法重现。
SAI 还列举了两个具体案例。一篇论文大肆宣传“仅训练基础模型 0.77% 的参数”,实际开源的检查点却训练了 6.31% 的参数,约为宣称数字的 8 倍。另一篇论文展示了由裁判模型评分的可靠性表格,但开源代码中根本找不到这个裁判模型,也没有脚本能算出表格里的数字。
这种“劣币驱逐良币”的现象背后,是高昂的验证成本。根据 SAI 基于 Google Cloud 公开价格的估算,完整重跑一篇 ICML Oral 论文,成本中位数约为 8900 美元。在 105 篇可复现论文中,有 17 篇成本超过 10 万美元,最昂贵的一篇甚至接近 220 万美元。论文越依赖大规模算力,独立复现就越困难。
没有代码,问题无从检查;有了代码,也未必有人付得起这个成本。于是,一篇存在问题的论文完全可能顺利通过评审、获得引用,再被写进简历,换来录取、教职或进入大实验室的机会。而偶然有人发现结果对不上,会议很少重新审查,论文也未必会被撤回。正如评论区所言:“做出糟糕的研究有收益,却几乎没有代价。”
在大模型领域,许多真正的突破确实不再以论文形式出现。作为 OpenAI 的工程师,身处产业前沿,有这种感受并不难理解。毕竟他们拥有充足的算力、快速的实验反馈和海量的内部数据,确实有底气“不读论文”。但这番言论却引发了争议。有网友讽刺这是“上岸后抽走梯子”:大实验室从高校抢走人才和资源,利用公开成果建立优势,自己越来越少接受同行评审,转过头却宣称学术研究“主要是骗局”。虽然稍显刻薄,但逻辑确实成立。
这些前沿实验室的人可以“不读论文”,但是想进入的人还是要先发论文。对于缺少产业经历的学生和年轻研究者来说,顶会论文依然是证明研究能力最直接的凭证。申请博士、寻找教职、进入 OpenAI 这样的前沿实验室,都要依靠论文获得关注度。产业界在招聘时依然看重论文,学生想要进入大实验室,仍需先发论文。
论文于是陷入了一种尴尬的位置:它在知识传播上的可信度受到质疑,但在人才竞争中的价值却丝毫没有消失。因此,“大实验室已经不读论文了”这句话,听起来稍显清高和傲慢。因为真正有资格不读论文的人,往往已经凭借论文跨过了那道门槛。
当然,这也并非所有学生都是精心设计骗局的“学术反派”。一位高校研究者半开玩笑地说,他倒希望自己的学生已经有能力写出一篇夸大其词甚至造假的论文,因为这意味着他们已经掌握了规则;而有的人还在为 LaTeX 的排版挣扎。
