前沿实验室的研究人员几乎不再阅读论文了?OpenAI 的一位研究员直言不讳地批评了三大顶会:充斥着夸大其词和造假。这一观点的导火索,源于一篇效果好得可疑的 ICLR 论文,网友在深入研究后发现,现在的顶会论文似乎已经进化出了新的“生存法则”。

网友们发现,在顶会发表论文如今似乎更看重“表演”:第一看代码是否开源,第二看实验方法里有没有藏着什么“歪门邪道”,第三才是跑出来的结果能否支撑核心结论。在这层层拷问下,顶会论文究竟有几篇经得起检验?

答案令人咋舌。今年 7 月,由芝加哥大学计算机科学与数据科学副教授谭宸浩联合创办的 SAI(斯坦福人工智能研究院)公布了一次大规模的“实验审稿”。他们选取的对象是 ICML 2026 全部的 168 篇 Oral 论文。作为会议投稿中占比约 0.7% 的顶级成果,这 168 篇论文无疑是学术界的“尖子生”。

SAI Review 采用了比传统审稿更为严苛的标准。除了和传统审稿人一样阅读论文、评估实验设计和结果外,他们还下载了代码、模型和数据,配置环境并实际运行实验,最后将运行结果与论文原文逐项对照。

审查结果显示,在 168 篇 Oral 论文中,只有 104 篇开源代码,最终完成完整复现的有 105 篇。然而,复现得分并不乐观:仅有 34 篇论文复现了超过 40% 的主张,而复现比例超过 80% 的,只剩下 8 篇。

无论每篇论文至少包含 1 项、3 项还是 5 项可验证主张,复现得分的中位数始终徘徊在 28% 到 30% 之间。即使排除掉因硬件限制而中止的实验,复现的中位数也仅提升至 42% 到 50%。当每篇论文至少包含 3 项可验证主张时,中位数稳定在 42%。

复现过程中遇到了各种“经典”问题:代码无法运行、文件缺失、说明不完整、依赖损坏,或者代码跑出的结果与论文数据对不上。更严重的是,有 4 篇论文依赖的模型已经下线,导致后来者即便投入巨资也无法重现。

SAI 还列举了两个具体案例。一篇论文大肆宣传“仅训练基础模型 0.77% 的参数”,实际开源的检查点却训练了 6.31% 的参数,约为宣称数字的 8 倍。另一篇论文展示了由裁判模型评分的可靠性表格,但开源代码中根本找不到这个裁判模型,也没有脚本能算出表格里的数字。

这种“劣币驱逐良币”的现象背后,是高昂的验证成本。根据 SAI 基于 Google Cloud 公开价格的估算,完整重跑一篇 ICML Oral 论文,成本中位数约为 8900 美元。在 105 篇可复现论文中,有 17 篇成本超过 10 万美元,最昂贵的一篇甚至接近 220 万美元。论文越依赖大规模算力,独立复现就越困难。

没有代码,问题无从检查;有了代码,也未必有人付得起这个成本。于是,一篇存在问题的论文完全可能顺利通过评审、获得引用,再被写进简历,换来录取、教职或进入大实验室的机会。而偶然有人发现结果对不上,会议很少重新审查,论文也未必会被撤回。正如评论区所言:“做出糟糕的研究有收益,却几乎没有代价。”

在大模型领域,许多真正的突破确实不再以论文形式出现。作为 OpenAI 的工程师,身处产业前沿,有这种感受并不难理解。毕竟他们拥有充足的算力、快速的实验反馈和海量的内部数据,确实有底气“不读论文”。但这番言论却引发了争议。有网友讽刺这是“上岸后抽走梯子”:大实验室从高校抢走人才和资源,利用公开成果建立优势,自己越来越少接受同行评审,转过头却宣称学术研究“主要是骗局”。虽然稍显刻薄,但逻辑确实成立。

这些前沿实验室的人可以“不读论文”,但是想进入的人还是要先发论文。对于缺少产业经历的学生和年轻研究者来说,顶会论文依然是证明研究能力最直接的凭证。申请博士、寻找教职、进入 OpenAI 这样的前沿实验室,都要依靠论文获得关注度。产业界在招聘时依然看重论文,学生想要进入大实验室,仍需先发论文。

论文于是陷入了一种尴尬的位置:它在知识传播上的可信度受到质疑,但在人才竞争中的价值却丝毫没有消失。因此,“大实验室已经不读论文了”这句话,听起来稍显清高和傲慢。因为真正有资格不读论文的人,往往已经凭借论文跨过了那道门槛。

当然,这也并非所有学生都是精心设计骗局的“学术反派”。一位高校研究者半开玩笑地说,他倒希望自己的学生已经有能力写出一篇夸大其词甚至造假的论文,因为这意味着他们已经掌握了规则;而有的人还在为 LaTeX 的排版挣扎。

最新快讯

2026年08月25日

23:07
当地时间8月25日,保加利亚国防部长斯托扬诺夫对媒体表示,已于本月21日离开保东部贝兹梅尔空军基地的美军加油机没有返回保加利亚的计划。斯托扬诺夫进一步解释说,尽管今年7月保加利亚议会批准美军加油机在贝兹梅尔空军基地驻扎至今年10月1日的决定仍然有效,但美国方面已经确认美军加油机不会再返回保基地。 (央视新闻)
23:07
鼓狮财经8月25日讯,美联储柯林斯表示,当前通胀水平依然过高。在接下来的数月里,她将重点考察通胀能否持续回落至2%。她对于美联储维持物价稳定的职责表示担忧。此外,她认为劳动力市场目前与充分就业状态保持一致,经济增速也维持在接近趋势的水平。
23:06
刚刚,苹果公司正式推出了两款备受瞩目的Mac新品,分别是搭载M5 Pro与M6芯片的Mac mini,以及搭载M5 Max和M5 Ultra芯片的Mac Studio。这也是苹果CEO蒂姆·库克在卸任前发布的最后一款产品。苹果官方强调,M5 Max和M5 Ultra是苹果迄今为止性能最强的芯片。 Mac mini方面,苹果于8月25日发布新闻稿,宣布这款产品...
22:33
鼓狮财经8月25日讯,保加利亚国防部长斯托扬诺夫当地时间8月25日向媒体透露,已于本月21日离开保东部贝兹梅尔空军基地的美军加油机,美方已明确表示不会重返该基地。斯托扬诺夫进一步解释说,尽管保加利亚议会此前批准的驻扎至10月1日的期限依然有效,但美国方面已确认这些加油机将不再返回。
22:33
鼓狮财经8月25日讯,美国证券交易委员会(SEC)已向多家华尔街大型银行发出传票,旨在深入调查备受瞩目的AI对冲基金Situational Awareness上月遭遇的流动性危机,重点关注其杠杆使用情况及融资结构。据媒体周一报道,SEC要求这些银行提供有关该基金交易活动的详细信息,以及基金与为其提供杠杆融资的机构之间的沟通记录。 针对监管审查,Situati...
22:33
【热点】楚天龙(003040.SZ):终止2026年度向特定对象发行A股股票事项温氏股份(300498.SZ)上半年净亏损43.66亿元【项目投资】金辰股份(603396.SH)拟投资10亿元建设半导体装备研发及制造项目天通股份(600330.SH):拟投资4.34亿元建设年产14600吨高端软磁新材料智能化制造项目【业绩】中科曙光(603019.SH):上...
21:57
8月25日,中科电气发布公告称,公司拟联合成都产投先进制造产业股权投资基金合伙企业(有限合伙)及控股子公司中科星城科技,共同对中科星城控股实施增资,总投资额合计10.6亿元。 其中,成都产投先进投出资10亿元认购新增注册资本2.63亿元,中科星城科技出资6000万元认购新增注册资本1577.29万元。增资完成后,中科星城科技持股比例将升至54.57%,成都产...
21:57
鼓狮财经8月25日讯,罗博特科(300757.SZ)发布公告,宣布董事会已审议通过调整日常经营重大合同的自愿性披露标准。根据新规定,满足以下任一情形即需进行披露:单笔合同金额达到2亿元(含2亿元)且占最近一期经审计主营业务收入10%以上(含10%);连续十二个月内与同一交易对手方累计交易金额达到5亿元(含5亿元)且累计占主营业务收入20%以上(含20%);或...