听说了吗?人类研究员的好日子屈指可数,满打满算也就剩两年了。两年之后,人类搞AI研究,就跟今天人类下国际象棋一样。你当然还能下,但压根没人在乎你下得怎么样。这是前OpenAI推理模型一号位Jerry Tworek抛出的最新观点。
他2019年进入OpenAI,一待就是七年。当年强化学习死活scale不动,是他死死咬住不放硬推上去的,o1和o3这两代大杀器都是他亲自带队砸出来的。「我们想造AGI。」这是2019年他刚进OpenAI时,Ilya在全员会上给出的全部路线图。七年后,他自己出来单干了。
更瘆人的是,这话不是他一个人在说。现在AI研究员之间最流行的一句内部梗是这样的——咱们只剩最后几天班可上了,趁着现在还能干就赶紧干,干完就集体退休休息去吧。大伙儿都把这当黑色幽默来回讲。可每个讲笑话的人心里都跟明镜似的。这玩笑,八成就是现实。
这场访谈里,这种狠话他一句接一句:Agent确实有创造力,可那是一种极其劣质、海量堆砌的创造力,想法五花八门,也普遍烂得可以。全世界真正把一个前沿模型从训练摸到部署的人,可能也就三十到五十个,剩下所有人都在给他们打下手,把Transformer当成最优解。这个假设几乎不可能成立。
在OpenAI待的那七年里,真正认真尝试换掉底层架构的次数,只有三到四次。世界非得靠我们上班才转得动,这个前提本来就不成立。Tworek觉得,Transformer没法在部署后继续学,上下文窗口也撑不住,想靠持续微调去补,不仅效率极低,而且会灾难性遗忘。所以这几年行业围着Transformer做的大部分活,其实是在把它变便宜,很少有人真的在把它变强。
这些道理业内没人不懂。可这么多年过去,为什么Transformer还稳稳立在那儿?背后的原因简单得有点荒唐——压根就没怎么试过。Tworek自己就在OpenAI撞过一次一模一样的死局。当时那批半死不活的实验,挣扎出了那么一点「生命迹象」。就在这个节骨眼上,后来坐上OpenAI首席科学家位子的Jakub Pachocki找到了他。「Jare,这些GPU统统给你,你看看能不能把手上的结果搞得再大一点、再狠一点。」「现在你手里有这些GPU了。」
这句话把他从一个悖论里捞了出来——你必须先拿出结果,才有资格要算力。可你明明得先有那笔算力,才砸得出结果。Tworek说,大部分前沿方向都困在这个悖论里。实验室里为抢算力打得头破血流的暗战,说到底都是在找一条出去的路。而出口,有时候就是领导层那么一点点信心。只要有人从上面发话,说我希望你能有一笔像样的算力配额去狠狠搞它。这就足够了。闸一开,后面就收不住了。强化学习从这个节点开始,跨过了好几个数量级。然后o1的破茧而出,推理模型这条被无数人判过死刑的路,硬是被他走活了。
而这一次,他不用再等谁发话了。整条链上最烧钱的环节,就是把抽象的想法翻译成能真跑起来的代码。而这恰恰正是如今的Agent干得最漂亮的活计。比如Core Automation就曾拿这套打法去啃过GPU的内核。具体来说,他们把一个QR分解内核丢给编程Agent跑了四周,烧掉大约十万美元的调用成本,最后把这个内核的速度推到了原来的六十倍。这活儿属于底层性能工程,抠的是一段矩阵运算在显卡上怎么跑得更快,平时得靠极少数专家一行一行手调。而这样的专家,全世界也没几个。现在十万美元就能顶上一个。它既不用被说服,也不需要三到六个月。卡了七年的那道关口,就这么被冲开了。
那以后我们还能干嘛?连最难啃的架构都松动了,那几十个人手里的方向盘,也就握不了多久。
访谈最后,主持人把这件事挑明了问他,等这一天真的到了,人还剩下什么可干的。对此,Tworek描述了两幅画面。
第一张是古希腊。大伙儿在广场上碰个头,慢条斯理聊上一整天哲学,然后跑去锻炼身体,吃着橄榄,喝着葡萄酒。他自己刚描绘完就笑了,承认这大概只是在投射他本人的愿望。「我们在广场上碰个头,然后聊天。」
第二张是高中,或者说大学。他觉得人应该保留一种对「卓越」本身的追求。继续贪婪地学新东西,把身体和脑子都往死里练。这有点像职业体育,没有任何经济上的理由非逼着你去流血流汗,可人骨子里的骄傲,就是要去够一够那个叫「伟大」的东西。我们得找到各种方式去干这件事。因为在下一个世界里,不会再有那种「你不做,这世界就要塌了」的事情。
Tworek说,这一行的节奏极度消耗人,这么多年干下来,真的是非常非常累。「但如果我们真的相信,这是我们整个职业生涯里最重要的一段时间。」「那大概,是极其值得的吧。」
