在最新的访谈中，奥特曼给出了一个罕见的评价：「他可能是AI历史上最重要、却不太为人所知的研究者。」这个人就是Alec Radford，真正的GPT之父。你可能没听过他的名字，但大概率使用过他发明的东西。从GPT-1、GPT-2、CLIP到Whisper，他都是论文的第一作者。此外，他还深度参与了GPT-3、DALL-E、Scaling Laws、GPT-4以及GPT-4o等一系列关键工作。奇怪的是，这样一个履历几乎横跨大模型每次关键转向的人，既没有博士学位，也很少接受采访。当ChatGPT红遍全球时，聚光灯下几乎看不到他的身影。但如果你顺着过去十年的AI论文往回翻，会发现一个更奇怪的现象：每当模型开始获得一种此前没有的通用能力，Alec Radford的名字，往往已经提前出现在作者栏里。
OpenAI真正起飞，从招进Alec开始。最新一期《Invest Like The Best》节目中，主持人问奥特曼：「这家公司一路走来，你最欣赏的幕后功臣是谁？」奥特曼脱口而出，是Alec Radford。Alec做出的工作，后来真正演变成了GPT系列。除此之外，他还不断启发、引导身边的人，把研究推向一些后来被证明极为重要的方向。《连线》也同样给过一个分量极重的判断：OpenAI的崛起之路，真正始于它聘用了当时还默默无闻的Alec Radford。
2016年，Alec加入OpenAI。那年他只有23岁。那时，他还是个半夜吃菠萝洋葱披萨、和同学一起打Kaggle比赛的毛头小子，在波士顿的宿舍里创办了一家小型AI公司：Indico。接受邀请加入OpenAI后，Alec也没觉得多重要，反而感觉这份工作「有点像读研究生」。没有太多短期压力，也没有必须立即做成的产品。他可以自由寻找一个当时还没人知道答案的问题：语言模型究竟能干什么？
他的第一次尝试，是拿20亿条Reddit评论训练语言模型。数据规模不小，结果却没什么用。这个实验和OpenAI早期的许多探索一样，失败了。但OpenAI让他继续做下去，时任CTO的Greg Brockman回忆：「我们当时就觉得，Alec很厉害，就让他做他想做的事吧。」于是，这个年轻人得以继续尝试他的实验。但很快，他就受限于OpenAI的算力不足。既然跑不起更大的实验，Alec便把范围缩小，找来大约1亿条亚马逊商品评论，让模型做一件简单到近乎乏味的事：根据前面的文字，预测下一个字符。这个过程中，一个意外出现了。虽然没有人教模型什么叫好评、什么叫差评，但模型内部有一个神经元，开始主动区分评论的正负情绪。把它调向一个方向，模型更容易生成好评；调向另一个方向，它便开始吐槽商品。OpenAI后来把它叫作「无监督情感神经元」。这次实验第一次给出了Alec真正想找的答案：当模型被要求在足够多的数据上完成预测任务时，它可能自行学会一些训练目标里从未明确写出的能力。Ilya Sutskever还鼓励他跳出亚马逊评论，让模型去学习规模更大、内容更多样的文本，甚至是整个互联网。
问题是，以当时的神经网络架构，处理如此庞大的数据可能需要数年。但很快，OpenAI迎来了好运。因为在2017年，谷歌那篇改写AI进程的论文《Attention Is All You Need》横空出世。Ilya一眼就看中了Transformer架构。他的第一反应是：「这正是我们一直在等的东西！」Alec随即把Transformer接到此前的实验路线上。他找来BooksCorpus数据集，其中包括7000多本尚未正式出版的英文书籍，题材横跨爱情、冒险和奇幻。与许多句子被打散的数据集相比，书籍保留了长篇连续叙事，更适合让模型学习前后文之间的远距离关系。他并没有像谷歌那样用Transformer做机器翻译，而是让它预测下一个最可能出现的词。机器有了反应：一个词，接着一个词，再一个词——每个新词都是从那七千本书中隐藏的模式推断出来的。对Alec来说，「这两周内取得的进展，比过去两年加起来都多」。这套实验最终成为GPT-1的预训练基础。他与同事开始谈论一个叫「Big Transformer」的方向：不要给模型设计更多精巧规则，直接把模型、数据和计算规模做大，看看它还能学出什么。
2018年，这条路线有了正式名字：Generative Pre-trained Transformer，简称GPT。第一篇GPT论文共有四位作者，排在第一位的，就是Alec Radford。GPT-1没有立即轰动世界，但它给OpenAI带来了一样更重要的东西：方向。Alec取得突破后，OpenAI管理层作出了一系列关键决定。他们开始把研究资源从机器人等分散项目中收拢，集中到语言模型。比起继续设计复杂的新结构，团队更愿意收集更多数据、投入更多算力，把已经显示出潜力的方法继续放大。一年后，GPT-2发布。它的参数量从GPT-1的1.17亿增加到15亿，训练数据也从7000多本书扩展到约800万个网页。GPT-2论文共有6位作者，Alec仍然排在第一位，并与Jeffrey Wu为共同一作。这一次，模型不再需要针对每项任务重新训练。只靠预测下一个词，它已经能尝试翻译、问答和摘要，甚至在多个零样本测试中取得不错的成绩。2020年初，OpenAI把这种关系写进《神经语言模型的Scaling Laws》论文。Alec同样在10位作者之列。此前依靠一次次实验积累的判断，开始被描述成可以预测的数学规律。同年5月，OpenAI把模型进一步放大到1750亿参数，做出了GPT-3。此时，论文作者已经从GPT-1的4人增加到31人。第一作者变成Tom Brown，Alec排在第29位，仅位于Ilya Sutskever和Dario Amodei之前。署名位置的变化，也暗示了GPT项目性质的改变。它不再是Alec主导的少数人实验，而是OpenAI调动研究、工程和算力共同完成的大型项目。Alec最早推动的路线，已经变成这家公司最重要的技术战略。
但就在GPT真正开始为外界熟知、即将产生巨大影响的时候，Alec却已经把目光移向了别处。语言之外，他又连续押中图像和语音。GPT-3发布后，Alec做回了他的老本行：图像。早在加入OpenAI之前，他最有影响力的作品就是DCGAN。他与Luke Metz、Soumith Chintala把卷积网络引入GAN，解决了这类模型难以稳定训练的问题。他们还发现，模型在学习生成卧室图片时，会自行形成关于床、窗户和场景结构的视觉表征。后来反复出现在Alec研究中的那种直觉，此时已经露出雏形：只要找到一个足够通用的训练任务，模型可能在完成任务的过程中，自己学出更多能力。其实吧，这中间还有个八卦。2016年，黄仁勋在英伟达大会上展示DCGAN生成的图像，却把主要功劳归给了Yann LeCun当时领导的Facebook实验室。Alec和几位同伴坐在波士顿办公室里看直播，非常受伤。不久后，Alec就离开波士顿，加入OpenAI。他的朋友Victoroff甚至认为，这次被忽视是Alec决定前往OpenAI的重要原因之一。几年后，他带着GPT重新回到图像。2020年，OpenAI发布Image GPT：把图片展开成一串像素，再像预测下一个词一样，预测下一个像素。Alec排在论文作者第二位。它证明，GPT并不天然属于语言。只要数据能够被表示成序列，同一套方法也可以用来学习图像。只是逐个生成像素实在太慢。半年后，DALL-E把图片压缩成视觉Token，再将文字和图像放进同一条Transformer序列。「牛油果形状的扶手椅」「遛狗的萝卜宝宝」，这些从未存在的组合第一次被模型画了出来。与DALL-E同一天发布的，还有CLIP。这一次，Alec重新回到共同第一作者的位置。OpenAI拿出从互联网收集的4亿组图文对，让模型只做一道选择题：哪段文字和哪张图片是一对？没有固定类别，也没有为每项任务专门训练。最终，CLIP在没有使用ImageNet训练集的情况下，零样本识别准确率已经与早期有监督训练的ResNet-50相当。
图像之外，他也在尝试声音。2020年的Jukebox把音频压缩成离散编码，再让Transformer像生成文字一样生成音乐。两年后，同一条路线通向了更实用的Whisper。Alec又排在论文作者第一位。OpenAI从互联网上收集了68万小时音频及其文本，数据并不完美，却包含不同语言、口音、噪声和使用场景。Whisper没有专门针对某一张榜单优化，在多个不同来源的数据集上进行零样本测试时，它却表现得更加稳健，更能应对真实世界里的口音、背景噪声和专业词汇。这些工作表面横跨图像、语言、多模态和语音，背后却源自Alec的同一个判断：少规定一些规则，多提供一些数据和算力，通用能力可能自己出现。他似乎总能比行业共识早一步，找到下一个值得放大的简单任务。
OpenAI最神秘的男人。回到他本人，几乎可以说「曾是」OpenAI最神秘的男人。与他的论文影响力相比，Alec几乎不经营个人品牌。虽然有X账号，坐拥7万粉，但他很少围绕自己发东西，大多是转发。上面置顶的，至今还是2018年发布GPT-1时的那条消息。「这是我过去一年一直在做的事情。」他先列出CoVe、ELMo和ULMFiT三项启发来源，然后用一句颇为朴素的话介绍成果：「一个Transformer语言模型，只需少量调整，就能被迁移到各种自然语言处理任务。」谁能想到，这项工作预告了一个全新的时代？关于Alec的公开长篇采访，寥寥无几；而他的个人网站，也简单得近乎空白。只有姓名、「Latest Posts」和分页按钮，几乎没有其他内容。（连照片都一直用同一张，大佬实在太低调了）这与他的行业地位形成了一种奇怪的反差。公众谈起OpenAI和GPT，最先想到的是奥特曼和Ilya Sutskever；但研究者谈起过去十年的关键论文，却很难绕过Alec Radford。奥特曼在最新访谈中形容，如果去问那些与Alec共事过的人，他们当然会先说：这是一个「几十年一遇的天才」、极具创造力的思考者，对自己的研究有极深的理解。但话说完之前，每个人都会补上另一句：他也是他们合作过的最善良、最好的人之一。
最后值得一提的是，这位评价超高的GPT之父，在科研上确实挺不走寻常路的……2024年12月，Alec离开工作近九年的OpenAI，从事独立研究。但当所有人都期待他做出下一个GPT的时候——Alec跑去搞了个「老头AI」。今年4月，他和Nick Levine、David Duvenaud共同推出Talkie。这是一个拥有130亿参数的「古董语言模型」，基础模型使用2600亿个Token训练。它的预训练语料有一条硬规矩：1931年1月1日之后出版的英文材料，统统不！准！进！所以，它读过蒸汽机、飞机和第一次世界大战，却不知道电视机、互联网和第二次世界大战后来发生了什么。更不可能知道Python。但就这么个老古董，研究人员给它看了几个Python程序示例，再让它解决HumanEval编程题。它居然真的写出了几段简单代码。这个实验真正测试的是：一个从未接触现代计算机的语言模型底座，获得少量新示例和后训练后，能以多快的速度吸收一项完全陌生的技能？啥？你是说当全网都还在猛猛Scaling、想办法让模型读得更多的时候……GPT之父却反手把它「断网」了近一百年？？如果模型没见过答案，依然能够现学现用，那它靠的究竟是记忆，还是学习？也不知道大佬这次，究竟又提前押注了什么……不过按照他的惯例，等外界终于看懂这道题时，他本人多半已经跑去做下一道了……