RSI热度居高不下，它真能让AI的进步速度无限提升吗？对此，Jeff Dean给出了否定的答案。他认为，虽然自动化系统可以省去人工等待的时间，但训练、计算、保存数据和评估结果的过程仍需时间，无法无限加速。
近期，在斯坦福以人为本人工智能研究院（HAI）与李飞飞教授的对谈中，Jeff Dean谈到了RSI的限制，并披露了新公司Discovery Loop的动向。全程延续了极简的PPT风格。Jeff透露，Discovery Loop目前已有约20个自动改进循环在运行，旨在搭建一个支持人与智能体协作的框架。他们希望让少量专家带领大量智能体进行研究，目标是将领域专家的生产力提高20到50倍。为了组建这支团队，他们在短短三周内进行了400场面试，甚至挖来了Kimi K3论文合著者、17岁的天才少年陈广宇。
谈及支撑这些变化的技术，Jeff Dean坦言自己曾看走眼。其中一件便是编程。在Gemini项目中，编程本就是关注方向之一，但他低估了这项能力对模型解决各类问题的重要性。他还曾期待神经网络会进化出更多奇特、不规则的结构，但目前的演进路线并未按他的预想展开，而是更多地走向了规整的混合专家模型（MoE）。
对于AI做数学，Jeff认可机器生成证明的价值，但他更看重人类能否从结果中理解并提炼出优雅的方法。
以下是这场演讲与对谈的中文整理：
**Jeff Dean主题演讲：AI自动跑实验，目标是将专家生产力提升20-50倍**
很高兴能和大家相聚。我要介绍的是Discovery Loop。我们的使命是构建AI系统，自动解决机器学习、科学与工程领域的重要问题。这最终将带来更多的发现，也是我们感到兴奋的地方。
很多学科都有一个共同的过程，称为科学与工程的通用循环：提出实验方案，实施并运行实验，观察结果，检查各项测量数据，然后决定下一步做什么。我们的思路是将这些实验循环自动化。我们相信，如果缩短每轮迭代的时间，自动提出并运行大量实验，并从每次评估中学习，借鉴此前的结果同时提高实验的质量和数量，就会获得突破性的成果。
看看美国国家工程院的重大挑战清单，这些都是21世纪需要解决的问题，而这个世纪已经过去了四分之一。我们认为自动化发现循环能够提供帮助。
成立公益公司对我们很重要，这也是我们设立独立公司的原因之一：如果方法得当，技术能带来巨大积极影响，但需要共同努力确保这种影响发生。因此，我们将公司设立为公益公司，其公共使命是开发应对重要社会问题的技术，让更多人获得益处，改善生活。
团队介绍
我们的四位创始人是Sanjay Ghemawat、Quoc Le和Oriol Vinyals。按两两合作算，我们共事了14到30年。我们享受一起攻克难题，积累了不同方面的经验。我们都来自Google，工作都与Google有关，包括搜索产品、广告系统、Gmail、News和Translate等产品。第二列是基础设施，帮助我们组织海量数据、运行大规模计算。下方则是多代大规模机器学习基础设施，包括TPU专用硬件。我们也参与过模型蒸馏、MoE和神经架构搜索等AI研究。我们还做过AI在不同领域的应用，如AlphaChip芯片设计和AlphaFold蛋白质结构预测。我们的经验结合了AI研究和分布式系统。
团队建设与招聘
我们在一起也很开心，曾一起去过伦敦、巴塔哥尼亚、越南等地。公司成立初期，我们花了很多精力组建团队。团队里既有领导Go语言项目的经验，也有Gemini、DeepSeek、Kimi K3等项目的贡献者，包括Kimi K3论文合著者、Attention Residuals工作的作者陈广宇。我们的团队既有经验丰富的人，也有职业生涯早期的新星，约10%的人获得过ACM计算奖，10%的人获得过国际信息学奥林匹克竞赛奖牌。
为什么现在可以做这件事
因为前沿模型已经有了很强的能力。这来自过去10到15年硬件性能提升、软件抽象改进、模型架构演进（如Transformer和MoE）、训练算法进步以及推理算法的发展。仅有强大的基座模型还不够，我们需要结合智能体，使系统能够有效使用工具、完成复杂任务，并具备创造力和从经验中学习的能力。面对大型项目，我们需要少量领域专家配合自动化系统，系统自动拆解子问题并求解。
我们搭建了自己的智能体运行框架，支持数万乃至数十万个智能体执行任务。现在大约有20个自动改进循环在运行，目标是让领域专家生产力提高20到50倍。
**Jeff Dean对谈李飞飞：RSI也有物理极限，编程被低估**
李飞飞：谢谢Jeff，这是一场很棒的演讲。我想这应该是最后一场，我们正好夹在观众和茶点之间。
Jeff Dean：这从来都不是个好位置。
李飞飞：我本来希望这场讨论能更技术一些。不过既然是对谈，我会同时承担提问和参与讨论的角色。第一个问题：为什么创办Discovery Loop？你们四个人基本都在Google工作了很长时间，有没有某个时刻让你们觉得必须离开Google做点不一样的事？
Jeff Dean：我们一直很兴奋地看到自动化系统越来越多地帮助人们开发软件。Quoc十年前就做过神经架构搜索，现在可以用自然语言向模型与智能体系统提出要求，探索适合解读MRI图像的模型架构。这改变了我们对AI系统能力的想象。我们认为科学与工程尤其适合借此产生积极影响。另外，我们也希望把它做成公益公司，体现价值观。创业还意味着处理办公场地等挑战，这也很有趣。
李飞飞：所以创业想法来自这些循环和自我改进能力。
Jeff Dean：有人可能会说我们有点“loopy”。
李飞飞：我们来聊聊自我改进与递归自我改进。什么是自我改进，什么是递归自我改进？
Jeff Dean：自我改进系统通常有一个可测量的指标（如模型准确率），系统尝试不同架构提高指标。递归自我改进则是将同样的自我改进方法作用于那个负责提出改进方案的基础系统本身。
李飞飞：这个概念对很多人来说容易混淆。哪些属于炒作，哪些属于想象？
Jeff Dean：自动化系统肯定能提高改进速度，但不会无限快。构建基座模型仍需大量训练和实验，计算机需要运行计算，结果需要检查，数据需要保存，还有模型分析结果。这些物理过程决定了速度的上限。
李飞飞：人类是自我改进系统，还是递归自我改进系统？我觉得人类肯定会自我改进，比如做煎蛋卷。但如果大脑在学习过程中发生改变，这就是递归自我改进。
Jeff Dean：我觉得两者都有。人会在一生中学习很多东西，也会学习如何学习。学会学习，使人能够递归自我改进。
李飞飞：递归自我改进也可能是一种演化算法。
Jeff Dean：如果把它当成一个运行中的工程系统来理解，就会少一些恐惧。
李飞飞：你讲了很多Discovery Loop，但对它究竟要解决哪些科学问题仍然有些含糊。你长期对医疗健康感兴趣，但表示现在聚焦于数字环境中的问题，如机器学习研究、工程和硬件设计。这属于自我改进，不属于递归自我改进。
Jeff Dean：是的，我们目前聚焦这三个领域，未来也会拓展到医疗健康等方向。
李飞飞：你画的这个循环，从提出实验开始，在物理学里通常说“提出假设”。这是不是更倾向于实验研究？理论发现似乎更难描述。
Jeff Dean：未必。系统可以反复尝试，寻找能够解释实验数据的最简洁理论。许多物理学家也会关注实验进展，尝试解释现象。我认为这是可能的。
李飞飞：那我们得聊聊数学。最近这些进展让人心情复杂。你怎么看AI做数学？
Jeff Dean：AI已经表现出解决很难的数学开放问题的能力。虽然机器可以检查长达500页的证明，但人类更看重优雅的方法。知道问题可解很重要，但优雅的方法往往能形成新的数学工具，用于其他问题。
李飞飞：我还答应给你来个突击小测。2017年6月12日是什么日子？
Jeff Dean：是Transformer论文发布到arXiv的日子吗？
李飞飞：太棒了，A+！你是6月12日读到那篇论文的吗？
Jeff Dean：不是，可能是6月10日。你可能还得批准它。
李飞飞：回顾过去9年，哪些技术时刻对你最重要？哪些预测对了，哪些错了？
Jeff Dean：Transformer是处理问题更高效的模型架构。还有蒸馏工作，2016年被NeurIPS拒绝，现在有4万次引用。架构方面，我原本期待看到更多奇特、不规则的神经网络结构，如有机的网络，但MoE虽然有用却很规整。我也低估了编程能力的重要性。
李飞飞：既然这是HAI大会，就得谈谈人。AI带来的社会影响，包括就业、焦虑、对齐等，哪些是你预见过的？
Jeff Dean：我写过一篇论文《Shaping AI’s Impact on Billions of People》，研究了AI如何影响就业、科学、虚假信息等领域。我关心的是如何实现益处并减少负面影响，这需要技术人员、监管者、政策制定者和公众共同参与。
李飞飞：最后给年轻人的建议。作为AI先驱，你想对焦虑的学生说些什么？
Jeff Dean：了解正在出现的新技术，学会把它们用于自己最有热情的事情。人仍然需要决定我们共同想做什么。你应该想清楚自己想做什么，并努力做到最好，包括用好工具。