**69岁仍是“创”的年纪！强化学习奠基人Richard Sutton宣布另起炉灶**
69岁正是“创”的年纪！强化学习奠基人、2024年图灵奖得主Richard Sutton宣布，已与学生Khurram Javed离开John Carmack创办的Keen Technologies，另起炉灶成立Oak Lab。
Richard Sutton堪称现代强化学习的“教父”：他本科就读于斯坦福大学心理学专业，博士师从强化学习先驱Andrew Barto。早年他曾在GTE Labs和AT&T Labs从事研究，提出了时序差分算法，并与其导师合著了全球通用的《强化学习导论》。自2003年起，他长期担任阿尔伯塔大学教授，并创办了该校的强化学习实验室（RLAI）；2017年至2023年，他任职于DeepMind，牵头建立了Edmonton研究团队。
更令人敬佩的是，在四十多年的教学生涯中，Sutton培养出了大批AI领域的顶尖人才。其中包括AlphaGo核心设计者David Silver、DeepMind蒙特利尔负责人Doina Precup、博弈AI专家Michael Bowling，以及此次与他共同创业的Khurram Javed。
**与“卡神”分道扬镳：路线分歧下的抉择**
从推文来看，Sutton此次离开的原因非常直接：他认为当前的深度学习方法存在短板且效率低下，需要的不是修修补补，而是全新的基础思想与彻底的范式重构。换句话说，Sutton认为现有的AI路线难以支撑向更高阶通用智能的跨越。
要理解Sutton为何选择离开，需先回顾他加入Keen的契机。Keen的创始人John Carmack（业界传奇“卡神”）是《毁灭战士》和《雷神之锤》的缔造者，也是Oculus前CTO。2022年从Meta离职后，Carmack全力投身AI创业，方向正是强化学习。2023年9月，在DeepMind关闭了Sutton在加拿大与Edmonton共建的实验室后，他与Carmack联手，计划在2030年前打造出具备“AGI生命迹象”的原型系统。
然而，合作不到三年，Sutton选择抽身。他在推文中特意盛赞Carmack：“关于John Carmack和Keen Technologies，我怎么夸都不为过。”言下之意是：分手并非因为对方不好，而是双方在“如何走到终点”的理念上产生了分歧。在Sutton眼中，深度学习的发展路线亟待颠覆重建，而不仅仅是迭代优化。
**Oak Lab的终极目标：20瓦的通用智能**
Oak Lab的愿景十分宏大：构建一个万亿参数规模、能够实时学习与实时规划的智能体，且整机功耗仅为20瓦——这一数字恰好与人类大脑的耗能水平持平。
当整个AI行业还在疯狂堆叠GPU、扩建数据中心时，这位强化学习的祖师爷准备重新定义智能。
**OaK架构：从经验中提炼技能**
Sutton这次创业的核心逻辑可以概括为一句话：**智能源于运行时持续产生的经验**。
主流大模型的工作模式是：耗费数月时间、投入巨额成本，依托海量文本数据进行离线预训练；训练结束后模型参数基本固定，上线使用。即便每天与亿万用户对话，大部分内容也无法转化为自身的新能力。模型只能复用训练知识或短暂记忆上下文，无法像人类和动物一样，在持续感知外界的过程中实时更新自我。
而Oak Lab打造的智能体截然不同：它一边感知环境、做出行动，一边依据结果调整行为。只要产生新经历，学习过程便同步进行，无需等待漫长的集中训练。Sutton曾言：“AI运行的每时每刻，都应当是学习的过程。”
目前，Oak Lab已公布核心研究路线——**OaK架构**（Options and Knowledge，即“技能与知识”）。其目的是让智能体从自身经验中发现具有时间跨度的抽象结构，并将其转化为可验证、可规划、可反复调用的技能。
例如，机器人第一次去厨房接水，包含辨认房间、躲避障碍、拿杯子、开龙头等一连串动作。传统AI会将这些步骤视为单次决策任务；OaK架构则能让智能体从实操中拆解出“走到厨房”、“拿起杯子”、“接水”等高层级技能。后续遇到相似目标时，智能体可直接调取已有技能，结合环境灵活调整。
这种沿时间维度精简过往经历的方式被称为“时间抽象”，让AI效仿人类，将零散动作沉淀为成熟技能，依靠技能组合完成复杂任务。
此外，Oak架构在设计目标上与当下主流深度学习截然不同：**学习阶段不存储历史数据，也不回放过往经验**。当前深度强化学习常将大量历史经验存入缓冲区反复抽样，而Oak Lab设想采用“Batch Size为1”的实时学习方式，每获得一条新经验，立刻完成一次更新。团队认为，若此类算法结合事件驱动神经网络，系统所需的计算量和能耗有望下降数个数量级，从而让持续、实时学习变得真正可行。
**理论基石：大世界假说与“苦涩的教训”**
Oak Lab背后有着深厚的理论支撑，这来自Sutton和Javed共同提出的大世界假说。核心观点是：真实世界永远比AI模型更加复杂。即便模型越来越强大，外界环境的数据量也会随之暴涨。依靠提前整理好的数据训练出的模型，根本跟不上现实的变化。AI需要学会选择性记忆有用内容，适时遗忘过时信息，进行持续在线学习，才能适应真实世界。
熟悉Sutton的人对这套观点并不意外。2019年，他写下AI领域广为流传的短文《苦涩的教训》。文章回顾了国际象棋、围棋、语音识别等领域的演变，得出结论：能够随计算规模扩展的通用学习与搜索方法，长期来看终将胜过依赖人类手工知识的系统。
这一观点在大模型时代得到了验证：更大模型、更多数据、更强算力推动了AI能力的飙升。但Sutton对当下的主流深度学习依然不满意。在他看来，当前系统仍高度依赖人类生产、筛选并整理过的数据。真正的智能体，需要通过自身行动产生新经验，并利用这些经验追求长期目标。
这也解释了他为何从“苦涩的教训”走向了“经验时代”。2025年，他与AlphaGo核心人物David Silver联合提出，AI将逐步从依赖人类数据转向依靠智能体与环境互动产生的经验。Oak Lab，正是这套研究主张的创业化落地。
四十年前，Sutton在博士论文中写下“强化学习里的时序信用分配”时，强化学习还只是一门冷板凳学问。四十年后，当整个世界都在追逐大模型的商业化浪潮时，他仍在追问同一个问题——智能到底是怎么来的？
**One More Thing**
老爷子创业后的首站，便是2025年上海世界人工智能大会（WAIC）。在WAIC思想者论坛上，Sutton将带来题为《强化学习的第一性：从经验培育超级智能》的主题分享。