10月31日,西湖世界模型研究中心在云谷校区正式成立。作为西湖大学面向物理智能领域设立的校级交叉科研平台,该中心由于开丞教授担任主任,金耀初院士担任首席科学家,并汇聚多位PI共同承担各方向研究任务。中心聚焦世界模型与物理智能,致力于突破智能系统理解物理规律、预测环境变化和开展交互决策的核心瓶颈,旨在打造具有国际引领性的物理智能学术高地与创新引擎。中心以世界模型为核心,探索感知、认知、预测与行动相结合的智能体系,推动人工智能在真实环境中形成理解世界、推演未来与自主行动的能力。
世界模型,是继“大语言模型”后人工智能领域的又一个“热词”。过去几年,大语言模型的飞速发展让人惊叹于其“博览群书”和“无所不谈”,但能驾驭语言并不等同于理解世界。世界模型就是要赋予人工智能“格物致知”的智慧和“见微知著”的洞见——探索物理世界的规律,推演真实世界的运行,从“观世界”走向“世界观”。目前,李飞飞、Yann LeCun等一众AI领军者已相继投身世界模型创业,Google DeepMind也发布了融合世界模型和推理模型的Genie 4。西湖世界模型研究中心的成立,正是西湖大学在这一方向上着力发展的有力信号。事实上,早在三年前,西湖大学自主智能实验室AutoLab就开始了对世界模型的研究,并孵化出创业公司,与企业界开展技术落地合作。因此,这次中心成立不仅吸引了众多AI研究者,更汇聚了近90位业界研发部的老总和投资人。
世界模型到底是什么?它从“世界是什么样”演变为“世界会怎样”。早在1990年,强化学习领域主要奠基人之一Richard Sutton就给出了定义:给定当前状态和动作,预测下一个状态。如今,让AI生成视频不难,更难的是,当一个杯子滑向桌边,模型能否提前判断会发生什么。于开丞将过去训练AI的方式比作让AI“背大量考题”,而世界模型更多的是通过“理解”物理世界的规律,最终做出精确预测。“卷积神经网络之父”、图灵奖得主Yann LeCun直言:“单纯靠预测文本,AI永远无法触及人类级别的智能。我们需要能理解物理现实的模型。”大语言模型本质是文字符号的概率预测,而世界模型的目标则是“预测现实世界的下一个状态”,其目标是赋予AI时间、空间、因果关系与物理常识。
公众最能感知的一种早期世界模型雏形,是2024年的视频生成模型Sora。那个木质帆船在咖啡杯里乘风破浪的画面,因其逼真的海浪质感被定位为“物理世界的通用模拟器”。紧接着,自动驾驶领域率先将世界模型落地应用,能生成超逼真行车视频,甚至主动构建恶劣天气、突发事故等“边缘场景”来训练模型,弥补了现实世界中难以制造车祸的短板。但问题随之而来:能够生成逼真现实场景就意味着模型真的懂世界吗?
1993年出生于山东的于开丞,外表是“阳光开朗的热情大男孩”,但在技术上却有一点“叛逆”。他拥有港大一级荣誉工学学士和EPFL博士背景,曾先后在英特尔、Abacus.AI及阿里巴巴达摩院从事研究,主攻自动驾驶方向。在此过程中,他逐渐意识到传统训练方法的局限:传统自动驾驶技术本质上是“死记硬背”,高度依赖训练数据集,“题库”里见过的场景能处理,遇到罕见突发状况则极易出错。2023年,于开丞加入西湖大学组建AutoLab,开始世界模型研究。当时这一概念还偏冷门,面对自动驾驶长尾场景训练难题,主要有两条解决思路:一是生成合成数据制造罕见场景样本;二是从根源上让模型学会推演未知场景。于开丞团队初期优先选择了相对容易的第一条路线,生成极端场景视频训练模型,并在2024年拿下ECCV自动驾驶赛道世界冠军。
然而,在与一家国内一线车企深度部署的过程中,于开丞和团队开始怀疑这条路线的根基。既然模型已经能生成逼真的数据,说明它已在一定程度上理解了这个世界。那么,继续渲染像素究竟是为了什么?2024年底,AutoLab转向新的技术路线,提出“概念世界模型”——不再生成像素,而是在抽象的数学隐空间中建立物理概念的表征。模型需要像人一样,把复杂场景拆解成有限概念,再重新组合这些概念,进而“理解”训练数据中从未完整出现过的新场景。换言之,“概念世界模型”将复杂的物理环境、物体属性、空间关系及动作后果,拆解为可复用的物理概念,如空间关系、材质特性、接触状态等。遇到全新场景时,模型无需重新学习整个场景,而是将已有概念在隐空间中重新组合进行推演。研究进入2025年,团队观察到,当概念拆解与关联机制建立后,模型在复杂任务上的成功率显著提升,同时保持了较低的预测成本。这是隐式世界模型的技术路线,AutoLab也成为国内少数完成初步验证的团队之一。
隐空间是指模型内部用于信息抽象与特征压缩的高维数学向量空间,模型无需消耗巨量算力去逐帧渲染高分辨率视频或3D画面,而是直接在抽象的数学潜空间中建模物体的状态、空间关系、运动规律与因果后果。2026年初,基于这一技术路线的初创公司西湖数智Awomo正式成立,定位为物理世界的基础大模型公司,对标大语言模型,目标是打造原生的物理大模型。Awomo在四项国际权威机器人评测集中均登顶第一,进一步验证了该路线在环境扰动、精细操作及长时序任务上的泛化能力。目前,Awomo已获得累计超亿元种子轮、天使轮融资。
自动驾驶只是世界模型的应用场景之一。世界模型也可以成为机器人的“物理大脑”,在面临复杂扰动时,机器人能在潜空间里快速推演物体属性与动作后果,精准完成抓取、装配及长时序协同任务。更大的变化将发生在数据训练模式上,传统AI训练需要海量数据和高昂算力,但依托通用物理基座,下游开发者或小企业不再需要采集百万级小时数据,可能仅需20至30小时的后训练,即可快速定制特定领域的模型。长远来看,世界模型最终将服务于普通人的个性化创造需求。于开丞坚信,用户可以利用“模型构建世界”的能力,像搭建私人车库手工作坊一样,自己搭建专属于自己的私人机器人或个性化智能助手。
所有这些应用,都可以理解成面对世界时,AI试图给出的行动,而所有行动都将留下轨迹。这也是为什么于开丞同时也正在研究古老的书法。中国汉字是象形文字,具有天然的结构感与空间感,从甲骨文发展至今,本质上就是如何把现实世界的实体压缩成二维平面符号的过程。“甲骨文就是最早的隐空间。”于开丞说,而将意图或概念转化为笔画的过程,与机器人进行动作控制、轨迹规划背后的数学逻辑在底层是相通的。几千年过去了,我们依然在试图抽象出这个世界的法则,只是换了工具。
