字节跳动将AI生成带入了一个全新的维度:一个开放世界。只需输入一句话,AI就能生成一个可供探索的房间。用户可以操控角色骑上纸飞机自由飞行,甚至凭空创造物品,如一把勺子,还能与它进行互动,将其变成攀岩现场。此外,通过“任意门”功能,截然不同的场景也能连接起来。这一幕出现在抖音集团《2026 美好奇妙夜》科技节目上,由影视飓风的Tim演示。这背后是字节跳动正在研发的“世界模型”,尽管尚未正式发布,但其已展现出三维场景生成、自由探索、实时交互、物体编辑及跨空间连通的能力。
近年来,从李飞飞的World Labs到Google DeepMind的Genie,再到英伟达的Cosmos,科技巨头纷纷投身于让AI理解空间结构、模拟现实规律。如今,AI正将科幻电影中的场景变为现实。从画出世界到让世界“活”过来,早期AIGC的探索者恐怕也没想到,AI生成的视频能变成一个可进入、可交互、可编辑的赛博三维世界。
AI如何从生成图像/视频转变为构建可交互的三维世界?这源于传统多模态生成技术的短板。世界模型旨在让AI学习现实世界的空间结构与变化规律,生成、重建和模拟一个可持续探索、实时交互的三维世界。关键在于“空间结构”和“变化规律”。OpenAI的Sora虽然能生成逼真的视频,但往往缺乏物理逻辑,例如人物在跑步机上奔跑却与运动方向不符。这是因为传统模型主要依靠统计规律生成画面,难以维持稳定、可供外部干预的世界状态。
李飞飞团队将世界模型分为三种类型:渲染器(负责视觉真实度)、模拟器(负责物理因果状态)、规划器(负责智能体行动)。这解释了为何在视频逼真时仍需世界模型——因为后者涉及空间表征、动态预测与行动规划,这正是传统模型未充分解决的。
以字节的演示为例,当人走进AI生成的场景,模型需维持空间结构的一致性。无论从何角度观察,地形和物体位置必须保持几何一致性。生成勺子并攀爬,则涉及即时生成、环境状态建模与动态预测。甚至通过“任意门”连接场景,体现了三维重建、空间编辑与跨场景连续性建模。这表明AI生成的不只是内容,而是一个持续存在、变化和交互的数字世界。
世界模型不仅用于娱乐,更在物理AI领域大显身手。它能为机器人、自动驾驶提供虚拟训练场,解决真实数据稀缺、试错成本高的问题。例如,生成极端天气或突发事故场景用于自动驾驶训练,或让机器人在虚拟家庭中反复练习家务操作。英伟达的Cosmos与Isaac平台、AMD收购World Labs,都表明世界模型正在从内容生成向底层算力和物理AI训练延伸。
全球竞争激烈,海外侧重通用模拟,国内则利用在视觉生成领域的积累向世界模型演进。国内厂商如Seedance和Seedream在空间一致性、长时序连续性和精准编辑上的突破,为构建可交互世界提供了技术基础。
1895年,卢米埃尔兄弟将火车搬上银幕,改变了人类记录世界的方式。如今,世界模型让这段演进有了新转折:机器开始学习现实世界的运行规律,生成可进入、可改变的世界。从记录世界到走进影像,人类终于开始尝试踏入自己创造的数字世界。
