2009年，李飞飞团队发布了ImageNet，让人工智能首次有机会通过海量图像来认识世界。十五年后，她在一次演讲中提出了“空间智能”的概念，认为人工智能的下一步不仅仅是识别图片中的物体，而是要理解物体之间的位置关系、彼此如何关联，以及人的动作介入后世界会发生怎样的变化。今年，这一研究方向又迈出了实质性的一步。6月，李飞飞参与的一项机器人研究成果T-Rex发布，该研究为机器人引入了高频触觉反馈机制，使其能够完成翻书页、拿鸡蛋、挤牙膏、抽取薄卡片以及拧灯泡等精细操作。
一位在计算机视觉领域享有盛誉的科学家，为何开始反复探讨触觉、模拟器与机器人技术？这并不意味着视觉技术已经过时。相反，如今的具身智能厂商仍在为机器人安装更多摄像头、更精准的深度传感器和激光雷达。真正发生改变的是，行业逐渐意识到，“看”只是智能体进入物理世界的第一步，而一张图片仅仅是世界留下的表面痕迹。
AI可能根本就没有在“看”。今年3月，李飞飞参与的一项研究进行了一个实验：研究者向多模态模型提出视觉问题，却故意没有传入真实的图片。按理说，模型应该回答“未看到图片，无法判断”。然而，不少前沿模型却一本正经地描述图像内容，给出完整的分析过程，甚至在部分视觉问答基准测试中取得了高分。例如，在胸部X光问答测试中，模型在未见过任何X光片的情况下，成绩依然名列前茅。研究者将这种现象称为“幻觉推理”。模型并非基于视觉证据作答，而是利用问题中的文字线索和训练数据中的常见搭配，猜测一张“通常与该问题同时出现”的图片会是什么样子。这类似于大语言模型并不一定知道自己在说什么，而是在推测“下一个最可能出现的字”。题目问“图中车辆正在等待什么信号”，即使没有图片，人也可能根据常识猜出是红绿灯。模型在经过大量图片说明、诊断报告和问答数据的训练后，可能绕过真正的视觉观察，直接从问题跳转到答案。它描述得像看见了，不代表真的看见了。在聊天窗口里，只要答案听起来合理，用户未必关心模型是看图得出的还是靠语言猜中的。但一旦进入物理世界，二者的区别就会立刻暴露出来。杯子究竟在桌子的左边还是右边？距离手臂还有十厘米还是二十厘米？这些问题都不是可以靠语言常识蒙混过关的，尤其是对于机器人而言，几厘米的误差就会导致抓空。
这也是为什么，如今的机器人身上正在出现越来越复杂的感知系统。宇树G1使用了深度相机和3D激光雷达，前者负责判断物体远近，后者负责构建周围空间的距离地图。智元灵犀X2除了配备RGB-D相机和激光雷达，还使用了前视双目、后视相机和触摸传感器，从不同维度补充环境信息。这些配置看似是一场针对传感器的军备竞赛，实则是在弥补视觉感知的盲区。头部摄像头适合观察整个房间，但在机械臂靠近物体时容易被自身的手挡住；激光雷达能够测量距离和构建地图，却看不懂桌上的东西究竟是杯子还是苹果。对人来说，转头、眯眼或伸手试探是几乎不需要思考的本能动作。机器人却需要将来自不同摄像头、雷达和关节传感器的信息融合在一起，才能确认自己面对的是同一个、持续存在的物理空间。因此，具身智能首先面临的问题，并非模型能否认出一个杯子，而是它能否确认：这样一个杯子，真的存在于那里。
大多数世界模型，其实只是在“画”世界。这两年，“模型”成了AI行业最热门的词汇之一。视频生成模型可以根据一句提示词，生成一段机器人走进客厅、拿起篮子、凑近玩具再把玩具放进篮子的视频。画面中的光影、运动和镜头切换都可以非常自然，观众很容易产生一种错觉：既然模型能够生成这段过程，它大概已经理解了环境和物体是如何运作的。但仅从视频来看，杯子究竟有多重、柜门的铰链能承受多大的力、机械手碰到杯壁时会不会打滑，这些都不是必须回答的问题，只要下一帧看起来合理，任务就算完成了。实际上，对于机器人而言，这些在镜头中难以充分展示的细节，恰恰决定了任务能否成功。World Labs今年将目前被统称为“世界模型”的技术拆解为三类：第一类是渲染器，负责生成给人看的像素；第二类是模拟器，负责表示几何结构、物理属性和动态变化；第三类是规划器，根据目标决定机器人下一步应该做什么。这个分类维度恰恰说明了刚才提出的问题：模型如果只会画出一个世界，并不等于能够在里面干活。一辆车可以在生成的视频里顺利穿过城市，但镜头之外的街道是否持续存在，建筑有没有稳定的三维结构，车轮和地面之间是否真的存在摩擦，模型未必清楚。对于观众来说，像真的已经足够；但对于机器人来说，世界必须是可以计算、可以碰撞，且在它转身后依然存在的。
World Labs推出的Marble已经可以从文字、图片或视频生成可探索的三维环境。除了供人观看的画面，它还可以输出碰撞网格，让物理引擎判断一个物体能否穿过墙壁、落到地面后会停在哪里。英伟达的Cosmos则将世界生成、视频预测和机器人训练放在同一套Physical AI体系中，旨在利用大量合成场景填补真实机器人数据不足的问题。这条路线听起来很宏大，落到机器人公司的研发流程里，其实非常朴素，那就是先让机器人在虚拟世界里反复失败。只不过，一台双足机器人学会走路，不可能只靠工程师每天把真机推倒几千次。逐际动力的TRON 1支持NVIDIA Isaac、MuJoCo和Gazebo等仿真平台，开发者可以先在虚拟环境里测试不同地面、坡度和碰撞情况。智元则发布了AgiBot Digital World，用仿真环境生成操作数据、训练模型并评估机器人策略。在现实中让机器人摔倒一次，可能意味着零部件磨损、维修成本和安全风险；而在模拟器里，同一个动作可以由成千上万个虚拟机器人同时尝试。桌子的高度、地面的摩擦系数、物体摆放的位置都可以不断变化，机器人不必真的打碎一万只杯子，才能学会怎样端稳一只杯子。不过，模拟器也不是万能的答案，虚拟世界中的地面永远比真实地面干净，模型设定的摩擦力也不可能覆盖每一种材料。机器人在模拟器里练得再熟，进入工厂、商场和家庭以后，依然会遇到没有被写进参数表的意外。这就是机器人行业一直面临的“仿真到现实差距”。World Labs在7月21日收购SceniX，其重要意义正在于此：它不再只满足于生成一个可以观看和探索的三维空间，而是开始将模拟出的世界与真实机器人的行动反馈连接起来。
即使视觉和模拟已经足够成熟，机器人真正碰到物体以后，仍然会遇到一类摄像头很难独立解决的问题。拿起鸡蛋时，机器人怎样知道手指已经用力过大？抽出一张薄卡片时，它怎样判断自己捏住的是卡片，还是只碰到了桌面？拧灯泡时，它怎样感知螺纹已经卡住，继续旋转可能会损坏物体？摄像头可以看到手已经接近目标，却很难及时判断接触面正在发生什么。触觉解决的不是“物体在哪里”，而是“接触以后发生了什么”。压力是否增加，物体是否开始滑动，材料有没有变形，抓握是否稳定，这些信息都发生在视觉画面之下。Figure今年发布的Helix 02，就把头部摄像头、手掌摄像头、指尖触觉和全身本体感知接入同一套控制系统。当头部摄像头被机械手遮挡时，手掌里的摄像头继续提供近距离画面；指尖传感器则可以感知低至3克的力，让机器人从药盒中取出单颗药片、控制注射器推出精确剂量，并在杂乱物体中分离出尺寸很小的目标。国内厂商也在快速补上这块感知能力，像帕西尼这样的上游厂商，直接将触觉传感器、灵巧手、人形机器人、数据采集和多模态模型串联成一条产品链，希望将触觉从一个零部件问题，变成机器人训练数据的一部分。但给机器人装上传感器，并不意味着它自然就会使用触觉。很多被称为“常识”的能力，并不是来自我们看过多少图片，而是来自身体在漫长的接触中，学会了让动作适应世界。李飞飞参与的T-Rex研究展示了这一步的难度。团队收集了100小时包含触觉信号的机器人操作数据，让机器人完成翻书页、转移鸡蛋、擦盘子、挤牙膏、分离叠放的杯子、摸索麻将、开锁、抽取卡片和拧灯泡等任务。最终，T-Rex在12项任务中的平均成功率达到65%，比最强对照模型高出30个百分点。研究中一个很有意思的结果是，直接把触觉数据塞进现有的视觉—语言—动作模型，表现反而很差。原因不难理解：不同感官工作的速度并不相同，视觉和语言适合做较慢的全局判断，机器人需要先看清桌面，理解人的指令，再决定应该拿哪一个物体。但一只杯子开始从手指间滑落时，它不会等待模型重新看图、分析和规划。触觉必须以更高频率持续工作，在滑动刚刚发生的瞬间调整手指力度。T-Rex因此让视觉和触觉按照不同速度运行：视觉负责回答“我要做什么”，触觉负责不断修正“我现在做得对不对”。这不是给机器人增加了另一双眼睛，而是给它增加了一条来自现实的即时反馈。
过去几年的AI竞争，主要围绕谁能造出一个更聪明的大脑。具身智能正在把竞争推向一套更完整的系统，机器人需要摄像头和雷达确认世界在哪里，需要模拟器提前练习行动的后果，也需要触觉和力反馈处理真正接触以后出现的意外。李飞飞并非直接从视觉转向触觉，她的研究路线更像是在不断扩大“看见”的含义：从识别一张图片，到理解一个持续存在的空间，再到知道自己伸手碰触以后，世界会怎样回应。十五年前，ImageNet教会AI说出眼前是什么，下一代世界模型需要解决的问题是，当它真的伸出手以后，世界会交还给它什么。