当前的世界模型虽能预测门如何开启,却难以解释“为何有人拒绝开门”。这是因为现有模型默认仅关注物体、几何、运动等物理属性,缺乏对人类心智的考量,如对方是否知情、是否信任、是否担心失态或受角色义务约束。单纯追踪物理轨迹会导致模型对看似合理的场景做出错误的动作预测。
为此,牛津大学与新加坡国立大学的团队提出了“心智世界建模”(Mental World Modeling,MWM)这一通用理论框架。该框架将信念、目标、意图、情绪及社会规范等心智变量纳入核心,使其与物理状态共同演化。
在具体应用中,当女孩转身望向别处,杯子被移入柜内,仅追踪物理状态的世界模型会做出错误预测,而引入心智状态后则能准确预判其行为。作为参考实现,团队发布了无需训练的 MENTIS 基线,并在自建的 Menti-Bench 数据集上测试了8个主流模型,证实显式建模心智状态是预测人类决策的必要条件,移除心智通道会导致所有模型性能退化。
这项工作的核心价值在于,将“心智”从后置的解释性任务转变为与物理状态并列的核心变量。它提供了从状态分解、观测渲染到动作分解、联合转移的形式化路径,推动服务机器人、医疗辅助及协作 Agent 等场景中的世界模型从单纯模拟物理场景,迈向模拟“场景中行动着的心智”。
值得注意的是,心智世界建模并非万能。研究团队指出,仅在物理场景不足以决定最优动作,且心智状态会改变行动的合理性、可接受性或结果时,建模成本才值得投入。判断标准包含三个条件:目标人物看到的状态与全局状态存在差异;心智变量会改变行动的合理性或可接受性;行动除物理效果外还带有社会含义。若任一条件缺失,简单物理模型或专用模型可能更优。
以下列举几个潜在应用场景:
1. **具身协作**:机器人不仅需判断物理上的可移动性,还需判断对方是否注意到自己、物品是否可擅自处理、打断是否合适,以及动作被解读为帮助还是施压。例如,移动药瓶若未经用户察觉,可能引发不信任。
2. **照护与建议**:问题常源于未理解用户的理解程度、恐惧或社会压力。同一建议对不同人群可能有不同含义。系统需将信任、焦虑、义务等变量写入决策状态,在把握不足时选择询问或暂缓,而非武断决定。
3. **教育与训练**:错误答案可能源于误解、焦虑或策略。干预目标应是改变学习者的知识、信心和策略状态,而非仅修正答案。系统需评估对方掌握程度和接受度。
4. **交互式智能体与社会世界**:游戏和数字人 Agent 需维持承诺、隐藏信息及对不同对象的差异化反应。系统的可信度不仅来自画面逼真,更源于信念、关系和规范在反事实分支中的一致演化。
展望未来,研究团队将 MWM 定位为研究计划,重点在于补齐与人类参考之间的分数差距。主要瓶颈在于后继状态转移模拟和状态解析。评估指标也将从单一结果正确性扩展到状态忠实度、信息无泄漏及转移合理性。
建模层面需从数据中学习物理与心智转移,借助反事实样本和人类解释进行间接监督,避免不可拆解的端到端预测,保持物理与心智的可分离性。此外,系统需处理不确定性和递归信念,在证据不足时倾向询问而非断言。推理深度应按情境自适应分配。长远来看,需评估完整轨迹中的承诺、声誉与信任积累。
最后,安全是这一方向的内在问题。心智推断应被视为敏感信息,需保持不确定性、限定任务范围并优先询问,以防止潜在的操纵风险。总而言之,MWM 的价值不仅在于提高准确率,更在于让 AI 能给出可检查、可质疑的决策解释。
