鼓狮财经10月21日讯，英伟达近日发布了一款基于真实手术录像训练的实时AI手术模拟器——Cosmos3-H-Dreams。借助这款新模拟器，手术机器人有望先在虚拟的“腹腔”环境中进行练习和测试。不过，英伟达也强调，目前该产品仍处于研究阶段，尚未经过临床患者诊疗验证，距离实际应用仍有大量工作要做。
英伟达于当地时间10月20日公布了这一消息。手术模拟器是在虚拟环境中还原手术场景的工具，能让相关练习和测试无需在真人身上进行。英伟达在开源AI平台Hugging Face上发布的官方博客指出，据其所知，这是首款基于临床胆囊切除术录像训练、并能根据器械操作实时生成画面的手术模拟器。借助Cosmos 3平台和英伟达的流式推理加速库FlashDreams，该模型在单块RTX PRO 6000 GPU上即可实现交互运行。其训练素材来源于英国手术机器人企业CMR Surgical旗下Versius手术平台的临床手术视频和机械臂运动数据。
这并非英伟达与CMR Surgical的首次合作。今年8月，双方曾联合发表技术论文，展示将前代产品Cosmos-H-Dreams接入Versius手术机器人医生操控台的情况。对于下一步的研究方向，英伟达在博客中提出了将模拟范围扩展至完整手术流程、联合外科医生建立模拟效果的评测基准，以及利用该技术训练可自主完成特定手术步骤的机器人等计划。但英伟达明确表示，上述仍属研究方向，Cosmos3-H-Dreams目前仅作为研究工具使用。
**技术迭代与场景升级**
该模拟器实现了从实验台缝合到真实腹腔手术的跨越。前代产品Cosmos-H-Dreams主要应用于达芬奇研究套件，模拟的是背景相对简单的实验台缝合任务。而新一代产品的思路一脉相承，却将学习素材从简单的缝合练习视频换成了复杂的真实腹腔手术录像。模型需要模拟的画面也更为复杂：体内器械轻微一动，组织就会被拉伸，反光随之移动，器官可能被遮挡，手术烟雾还会干扰视野。加之模型是逐段接续生成画面的，细小偏差会不断叠加，时间一长，模型生成的器械和器官画面都可能“走样”。
此外，英伟达强调，画面逼真只是第一关，模拟器还必须准确响应器械的移动、旋转和夹取指令，否则就只是一段逼真的视频，无法充当可交互的模拟环境。针对这些难题，新模型以一个160亿参数的基础模型为底座，重点聚焦于抓钳和电钩两种常用器械，可接收双臂位置、夹钳开合等28项操作信号。
为兼顾实时性与稳定性，团队采用了“教师-学生”模型架构：先训练一个“教师模型”学习手术画面的变化规律，再将能力迁移给可实时逐段生成画面的“学生模型”。随后，学生模型以自身生成的画面为基础继续训练，并接受教师模型和一个评判模型的指导，从而有效减少误差的逐步累积。