当大语言模型遇上”空间感”,一个长期被视为语言 AI 强项、视觉 AI 短板的能力被推到了舞台中央——视觉世界模型(Visual World Model, VWM)。它是把”未来几帧会变成什么样”这一物理直觉内化进 AI 内部状态的尝试,也是过去半年以来头部实验室默默押注的方向。
一、VWM 与 LLM 的根本区别
LLM 处理的是 token 序列,关注”下一个字说什么”。VWM 处理的是视频帧序列,关注”下一帧看起来怎样”。两者都是生成式模型,但前者建模符号逻辑,后者建模物理因果。一个会聊天的模型并不必然理解:把球扔出会发生什么、开车加速会怎么拐弯、桌上杯子被推一下为什么没碎。
二、训练数据的”几何化”
VWM 的训练数据从单纯视频帧升级为带 3D 标签的多视角数据——自动驾驶车队、机器人示教、无人机轨迹、AR/VR 头显动作——这些数据共同构成”几何+语义”的双重监督。模型内部不再是黑箱,而是隐式维护一个 3D 占据网格、刚体速度场与材质库的混合状态。
三、四类落地场景
- 自动驾驶长尾场景:预测其他车辆 1–3 秒后的轨迹,而不是死板套规则
- 家庭机器人:在脑中”演练”开门动作,再交由低层控制去执行
- 游戏 NPC:不再依赖动画状态机,而是实时生成 3D 动作
- 视频生成可编辑性:用户可以拖拽场景中的物体,模型围绕它重新合成
四、当前的三道窄门
VWM 现阶段被三件事卡住:(1) 训练算力极大,几十亿帧级视频才能支撑;(2) 评估指标缺失,目前只能通过下游任务间接衡量;(3) 与现有 LLM 协同的接口尚未统一——是把 VWM 作为 LLM 的”插件”,还是把 LLM 并入 VWM?
五、对普通人的意义
即便你不是 AI 工程师,未来 12–18 个月里你会看到一系列”显得特别懂物理”的产品:从主动帮你避开堵车的导航,到能识别孩子走路姿势的家用摄像头。背后站着的,正是 VWM。
视觉世界模型不会让 AI”更会聊天”,但它会让 AI 第一次真正”看懂”我们生活的空间。









