精选深读Latent Space09:30
Runway的WorldPrompt与实时世界的工程化
Runway’s WorldPrompt and the Engineering of Real-Time Worlds
Runway靠持久上下文驱动实时音视频,代价是算力与延迟门槛高。
判断
做实时交互内容或世界模型产品的人,该把控制层从脚本状态机改成 WorldPrompt 式的时间戳事件与固定首帧;但别把它当可编程世界,Runway 自称 research preview,复杂动作仍可能不跟随。
依据
Runway CTO Kamil Sindi 说 WorldPrompt 让团队按需创建音视频同步的可提示世界;Principal Research Scientist Robin Kahlow 说它像控制层,可控制场景中角色、摄像机与环境,但不提供脚本能力或状态控制。机制上,GWM Worlds 2 先把基础音视频生成模型微调到 WorldPrompt 格式,再做 autoregressive(自回归:按时间逐帧生成)后训练,最后用 distillation(蒸馏:压缩模型或减少去噪步数)换实时;输出为 720p、24 fps、48,000 Hz 音频。Kahlow 承认这是 research preview,移动较可靠,复杂动作仍看难度。对照 Genie 3 目前只能支持几分钟连续交互,而非数小时。
- 视频分辨率720p
- 视频帧率24 fps
- 音频采样率48,000 Hz
没写清 材料没给 WorldPrompt 复杂动作的跟随成功率,也没给实时生成的毫秒级延迟或单路 GPU 成本,所以无法替 Runway 算清门槛。
下一步 下一步看 Runway 是否公布 WorldPrompt 复杂动作跟随率或蒸馏后的实时延迟数字。