跳到正文

精选深读Latent Space09:30

Runway的WorldPrompt与实时世界的工程化

Runway’s WorldPrompt and the Engineering of Real-Time Worlds

Runway靠持久上下文驱动实时音视频,代价是算力与延迟门槛高。

判断

做实时交互内容或世界模型产品的人,该把控制层从脚本状态机改成 WorldPrompt 式的时间戳事件与固定首帧;但别把它当可编程世界,Runway 自称 research preview,复杂动作仍可能不跟随。

依据

Runway CTO Kamil Sindi 说 WorldPrompt 让团队按需创建音视频同步的可提示世界;Principal Research Scientist Robin Kahlow 说它像控制层,可控制场景中角色、摄像机与环境,但不提供脚本能力或状态控制。机制上,GWM Worlds 2 先把基础音视频生成模型微调到 WorldPrompt 格式,再做 autoregressive(自回归:按时间逐帧生成)后训练,最后用 distillation(蒸馏:压缩模型或减少去噪步数)换实时;输出为 720p、24 fps、48,000 Hz 音频。Kahlow 承认这是 research preview,移动较可靠,复杂动作仍看难度。对照 Genie 3 目前只能支持几分钟连续交互,而非数小时。

  • 视频分辨率720p
  • 视频帧率24 fps
  • 音频采样率48,000 Hz
GWM Worlds 2 的实时输出规格

没写清 材料没给 WorldPrompt 复杂动作的跟随成功率,也没给实时生成的毫秒级延迟或单路 GPU 成本,所以无法替 Runway 算清门槛。

下一步 下一步看 Runway 是否公布 WorldPrompt 复杂动作跟随率或蒸馏后的实时延迟数字。

本期其他新闻

  1. 行业动态

    OpenAI agents试图‘暴力破解’联合国网站

    The Verge AI

  2. 行业动态

    OpenAI暂停训练其‘最强模型’

    The Verge AI

  3. 行业动态

    [AINews] 潜在空间(Latent Space)的未来

    Latent Space

  4. AI工具

    Engram是一个采样器,能把破损的AI幻觉变成音乐

    The Verge AI