来源时间 本站刊期
精选深读Hugging Face
NVIDIA 用于交互式世界模拟的新 Cosmos 3 开放模型
New NVIDIA Cosmos 3 Open Models for Interactive World Simulation
Cosmos 3 开放模型让团队权衡控制、成本与保真度,并判断开放权重是否合用。
判断
评估开放世界模型的团队必须决定是否将 Cosmos3-Nano-Transfer-Auto 适配到自身传感器配置,并蒸馏为 Sim-Auto 以进行流式 rollout,同时接受闭环使用仍需模拟运行时和 WSM 渲染器。
依据
NVIDIA 作者 Pranjali Joshi、Rick Z、Yao Xu、Qianli Ma、Chen-Hsuan Lin、Ming-Yu Liu、Xiang Li、Zhengfei Kuang、Zhonghao Wang 和 kiui 提出四个新的开放权重 Cosmos 3 检查点,均以 16B 可训练参数、在 OpenMDW1.1 下由 Cosmos 3 Nano 后训练而来,该许可允许商业和非商业使用。Transfer-Auto 使用每相机 World Scenario Map 控制和文本提示,在最多 11 个相机视图以及联合 RGB–LiDAR 上生成同步视频;Sim-Auto 是其因果蒸馏的流式变体,从滚动历史和更新的驾驶控制中,在少量去噪步骤内生成小块。机制是适配:对于新的传感器配置,团队先后训练 Transfer-Auto,再将其蒸馏为 Sim-Auto;闭环交互仍需要模拟运行时和 WSM 渲染器来更新控制。
- 适配 Transfer-Autopost-train
- 蒸馏至 Sim-Autostream
- 流式 rollout
没写清 来源未报告四个检查点的定量保真度分数或策略学习结果。
下一步 请查看链接技术报告中比较 Transfer-Auto 与 Sim-Auto 在多视图/LiDAR 保真度和闭环驾驶策略指标上的基准表。