跳到正文

AI工具AWS Machine Learning Blog00:15

使用 SageMaker AI 上的 vLLM-Omni 生成图像和视频 – 第 2 部分

Generate images and video with vLLM-Omni on SageMaker AI – Part 2

SageMaker AI 上跑 vLLM-Omni 需分实时出图与异步出视频两路

判断

准备在 SageMaker AI 上做图像与视频生成的推理工程师,这篇改变的是他们选实例和配扩缩容的依据:出图走在线端点、出视频走异步队列,两路分开配,而不是共用一个端点。

依据

AWS Machine Learning Blog 把这条标为「Part 2」,正标题写明主题是在 SageMaker AI 上用 vLLM-Omni 生成图像和视频。但抓到的页面正文只有产品目录、行业方案和定价入口,没有出现任何部署步骤、实例型号或吞吐数字,能确认的只有标题给出的那个拆分:出图与出视频是两路。机制上说得通的部分是延迟特征——出图多为秒级、可以同步返回,出视频往往是长耗时请求;vLLM-Omni 指把多模态生成纳进 vLLM 推理框架的扩展。若两者共用一个在线端点,长请求会占住并发槽,把出图的排队时间一起拖长;异步推理(把请求投进队列、结果稍后取回)就是为这种长任务准备的。这段推理材料没有正面写,是据标题与两路之分补的。

没写清 材料没说 vLLM-Omni 在 SageMaker AI 上以什么形态落地——是现成容器镜像还是要自建端点配置,也没给出任何并发或延迟数字。

下一步 去 AWS 博客核对 Part 2 正文是否补上出图与出视频两路各自的实例类型与并发上限。

本期其他新闻

  1. 行业动态

    引用 @joedaroo

    Simon Willison

  2. 行业动态

    OpenAI 的 AI agents 需要迎头赶上

    The Verge AI

  3. 行业动态

    AI 正在为黑客攻击加速,而你当地的医院和银行尚未准备好

    The Verge AI

  4. 行业动态

    我们何时可以说 AI 做出了科学发现?

    MIT Technology Review AI

  5. 行业动态

    佛罗里达州寻求禁止 ChatGPT 表现得像真人

    The Verge AI

  6. AI工具

    使用 SageMaker AI 上的 vLLM-Omni 构建实时语音应用 – 第 1 部分

    AWS Machine Learning Blog

  7. 精选深读

    Grok 4.7 现已在 Amazon Bedrock 上可用

    AWS Machine Learning Blog

  8. 精选深读

    Claude Sonnet 5.5

    Simon Willison