AI工具AWS Machine Learning Blog00:15
使用 SageMaker AI 上的 vLLM-Omni 生成图像和视频 – 第 2 部分
Generate images and video with vLLM-Omni on SageMaker AI – Part 2
SageMaker AI 上跑 vLLM-Omni 需分实时出图与异步出视频两路
判断
准备在 SageMaker AI 上做图像与视频生成的推理工程师,这篇改变的是他们选实例和配扩缩容的依据:出图走在线端点、出视频走异步队列,两路分开配,而不是共用一个端点。
依据
AWS Machine Learning Blog 把这条标为「Part 2」,正标题写明主题是在 SageMaker AI 上用 vLLM-Omni 生成图像和视频。但抓到的页面正文只有产品目录、行业方案和定价入口,没有出现任何部署步骤、实例型号或吞吐数字,能确认的只有标题给出的那个拆分:出图与出视频是两路。机制上说得通的部分是延迟特征——出图多为秒级、可以同步返回,出视频往往是长耗时请求;vLLM-Omni 指把多模态生成纳进 vLLM 推理框架的扩展。若两者共用一个在线端点,长请求会占住并发槽,把出图的排队时间一起拖长;异步推理(把请求投进队列、结果稍后取回)就是为这种长任务准备的。这段推理材料没有正面写,是据标题与两路之分补的。
没写清 材料没说 vLLM-Omni 在 SageMaker AI 上以什么形态落地——是现成容器镜像还是要自建端点配置,也没给出任何并发或延迟数字。
下一步 去 AWS 博客核对 Part 2 正文是否补上出图与出视频两路各自的实例类型与并发上限。