来源时间 本站刊期
行业动态AWS Machine Learning Blog
SageMaker Inference 现支持多实例 GPU，以最大化模型端点的 GPU 利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
SageMaker MIG可将单块GPU分片隔离，收益取决于模型是否适配份额。
判断
SageMaker Inference 用户现在面临分区取舍：可将不同模型放入独立 MIG 切片，但前提是每个模型都能适配固定的计算和内存份额，因此端点所有者决定哪些模型共用一块 A100。
依据
AWS Machine Learning Blog 上 Shantanu Tripathi、Apoorva Chandra 和 Dmitry Soldatkin 的文章称，SageMaker Inference 现已通过 NVIDIA MIG 支持 GPU 分区，将一块物理 GPU 划分为独立分区，每个分区拥有固定份额的计算单元和专用内存，并在硬件层面隔离。来源示例：一台 ml.p4d.24xlarge 有八块 A100，可容纳八个模型，无论每个模型需要 40 GB 还是 14 GB；此前最小请求是一整块加速器，因此团队要么让模型服务不足，要么为未使用的能力付费。MIG 通过允许每个分区放置不同模型来改变放置方式，但模型必须适配所选份额。
没写清 来源未说明除 ml.p4d.24xlarge 外支持的实例类型、可用分区大小、定价影响，或现有端点能否在不重新部署的情况下调整规模。
下一步 在选择部署形态前，查看 SageMaker Inference 文档中支持 MIG 的实例系列和确切分区配置。