在 Amazon SageMaker AI 上使用知识蒸馏构建高效智能体

判断

决定是否将前沿模型购物智能体投入生产的团队，应权衡在 Amazon SageMaker AI 上蒸馏到更小的学生模型：多调用智能体循环的单任务成本会随规模累积，而较小模型会牺牲部分任务质量。

依据

AWS Machine Learning Blog 于 2026 年 11 月 2 日发布、署名 Giuseppe Zappia、Ankita Agarwal、Amin Dashti 和 Michael Oguike 的文章，将问题框定为经济性而非能力。智能体助手不是一次模型调用，而是一个循环——搜索、读取结果、优化、验证、决定——因此完成单个任务可能多次调用前沿模型，而且每位购物者每次调用都要付费。在生产规模下，这种单任务成本会累积，侵蚀项目 ROI，并阻止项目上线。作者的机制是：较小模型响应更快、托管成本更低，但通常任务表现不足，这正是选择较大模型的原因；知识蒸馏通过将较大教师模型的行为迁移到学生模型来缩小这一差距。