AWS 发布 TTS 自动扩缩容实测推导教程

AWS 在 Amazon SageMaker AI 实时端点上以自定义容器部署 82M 参数的 TTS 模型 Kokoro-82M，发布了一套用实测数据推导自动扩缩容目标的教程：先测出单实例不突破 SLO 的最高并发 Q_max 和一次扩容端到端耗时 T_total，再据此推算扩容阈值、缩容阈值和两个冷却时间，替代凭猜测设定的目标。 教程要求运行扩容测量前，ml.g5.xlarge 服务配额至少比基线多一个空闲槽位。示例容器固定了较早版本的 PyTorch，存在已知漏洞 PYSEC-2026-2286（在 torch 2.10.0 中修复），AWS 建议在非概念验证用途前审查并升级该版本。清理步骤不会清空缓存模型权重的 S3 桶，也不会删除存放容器镜像的 ECR 仓库，因为二者可跨模型共享。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。