Deepgram将Nova-3移植至AWS Trainium2

Deepgram与AWS合作，将其Nova-3语音转文字模型移植到AWS Trainium2，用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台EC2 trn2.3xlarge实例上运行8个模型副本。 Deepgram称，在面向吞吐的离线批处理负载上，按评估时的实例价格计算，该配置每美元处理的音频量比其原有算力方案高11%–70%。优化涉及PyTorch移植、NKI融合内核调优和Rust数据并行运行时。 AWS表示，这一收益可延伸至在自有VPC中通过Amazon SageMaker AI自托管Deepgram模型的客户。

AI 根据报道生成 · 2 天前更新

还没有足够的连续观测数据，暂不绘制趋势。