Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理

Deepgram 将 Nova-3 语音转文字模型移植到 AWS Trainium2，用于联络中心分析、医疗转写等离线批处理场景，单台 trn2.3xlarge 实例运行 8 个模型副本。在面向吞吐的批处理负载上，该配置每美元处理的音频量比原有算力方案高 11–70%。优化涵盖 PyTorch 移植、NKI 融合内核调优和 Rust 数据并行运行时。