AWS 为 vLLM 推出推模式 KV 传输，TTFT 最高提升 3 倍

AWS 在 vLLM 中贡献了推模式 NIXL KV 连接器，把解码端的块注册与传输准备从关键路径移到预填充侧后台线程。在 1P1D 部署、Amazon EC2 P5en 实例加 EFA 的 Qwen3-32B 基准中，推模式相比拉模式 TTFT 最高提升 3 倍、TPOT 提升约 30%。使用时需将预填充与解码服务配置为 NixlPushConnector，代价是解码实例需在预填充前选定。