Latent Space·· 2 天前精选AI 评分88
DeepSeek 开源生产推理栈 DeepInfer，单集群日处理 155 万亿 token
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 在 PyTorch Conf 首日开源生产推理栈 DeepInfer，支持分布式推理、投机解码、SWA Bounded Replay 与结构化输出，覆盖 NVIDIA 与华为昇腾平台，并同步发布 deepseek-recipe 处理 token 编解码与 API 兼容。
推荐理由
材料把开源推理栈的吞吐、缓存命中与单卡收入放在一起，读者可据此判断其成本结构。
来源：Latent Space · latent.space