发生了什么
2026 年 10 月 20 日，DeepSeek 在 GitHub 上线 DeepInfer 仓库，采用 Apache 2.0 许可，README 第一句即「支撑 DeepSeek 大规模生产服务的高性能推理框架」。同批放出的还有 deepseek-recipe（MIT 许可），负责把 API 请求转成与官方接口一致的 token 形态。首批只支持一个模型：DeepSeek-V4.1-Flash，默认拉取 1017 版检查点。硬件侧同时列出英伟达 SM100（Blackwell）数据中心 GPU 与华为昇腾 950，Hopper 及更早世代不在支持列表内。
这不是一个通用推理服务。仓库自带示例跑的是批处理作业，没有 HTTP 前端；作者明确写「离线推理 + 规模化服务的核心特性」。换言之，DeepSeek 交出的是决定吞吐的那一层，而不是整套线上系统。
里面有什么
- 算子层全部是 DeepSeek 自己公开过的成果：FlashMLA 负责注意力，DeepGEMM 负责矩阵乘，DeepEP 负责专家并行通信，另有 TileKernels、DeepSelect 与定制 TileLang 算子。
- 并行策略：预填充侧走注意力数据并行或均衡上下文并行；解码侧走专家并行配 EPLB 负载均衡。
- 三项调度能力：DSpark 投机解码按置信度决定每轮验证几个草稿 token，默认草稿上限 5；SWA 有界重放只重算上下文尾部（V4.1 默认 140 token），显著削减解码端预填充；异步批调度把 CPU 侧组批与设备执行重叠。
- 批不变推理与确定性采样——同一提示词不论批里还有什么，都返回相同的 logits。这两项目前仅英伟达可用。
官方给的数字
基准在 4 张 SM100 做预填充、64 张做解码，各在同一 scale-up 域内。解码侧 64 路专家并行、131072 token 上下文、固定 3 个草稿 token，实测接受率 75%，即每轮平均通过 3.25 个。每个数据并行副本 256 请求时，单卡输出吞吐约 26000 token/s，单用户约 105 token/s；降到 64 请求时单卡约 15700 token/s，单用户升到约 250 token/s。预填充侧衰减更平缓：4 张卡上 4096 token 批次约 60000 token/s、单步 63 毫秒；65536 token 时单步约 730 毫秒、吞吐升到约 89000 token/s，这是典型的内存带宽受限特征。部署问答另附一句：单集群日服务 155 万亿 token，低谷期折算约每卡每小时 38 美元收入。
为什么重要，以及缺口在哪
对自建 DeepSeek 模型的团队，这是第一次能拿到官方生产引擎，而不是对着论文和零散算子自己拼。更有价值的是「批不变 + 确定性采样」被做进默认路径：智能体跑两百步后要复盘第 14 步为何失败，前提是能复现；今年企业侧做智能体评测普遍卡在这一步。
缺口同样明确：KV 缓存系统、预填充与解码分离、数据并行副本间负载均衡三项被列为「需要但未包含」，理由是与其内部集群管理工具耦合过深。因此它不能直接替换现有生产部署，而是一份高保真的参考实现。另外，155 万亿 token 与每卡每小时 38 美元均为自报口径，尚无第三方复现。