发生了什么
10 月 23 日，vLLM 团队（本次工作由 Inferact 主导）发布《Serving DeepSeek-V4.1-Flash at Scale》。核心结论有两条：一是在单台 NVIDIA GB300 NVL72 上，把 prefill 与 decode 拆开部署、decode 走 Wide-EP 之后，SemiAnalysis AgentX 基准下每卡吞吐达到 95.4 万 token/秒（计入缓存命中输入、未缓存输入与输出），较自家 10 月 7 日单节点结果提升 7.9 倍；二是 decode 吞吐已贴近 DeepSeek 自研引擎 DeepInfer 公布的曲线，差距在 6% 以内。
- 成本口径：按 DeepSeek 公布的谷时价格折算，约 38.96 美元/GPU·时，略高于 DeepInfer 自报的 38 美元
- 延迟口径：专用 decode 路径让单用户 P90 达到 826 token/秒，比标准路径的 575 高 44%
- 同期对照：SGLang 团队公布 prefill 最高约 1.04 倍于 DeepInfer、decode 步进时间缩短 1.1%–7.4%，但两家的测量窗口、draft 配置与 Engram 放置并不一致，不能直接横向比较
- 规模边界：DeepInfer 是面向单一模型的离线推理内核，不含 KV cache、Prefill/Decode 分离与跨副本负载均衡；同一份 vLLM 构建既能追平其离线曲线，也能整机柜在线服务
6% 这个数字为什么比 7.9 倍更重要
DeepInfer 最初就是基于 vLLM 搭的，DeepSeek 随后开源 FlashMLA、DeepGEMM、DeepEP 与 TileLang，vLLM 又把 MegaAttn、MegaMoE 这类内核吸收进主线。两家共享同一条技术血脉，所以「追平」不是外部框架模仿专用引擎，更像同源代码在两个方向上的会师。含义很直接：推理优化的护城河已经从引擎本身，退到运维与单位成本——一项优化公开之后，几天内就会变成开源框架的默认能力，专用栈的领先窗口按周计而非按季度计。
可以抄的工程结论
- prefill 不宜盲目堆并行：DEP2 每卡 64.4K token/秒，DEP4 反而掉到 53.3K，主因是数据并行失衡，实测损失 13.6% 吞吐
- decode 必须走 Wide-EP：即使上下文到 128K，单步耗时里 62% 仍在读 MoE 权重，Attention 与 Indexer 合计只占 13%；配 EPLB 后专家负载均衡度从 0.35 提到 0.94
- 整机柜规模下 CPU 接管瓶颈：仅修 NIXL push 一项，单卡吞吐就从 141K 提到 440K token/秒
- 准入批次优化：单步最多准入 140 个请求、每步最多 4 次新 KV 加载，460K 提升到 516K token/秒；超长 prompt 的准入 CPU 时间从 38.8ms 降到 6.0ms
需要打折扣的地方
其一，prefill 对比两边配置不同，vLLM 自己声明不该读成引擎之间的提速倍率。其二，多数优化仍停在 main 上的 PR，尚未进入任何稳定版本，想在稳定版复现会失败。其三，所有数字来自 vLLM 自建基准，第三方复现尚未收敛。其四，DeepInfer 的「单集群日均 155 万亿 token、每 GPU·时 38 美元」为 DeepSeek 自报，未经独立审计。对企业而言，这条新闻的实际作用是：自建推理栈的选型标准应从「谁的引擎快」转为「谁的版本演进与测量能力跟得上」。