发生了什么
2026 年 11 月 12 日，vLLM 团队与 Inferact 发布 DeepSeek-V4.1-Flash 在英伟达 Vera Rubin NVL72 整柜上的服务化结果。这是该系列第三篇：第一篇做首日适配与内核融合，第二篇把同一套栈扩到 GB300 NVL72 整柜。这次的落点是单卡 170 万词元/秒的吞吐，同时每个用户仍能拿到 P90 387 词元/秒；峰值吞吐 252 万词元/秒，单用户路径最高 1810 词元/秒。
对照基准是上一代 GB300 NVL72：在同一交互水平（387 词元/秒/用户）下，Rubin 整柜的吞吐是它的 58 倍。测试负载用 SemiAnalysis 的 AgentX，采用预填充与解码分离加宽专家并行，与上一篇 GB300 的口径保持一致。
- 双内存域：每颗 GPU 有两个内存域，流式多处理器读本地域远快于交错域，MoE 权重、语言模型头与残差流改为就地存放，batch 32 的解码提升 10.1%
- 更宽的矩阵指令：新指令一次完成两倍矩阵运算，打包后共享内存能放下 11 级权重（原 7 级），每步省 57 微秒
- 分块修正：按最忙的并行组而非空闲组计算分块，去掉一个在 86% 真实预填充步骤里都成立的条件，40 步回放中该内核耗时降 55%
- 整柜内存池：KV 缓存池从 DRAM 扩到空闲 HBM，哈希表按 GPU 分片，高并发下前缀命中率维持 96.5%–97%
- 低延迟专线：八路张量并行跨两个计算托盘，跨托盘通信只比托盘内多 0.3 微秒，单用户路径做到 P90 1810 词元/秒
58 倍这个数字该怎么读
三个口径必须先摆清楚。其一，吞吐统计包含缓存输入、未缓存输入与输出三类词元，不是纯生成速度。其二，GB300 的对照数据取自第三方评测平台，不是同一批人在同一台机器上现测。其三，解码侧的改进有相当部分是仿真：每步快 25% 是在单台四卡节点上模拟得出，十二组数据并行实例的排队与首字延迟改善同样是仿真，而 HBM 池官方仍标注为实验性功能。
换句话说，58 倍是「同一交互水平下的整柜对照」，不是「换个机器就快 58 倍」。工程含义在于：权重拆到两个内存域、哈希表跨 72 卡共享、把远程读写压成单次往返，这些都要改内核与调度器，属于软件与新硬件的联合优化，买新硬件不等于自动获得收益。
对企业采购的含义
对自建推理集群的团队，这份报告的价值有三处。第一，功率归一化后的吞吐曲线开始决定单机柜的每词元成本，而不是单卡峰值。第二，72 颗 GPU 共享一个互联域，故障域与调度单元的边界随之变化，容量规划要按整柜而非按节点做。第三，前缀命中率能稳在 96.5% 以上，意味着长系统提示词与工具定义的重复开销可被摊薄——这对智能体类负载比对对话类负载更关键。
需要保留的怀疑同样明确：全部数字来自模型服务方的自测，尚无第三方在同等条件下复现；整柜的实际交付时间与价格未在文中给出；仿真结论在真实多租户环境中的偏差未知。把它当作方向性判断是合理的，当作采购承诺则不够。