发生了什么
第三方评测机构 Artificial Analysis 于 2026 年 10 月 15 日发布英伟达 Vera Rubin NVL72 的首批 AA-AgentPerf 结果。AA-AgentPerf 是面向智能体推理的能效基准，它不像传统基准那样发送固定长度请求，而是重放真实编码智能体的轨迹：请求最多携带约 13.2 万输入 token，平均约 97% 的输入与前一次请求重复，回复往往只是一次简短的工具调用，工具调用之间还有最长约 5 秒的停顿。指标是每兆瓦实测 GPU 功耗所能承载的总吞吐，统计口径包含缓存输入、新预填充输入与输出 token。
- 每兆瓦吞吐相对 GB300 NVL72 的最大领先：DeepSeek V4 Pro 约 5.7 倍、DeepSeek V4.1 Flash 约 5.4 倍、GLM-5.2 约 3.0 倍、Kimi K3 约 2.8 倍
- 各平台自身峰值吞吐下的领先幅度收窄至约 1.14 至 1.45 倍
- 解码速度记录（截至 10 月 15 日）：DeepSeek V4.1 Flash 单台四卡服务器 906 tok/s（GB300 为 596）、GLM-5.2 408 tok/s、Kimi K3 单台八卡服务器 255 tok/s
- 硬件：单机 72 颗 Rubin GPU + 36 颗 Vera CPU；每 GPU 288GB HBM4、19.2TB/s 带宽、35 PFLOPS 稠密 NVFP4，服务栈为 NVIDIA Dynamo
为什么对企业读者重要
当电力与机位成为数据中心瓶颈时，决定「一个机柜能同时服务多少个活跃智能体」的是每兆瓦吞吐，而不只是单卡峰值速度。AA-AgentPerf 的设计恰好贴近编码智能体反复携带长上下文、频繁调用工具的负载特征，因此这一口径对规划智能体基础设施的企业更有参考价值。结果也说明代际差异主要来自内存带宽与互连：Rubin 的 HBM4 把每 GPU 亮度提到 19.2TB/s（约 2.4 倍）、NVLink 带宽约 1.7 倍、稠密 NVFP4 算力约 2.3 倍。在 GB300 上，把每用户速度从约 120 提到 165 tok/s 会令每兆瓦吞吐下滑约 81%，而 Vera Rubin 仅下滑约 16%，这正是高并发解码区间被拉开差距的原因。
尚不确定之处
该结果由英伟达提交给第三方基准，功耗口径仅含 GPU 与 HBM（由 DCGM/SMI 遥测），不含 CPU、网络与散热，因此不代表整机或整机柜的能效。基准自身也承认载荷设定会影响结论：其重放的轨迹中平均约 96% 的 token 属缓存输入，若服务栈的 KV 缓存保留不住重复前缀，就要反复重算全部上下文，每兆瓦吞吐会显著下滑，而这一项高度依赖 Dynamo 等调度软件的配置。
此外，Vera Rubin 并非全面领先：在包含首 token 延迟的端到端比较中，GB300 在多数速度点匹配或优于 Rubin；在 DeepSeek V4 Pro 上，当每用户速度超过约 255 tok/s 时，Artificial Analysis 的四卡 GB300 配置反而给出更高的每兆瓦吞吐。因此「5.7 倍」应理解为特定模型、特定高速解码区间的口径，而非可外推的普适能效倍数。对企业采购而言，更稳妥的做法是把该结果作为方向性证据，再针对自身模型组合与并发画像做小规模实测。