返回行业动态
算力与基础设施

GPU 算前半段、晶圆算后半段:Cerebras 把每兆瓦吞吐提高五倍

11 月 17 日 Cerebras 宣布分离式推理进入生产:提示处理交给 AMD Instinct GPU,逐词生成留在自家 CS-3 晶圆级系统。以 11 月 14 日 GPT-OSS-120B 共享端点实测,每兆瓦词元吞吐为纯 CS-3 配置的 5 倍,且生成速度没有下降。公司计划到 2027 年底把该架构扩展到数百兆瓦。

来源:Cerebras 官方博客:Cerebras launches disaggregated inference原标题:Cerebras launches disaggregated inference查看原文
大型数据中心装配车间内,一台巨型晶圆级设备的侧面轮廓与成排散热鳍片,远景是延伸至画面深处的机柜长廊与蓝色灯带,斜射日光在地面拉出长影

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

11 月 17 日,Cerebras 宣布其「分离式推理」(disaggregated inference)已进入生产环境。做法是把一次推理请求拆成两个物理分离的阶段:提示处理(prefill)交给 GPU,逐词生成(decode)留在 Cerebras 的晶圆级系统。生产部署中具体是 AMD Instinct GPU 负责 prefill,CS-3 系统负责 decode。

拆分的依据是两类负载的资源结构相反。prefill 是计算密集型,一次处理整段输入,GPU 的通用算力正好合适;decode 是自回归的,每生成一个词元都要重新读一遍模型数据,瓶颈在内存带宽。Cerebras 的论点是自己在这端有结构性优势:晶圆级芯片把数十 GB 的 SRAM 与数十 PB/s 的带宽放在片上,官方称相当于典型 GB300 GPU 的 350 倍 SRAM 容量与 5400 倍内存带宽。

  • 核心数字:相较纯 CS-3 配置,每兆瓦词元吞吐提升 5 倍,生成速度不降
  • 测点:11 月 14 日,Cerebras 推理云上的 GPT-OSS-120B 共享端点,对比启用前后并归一化到原基线
  • 早期访问伙伴:AWS、Fireworks AI、Gimlet Labs、General Compute
  • 扩展目标:2027 年底前在自有云与伙伴部署中覆盖数百兆瓦;同期还有 CS-4 发布、产能扩张与 700 兆瓦数据中心计划

交付形态:一套整栈,或只用解码端

面向基础设施伙伴,Cerebras 给了两条路径。一是端到端软件栈,四个部件:分离式推理框架(在 prefill 池与 decode 池之间路由请求、管理副本容量与健康度)、基于 vLLM 或 SGLang 的 prefill 引擎、Cerebras 解码引擎、以及通过 RDMA 传递中间状态与 KV 缓存的 KV Portal。二是只用解码端:伙伴自带推理框架与 prefill 引擎,接入 Cerebras 解码引擎与 KV Portal,官方提供模拟解码副本与参考集成。

该信到哪一步

需要说清的限定有三条。其一,5 倍是单一模型、单一共享端点、单日测点的结果,厂商未披露重复次数与置信区间,也无第三方复现。其二,指标是「每兆瓦词元吞吐」,分母取决于伙伴选用哪种 prefill 加速器,更换 GPU 型号后同一架构的倍数会变;AMD 具体型号官方未点名。其三,跨机传递 KV 缓存本身有开销,官方给出了 5 倍与「速度不降」的结论,但没有给首词元延迟与 P99 的对比数字。

对采购方的现实意义在电力而不是芯片。推理需求在 2026 年被官方引用为增长 24 倍,而数据中心容量只增 2.2 倍(来源为高盛研究),在功率受限的机房里,每兆瓦能出多少词元正在取代每卡能跑多少词元,成为扩容时的第一道算式。这也是把「同一台机器同时干两件相反的事」改成「两件相反的事各用最合适的机器」的直接动机。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。