返回行业动态
算力与基础设施

Meta 公开 Prometheus 集群:单站点目标百万卡,训练中断一年降 99%

Meta 10 月 19 日在工程博客披露俄亥俄州 New Albany 的 Prometheus 集群:一期已交付并训练出 Muse 系列模型,现装数十万块 GPU,长期目标约 100 万块。三套 NVL72 机架平台逐代提高密度,单建筑内 fabric 最多接入 20,736 块 GPU,建筑跨度 2 至 100 公里以上。真正的主线是可靠性——每 8,000 块 GPU 的日中断次数一年内降 99%,预训练有效时间占比超过 85%,两次中断间隔已超 54,000 GPU 小时。

来源:Engineering at Meta(Meta 工程博客)原标题:Inside Prometheus: building a gigawatt-scale AI supercluster查看原文
数据中心机柜长廊纵深透视,蓝色光带沿地面延伸,远处多栋厂房式建筑由桥架相连

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

Meta 在 10 月 19 日的工程博客中首次系统披露了位于俄亥俄州 New Albany 的 Prometheus 超级集群。一期工程已经完成交付,并训练出了本月发布的 Muse 系列基础模型,其中包括面向个人与专业智能体任务的 Muse Wonder。站点当前装有数十万块英伟达 GPU,长期目标是约 100 万块,全部在同一套调度下「像一个整体」运行。两年前,这里还只是一个承载网页流量(点赞、信息流、消息)的常规数据中心。

三套 NVL72 机架,逐代提高密度

  • Catalina 平台使用 GB200 NVL72 的双机架形态,每机架 36 块 GPU,经 NVLink 拼成一个 72 卡域;每块 GPU 配一颗 Grace CPU 与两张 ConnectX-7 400G 网卡,横向带宽做到 800G/GPU。一对机架提供 13.4TB HBM3e(192GB/卡)、720 PFLOPS FP8 算力、130TB/s NVLink 带宽,整机功耗约 120kW。
  • Clemente 平台切到 GB300 NVL72,单机架即可容纳完整 72 卡域,显存升到 288GB/卡(机架 20.7TB),FP4 峰值超过 1 EFLOPS,功耗约 135kW;Meta 自评相对 GB200 有 5% 至 10% 的性能提升,布线更少、可维护性更好。
  • 第三个平台 San Miguel 将引入 Vera Rubin NVL72 机架,目前尚未投用。
  • 单个建筑内的以太网后端 fabric 最多接入 20,736 块 GPU;建筑之间通过聚合网络相连,跨度从 2 公里到 100 公里以上。

真正的难题是「别停」

在万卡级训练里,一块网卡或一条链路的信号劣化就足以让整个作业停摆。Meta 给出的数据是:2025 年中期,每 8,000 块 GPU 每天的中断次数峰值接近 1,000 次;经过一年工程改进后下降了 99%。Muse Wonder 训练期间,预训练的有效训练时间占比(goodput)保持在 85% 以上,强化学习阶段超过 90%;两次中断之间的平均无故障时间约 47,000 GPU 小时,固件修复后已超过 54,000 小时,目标指向 10 万小时。

早期最大的问题是 60 多万条 NVLink 链路的信号质量;随着 GB300 机架规模上升,显存故障占比明显提高。这两类问题都不是靠单点优化解决的,而是靠整机架的可观测性与替换流程。

可靠性是用硬件冗余换来的

  • 每个 72 卡机架只跑 64 卡,留 8 卡作备件;
  • 另有约 2% 的机架整体预留;
  • 因此一个 32,768 卡的任务实际需要 37,656 卡,多出约 13%。

电力是第二个硬约束:上万块 GPU 同步启停时,负载波动可达 30% 至 40%,几秒钟内就是几十兆瓦的跳变。Meta 用一套名为 Dynamo Dimmer 的软件逐级压低 GPU 功耗上限,配合机架级、机房级与电网级电池缓冲,而不是直接杀掉作业。站点的部分机房采用闭环液冷。

对企业读者意味着什么

有三条经验可以直接迁移。其一,把「有效训练时间占比」当作集群采购与运维的核心指标,而不是只比较单卡算力峰值。其二,机架形态从 8 卡走向 72 卡之后,单点故障的影响面扩大了约九倍,备件比例与故障域设计必须同步调整,多出的 13% 卡不是浪费而是可用性成本。其三,电力弹性已经成为集群设计的一等约束,需在选址阶段就把电池与限功策略纳入。

Meta 表示下一站 Hyperion(路易斯安那州 Richland Parish)正在按 Prometheus 的经验设计,并已承诺投入 10 亿美元用于数据中心所在社区。

不确定之处

博客没有给出确切的 GPU 数量、实际功耗、投资额与百万卡目标的时间表;85% 以上的 goodput 与 54,000 小时的间隔也没有说明统计区间;Muse Wonder 的性能表述全部来自 Meta 自评,尚无第三方复现。此外,Meta 已在 7 月退出 RE100 承诺,其天然气发电扩张与「全额支付本地电费并匹配清洁能源」的表述之间存在张力。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。

Meta Prometheus 集群:百万卡目标与 99% 中断下降|北京拓实科技