发生了什么
Meta 在 10 月 19 日的工程博客中首次系统披露了位于俄亥俄州 New Albany 的 Prometheus 超级集群。一期工程已经完成交付,并训练出了本月发布的 Muse 系列基础模型,其中包括面向个人与专业智能体任务的 Muse Wonder。站点当前装有数十万块英伟达 GPU,长期目标是约 100 万块,全部在同一套调度下「像一个整体」运行。两年前,这里还只是一个承载网页流量(点赞、信息流、消息)的常规数据中心。
三套 NVL72 机架,逐代提高密度
- Catalina 平台使用 GB200 NVL72 的双机架形态,每机架 36 块 GPU,经 NVLink 拼成一个 72 卡域;每块 GPU 配一颗 Grace CPU 与两张 ConnectX-7 400G 网卡,横向带宽做到 800G/GPU。一对机架提供 13.4TB HBM3e(192GB/卡)、720 PFLOPS FP8 算力、130TB/s NVLink 带宽,整机功耗约 120kW。
- Clemente 平台切到 GB300 NVL72,单机架即可容纳完整 72 卡域,显存升到 288GB/卡(机架 20.7TB),FP4 峰值超过 1 EFLOPS,功耗约 135kW;Meta 自评相对 GB200 有 5% 至 10% 的性能提升,布线更少、可维护性更好。
- 第三个平台 San Miguel 将引入 Vera Rubin NVL72 机架,目前尚未投用。
- 单个建筑内的以太网后端 fabric 最多接入 20,736 块 GPU;建筑之间通过聚合网络相连,跨度从 2 公里到 100 公里以上。
真正的难题是「别停」
在万卡级训练里,一块网卡或一条链路的信号劣化就足以让整个作业停摆。Meta 给出的数据是:2025 年中期,每 8,000 块 GPU 每天的中断次数峰值接近 1,000 次;经过一年工程改进后下降了 99%。Muse Wonder 训练期间,预训练的有效训练时间占比(goodput)保持在 85% 以上,强化学习阶段超过 90%;两次中断之间的平均无故障时间约 47,000 GPU 小时,固件修复后已超过 54,000 小时,目标指向 10 万小时。
早期最大的问题是 60 多万条 NVLink 链路的信号质量;随着 GB300 机架规模上升,显存故障占比明显提高。这两类问题都不是靠单点优化解决的,而是靠整机架的可观测性与替换流程。
可靠性是用硬件冗余换来的
- 每个 72 卡机架只跑 64 卡,留 8 卡作备件;
- 另有约 2% 的机架整体预留;
- 因此一个 32,768 卡的任务实际需要 37,656 卡,多出约 13%。
电力是第二个硬约束:上万块 GPU 同步启停时,负载波动可达 30% 至 40%,几秒钟内就是几十兆瓦的跳变。Meta 用一套名为 Dynamo Dimmer 的软件逐级压低 GPU 功耗上限,配合机架级、机房级与电网级电池缓冲,而不是直接杀掉作业。站点的部分机房采用闭环液冷。
对企业读者意味着什么
有三条经验可以直接迁移。其一,把「有效训练时间占比」当作集群采购与运维的核心指标,而不是只比较单卡算力峰值。其二,机架形态从 8 卡走向 72 卡之后,单点故障的影响面扩大了约九倍,备件比例与故障域设计必须同步调整,多出的 13% 卡不是浪费而是可用性成本。其三,电力弹性已经成为集群设计的一等约束,需在选址阶段就把电池与限功策略纳入。
Meta 表示下一站 Hyperion(路易斯安那州 Richland Parish)正在按 Prometheus 的经验设计,并已承诺投入 10 亿美元用于数据中心所在社区。
不确定之处
博客没有给出确切的 GPU 数量、实际功耗、投资额与百万卡目标的时间表;85% 以上的 goodput 与 54,000 小时的间隔也没有说明统计区间;Muse Wonder 的性能表述全部来自 Meta 自评,尚无第三方复现。此外,Meta 已在 7 月退出 RE100 承诺,其天然气发电扩张与「全额支付本地电费并匹配清洁能源」的表述之间存在张力。

