发生了什么
11 月 5 日,百度文心团队发布 ERNIE-5.5-Flash-Base,把文心 5.5 Flash 的预训练终点 checkpoint 开放给社区。模型为稀疏 MoE,总参数 280B,每 token 激活 14B,在 33.5T token 上从零完成预训练,使用 Muon 优化器与 FP8 混合精度。权重以 FP8 与 BF16 两种 safetensors 上架 Hugging Face,采用自有许可 ERNIE 5.5 Flash Base Model License Agreement v1.0。
百度在发布页写清了这次的边界:开放的是未经中训练与后训练的 Base 权重,经过后训练的 ERNIE 5.5 Flash 随后推出。换言之,这不是一个能直接对话的模型,输入还要求以 BOS token 开头。
效率设计落在哪些部件上
- 混合稀疏注意力:43 层里每 7 层保留 1 层 MLA 做全上下文 token 级访问,其余 37 层改为重度压缩注意力(HCA),每 128 个 token 压成 1 条缓存,只对压缩条目加最近一小段未压缩窗口做稠密计算。
- 按层配头维度:计算量小的 HCA 层用 512 维宽头,计算量大的 MLA 层用 256 维窄头;KV cache 预算集中给 6 层 MLA,并在这些层上叠加稀疏注意力(DSA)。
- 多路由 MoE:512 个路由专家选 10,另设 1 个共享专家;专家在 2048 维隐空间内计算,dispatch 与 combine 通信量、专家 FLOPs 约减半。
- ECHO 取代 MTP:直接复用主干最后一层做多 token 预测,不再外挂独立的 MTP Transformer 层。
- 其余取舍:mHC 用 4 条并行残差流替代标准残差连接;MultiMax 输出头用分段可学习温度压长尾;新 BPE 词表约 20 万,数字按从右到左、三位一组切分。
训练上下文逐步扩到 128K,微调与推理支持 1M。为配合大 head dim,百度同时放出 FlashMask-4 注意力算子,支持 qk_head_dim 至 576、v_head_dim 至 512,官方称在 SM100 上相比 FlashAttention-4 的 MaskMod,前向最高提升 175%、反向最高提升 74%。
对企业意味着什么
开放 Base 而不是对话模型,指向的是另一批使用者:有能力做继续预训练、领域适配或强化学习训练的团队。百度在同一评测框架下把它与同尺寸量级的 DeepSeek-V4-Flash-Base(284B-A13B)、Hy3-preview-Base(295B-A21B)、MiMo-V2.5-Base(310B-A15B)对齐比较,强调推理、代码与综合类基准,以及 6 项长上下文基准。
现实约束也很直接:280B 的权重不是单机能跑的量级,即便只做微调也需要多卡与相应显存;许可为百度自有协议,商用范围、署名要求与再分发条款需要逐条核对,不能按 Apache 2.0 的惯性理解。
不确定之处
公开的对比成绩均由百度自行评测,尚无第三方复测;外部报道提到的 HumanEval+ 82.3% 属单点转述,发布页给出的是一组分类别结果。真正能判断这版权重价值的,是社区在领域继续预训练与 Agent 训练上跑出的增益,而不是预训练 loss 曲线。

