端侧模型首次支持百万Token上下文
科大讯飞子公司词元星火于9月2日正式开源星火X2.5-4B与1.7B两款端侧通用大模型。这是端侧模型首次原生支持最长100万Token上下文,远超同尺寸竞品。长上下文能力使端侧设备能够处理更复杂的任务,如长文档理解、多轮对话和复杂代码生成。
混合注意力架构与专项优化
星火X2.5采用混合注意力架构,围绕智能体、代码、数学与指令遵循四大方向进行专项优化。在智能家居控制场景中,端到端正确率达到90.3%,平均响应时间仅0.85秒,展现出端侧模型在实际应用中的高效能力。
全国产算力训练与多平台适配
两款模型基于全国产算力,使用约20万亿Token进行预训练。目前已适配英伟达、华为昇腾、海光等多种硬件平台,支持vLLM、llama.cpp等主流推理框架。模型权重已在Hugging Face开放,开发者可直接下载使用。
端侧AI的战略意义
端侧大模型的开源对于降低AI应用门槛具有重要意义。相比云端部署,端侧模型能够在本地完成推理,保护用户隐私、降低网络依赖、减少延迟。星火X2.5的百万Token上下文能力,使端侧设备首次具备处理复杂长任务的能力,为智能家居、车载、工业控制等场景的AI落地提供了新的可能。

