加密知识一站通
行情·工具·策略

国产算力里程碑:千卡昇腾910C跑通DeepSeek 1.6万亿模型全参数后训练

动察 Beating 监测,由深圳河套学院、哈工大(深圳)、深圳市大数据研究院与华为相关团队组成,并协同深智城 AI 算力平台的联合攻关团队,宣布在国产 AI 算力平台上成功跑通 1.6 万亿参数大模型 DeepSeek-V4-Pro 的全参数后训练(Post-training)。

这是全球第三方机构首次在国产算力平台上完成 1.6 万亿参数规模模型的全参数后训练。

相较于从零开始的预训练(Pre-training),后训练阶段(主要包括监督微调 SFT 与强化学习 RL)侧重于通过高质量指令和人类偏好对齐,教导模型遵循指令并执行特定任务。然而,对于 1.6 万亿参数的 MoE 架构模型而言,全参数后训练依然对底层硬件的显存容量、多卡间通信带宽(如 MoE 路由所触发的全对全通信)以及大规模集群的稳定性有着非常苛刻的要求。联合攻关团队依托超千张芯片规模的华为昇腾 910C 算力集群,通过优化分布式承载与负载均衡策略,成功克服了通信瓶颈。在长达 1500 多步的训练过程中,系统未出现一次中断,模型算力利用率(MFU)超过 30%,关键算子效率提升了 14%,各项指标均达到工业级运行标准。

业内分析指出,华为昇腾 910C 集群在万亿级模型训练上的成功跑通,印证了国产 AI 芯片在承载超大规模模型深度训练任务时的技术可行性。由于此前大模型研发的核心预训练多依赖英伟达 GPU 集群,国产算力此前主要承担推理(Inference)或小参数微调任务。本次联合攻关的成功,标志着国产算力生态正加速从「仅支持推理」向「承载超大参数模型全参数训练」的技术闭环过渡。

赞(0)
未经允许不得转载:币须知道 » 国产算力里程碑:千卡昇腾910C跑通DeepSeek 1.6万亿模型全参数后训练

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址