加密知识一站通
行情·工具·策略

寒武纪完成DeepSeek-V4适配,代码已开源,带动国产芯片股走强

动察 Beating 监测,寒武纪宣布已在 V4 发布当天完成 285B DeepSeek-V4-Flash 和 1.6T DeepSeek-V4-Pro 两款模型的适配,基于 vLLM 推理框架,适配代码已开源至 GitHub。

适配速度依赖两个前提:一是寒武纪自研 NeuWare 软件栈原生支持 PyTorch、vLLM 等主流框架,模型可快速迁移;二是寒武纪芯片原生支持主流低精度数据格式,无需额外格式转换即可完成精度验证。针对 V4 的新结构,寒武纪通过自研融合算子库 Torch-MLU-Ops,对 Compressor、mHC 等模块做了专项加速,并用 BangC 编写了稀疏/压缩 Attention、GroupGemm 等热点算子内核。

在推理框架层面,寒武纪在 vLLM 中支持 TP/PP/SP/DP/EP 五维混合并行、通信计算并行、低精度量化和 PD 分离部署。V4 技术报告仅提及了在 NVIDIA GPU 和华为昇腾 NPU 上的验证,未涉及寒武纪平台,此次适配由寒武纪自主完成。受 V4 发布消息刺激,A 股国产芯片板块走强,寒武纪盘中直线拉升。

赞(0)
未经允许不得转载:币须知道 » 寒武纪完成DeepSeek-V4适配,代码已开源,带动国产芯片股走强

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址