加密知识一站通
行情·工具·策略

英伟达发Blackwell成本明细:GPU贵一倍,每token反便宜35倍

动察 Beating 监测,英伟达发博客拆解推理硬件选型,核心论点一句话:评估推理基础设施应看「每 token 成本」而非「每 GPU 每小时成本」。用 GPU 单价比,Blackwell 更贵;用 token 成本比,Blackwell 碾压上一代。

博客以 DeepSeek-R1(MoE 推理模型)为测试对象,对比 Blackwell(GB300 NVL72)与上一代 Hopper(HGX H200)。按云市场租赁参考价,Blackwell 每 GPU 每小时 2.65 美元,比 Hopper 的 1.41 美元贵近一倍,但单 GPU 每秒 token 产出从 90 跳到 6000,65 倍的吞吐提升分摊下来,每百万 token 成本从 4.20 美元降到 0.12 美元。每兆瓦 token 产出提升 50 倍。

需要注意的前提:0.12 美元这个数字建立在 FP4 低精度推理加 MTP(多 token 预测,让模型一次生成多个 token 来提速)等多项软件优化全部开启的基础上。SemiAnalysis InferenceX v2 原始数据显示,同样的 GB300 NVL72 跑 DeepSeek-R1,不开 MTP 时每百万 token 成本约 2.35 美元,开启后降至约 0.11 美元,单这一项优化就拉开 21 倍差距。以上均为 DeepSeek-R1 单一模型的测试结果,不同模型架构和规模下数字会不同。

赞(0)
未经允许不得转载:币须知道 » 英伟达发Blackwell成本明细:GPU贵一倍,每token反便宜35倍

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址