加密知识一站通
行情·工具·策略

谷歌TurboQuant:3bit量化KV缓存无精度损失,推理最高快8倍

据 1M AI News 监测,谷歌研究院发布量化压缩算法 TurboQuant,可将大语言模型的 KV 缓存压缩至 3 bit,内存占用缩减至少 6 倍,无需训练或微调,不损失模型精度。4 bit 模式下,在英伟达 H100 GPU 上计算注意力的速度较 32 bit 未量化基线提升最高 8 倍。

研究团队在 LongBench、Needle In A Haystack、ZeroSCROLLS 等长上下文基准上用 Gemma 和 Mistral 模型验证,TurboQuant 在所有测试中均达到最优表现。该算法由两个子算法组成:PolarQuant 通过极坐标变换消除传统量化方法的内存开销,QJL 仅用 1 bit 校正残余误差。

该研究由谷歌研究院 Amir Zandieh 和副总裁兼 Google Fellow Vahab Mirrokni 主导,与韩国 KAIST 和纽约大学合作完成,将在 ICLR 2026 上发表。谷歌表示该技术的主要应用之一是解决 Gemini 等模型的 KV 缓存瓶颈。

赞(0)
未经允许不得转载:币须知道 » 谷歌TurboQuant:3bit量化KV缓存无精度损失,推理最高快8倍

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址