据 1M AI News 监测,谷歌研究院发布量化压缩算法 TurboQuant,可将大语言模型的 KV 缓存压缩至 3 bit,内存占用缩减至少 6 倍,无需训练或微调,不损失模型精度。4 bit 模式下,在英伟达 H100 GPU 上计算注意力的速度较 32 bit 未量化基线提升最高 8 倍。
研究团队在 LongBench、Needle In A Haystack、ZeroSCROLLS 等长上下文基准上用 Gemma 和 Mistral 模型验证,TurboQuant 在所有测试中均达到最优表现。该算法由两个子算法组成:PolarQuant 通过极坐标变换消除传统量化方法的内存开销,QJL 仅用 1 bit 校正残余误差。
该研究由谷歌研究院 Amir Zandieh 和副总裁兼 Google Fellow Vahab Mirrokni 主导,与韩国 KAIST 和纽约大学合作完成,将在 ICLR 2026 上发表。谷歌表示该技术的主要应用之一是解决 Gemini 等模型的 KV 缓存瓶颈。
币须知道