谷歌发布TurboQuant算法，有效降低AI内存使用

官网讯——

【谷歌发布TurboQuant算法，谷歌有效降低AI内存使用】

(1) 近日，发布谷歌推出了TurboQuant压缩算法，算法使用旨在减少大语言模型和向量搜索引擎的有效内存需求。该技术专注于解决AI系统中键值缓存造成的降低内存瓶颈，尤其是内存在上下文窗口增大的情况下，这些缓存成为主要的谷歌内存消耗来源。

(2) TurboQuant能够以3bit精度压缩键值缓存，发布而无需重新训练或微调模型，算法使用且保持模型的有效准确性。针对Gemma、降低Mistral等开源模型的内存测试表明，此技术能够实现约6倍的谷歌内存压缩效果。

(3) 在英伟达H100加速器上的发布评测显示，TurboQuant算法可将性能提升至最高约8倍。算法使用研究团队指出，该技术不仅适用于AI模型，亦可增强大规模搜索引擎的向量检索能力。谷歌计划在4月的国际学习表征会议上展示TurboQuant技术。