谷歌发布了TurboQuant技术，能够把AI模型的内存使用量压缩到原来的六分之一，这对美国股市里卖存储设备的企业来说，就像挨了一拳。这个技术其实是针对AI系统里那些频繁读写的信息设计的，它不用去改动或者重新训练模型，就能把这些数据存到一个更小的地方。在Gemma、Mistral这些开源模型上一测，内存占用真的能压下去六倍那么多。要是拿英伟达的H100芯片来跑，跑起来比不用这个技术要快八倍。它用的办法挺巧妙，先是用PolarQuant把数据转一转再压缩，然后再用Johnson-Lindenstrauss算法把误差抹掉。谷歌打算在今年4月开的ICLR大会上正式亮出来。消息一传出来，美股那边的股票全跌了，大家都怕AI以后不太需要这么多内存芯片了。 富国银行的TMT分析师Andrew Rocha觉得，虽然现在模型的上下文越来越长，需要存的数据越来越多，但TurboQuant把成本曲线给压下去了，要是普及了对控制成本有好处。不过他也说，这东西到底能不能推广出去用在别的地方还是个未知数。摩根士丹利那边也解释说，这玩意儿只在推理的时候管用，主要是为了让GPU跑得更快些，同一批硬件能处理更长的上下文或者更多的任务量，并不是说总的需求会少那么多。 短期大家都慌了神卖股票避险，可从长远来看这是好事儿。这技术能降低搞AI的门槛，让更多的应用场景跑起来。只不过现在的股票价格已经涨得很高了，估值有点顶不住了。以后看这板块怎么走，就看这项技术到底能在多少个地方落地用起来。