今儿个Kioxia公司把咱聊的两个大招都亮出来了,一是在单台服务器上塞进了48亿个高维向量搞搜索,另一个是用GPU把索引构建的时间给压得只剩CPU的7.8分之一了。这都是靠着NVIDIA cuVS库和自家的KIOXIA AiSAQ技术实现的,咱不仅速度快,还把DRAM的用量给压得极低,光靠CPU造1024维的索引以前得耗上28.4天,现在换成4块NVIDIA Hopper GPU就只要1.4天,效率简直是翻了两番。现在的AI应用要处理那么大的数据量(得上百亿向量),光靠DRAM早就不够用了,Kioxia用这套AiSAQ技术在固态硬盘上搞了个大容量的架构,配合GPU加速,大规模部署也就不是事儿了。NVIDIA那边的副总裁Jason Hardy也挺看好这个,觉得这能帮RAG应用处理那些海量的非结构化数据。话说这技术去年才刚发布开源,能直接在固态硬盘上搜向量又省内存,解决了之前的扩展难题。它用的是那种全局索引(Global Index)的算法,结合了图搜索和混合聚类,让超级大的数据量搜起来也飞快。开发者还能灵活调优,找到性能和规模的平衡点。Kioxia的高管Masashi Yokotsuka也说了,要做到十亿级别的向量数据库,就得把内存和算力这两摊事儿重新算一算。 把这块SSD的向量搜索和NVIDIA的GPU加速绑一块儿用,就能把大规模的索引建起来。1987年东芝公司发明了NAND闪存,后来变成Toshiba Memory,2017年4月才独立成了现在的Kioxia Corporation。人家现在正猛推BiCS FLASH这种3D闪存技术,想把它用在那些先进的电脑、汽车系统和数据中心里去。咱们这次跑的基准测试可是处理了19.66 TB的向量数据呢。如果想弄更大的规模,Kioxia正在往里使劲儿呢。