Efficient Vector Search on Disaggregated Memory with d-HNSW
Yi Liu and Fei Fang and Chen Qian
高效的矢量查询处理对于大规模启用AI应用程序至关重要。 最近的解决方案与不断增长的矢量数据集作斗争,这些矢量数据集超过了单机内存容量,迫使单体架构中不必要的数据移动和资源利用不足。 我们介绍了 d-HNSW,这是第一个基于 RDMA 的远程内存系统的分类向量相似性搜索引擎,它实现了高性能,同时支持快速数据索引,网络通信开销低。 d-HNSW的核心是基于图形的向量索引数据结构HNSW的新分类。 它利用HNSW中贪婪搜索的特性,在满足数据请求的同时,有效地协调从内存池到计算池的数据传输。 具体来说,它利用了三个想法:(i)代表索引缓存,由采样数据子集构建的轻量级索引,在计算池中缓存,以减少对基于分层图形的索引的关键组件的频繁访问,(ii) RDMA友好型数据布局设计,以减少矢量查询和插入产生的网络往返,以及(iii)批处理查询感知数据加载,以减少池之间数据传输的带宽使用,解决有限的缓存容量。 我们通过广泛的基准测试数据集来评估d-HNSW。 实验结果表明,d-HNSW在延迟时优于Naive d-HNSW实现,同时在数据集SIFT1M@1中保持召回为0.87。
Efficient vector query processing is critical to enable AI applications at scale. Recent solutions struggle with growing vector datasets that exceed single-machine memory capacity, forcing unnecessary data movement and resource underutilization in monolithic architectures. We present d-HNSW, the first disaggregated vector similarity search engine for RDMA-based remote memory systems that achieves high performance while supporting fast data indexing with low network communication overhead. The co...