铠侠宣布开源AiSAQ技术,可降低生成式AI系统中的DRAM需求

厂商动态 铠侠 Andy 2025-02-06 14:58

铠侠近日宣布开源其全新全存储 ANNS 产品量化 (AiSAQ) 技术,这是一种针对 SSD 优化的新型“近似最近邻”搜索 (ANNS) 算法,它为检索增强生成 (RAG) 提供了可扩展的性能,无需将索引数据放置在 DRAM 中 - 而是直接在 SSD 上进行搜索。

生成式 AI 系统需要大量的计算、内存和存储资源。虽然它们有可能推动各个行业的变革性突破,但部署它们通常需要高昂的成本。RAG 是 AI 的一个关键阶段,它使用特定于公司或应用程序的数据来完善大型语言模型 (LLM)。

RAG 的核心组件是向量数据库,它可以累积特定数据并将其转换为数据库中的特征向量。RAG 还利用 ANNS 算法,该算法根据累积向量与目标向量之间的相似性来识别可以改进模型的向量。要使 RAG 有效,它必须快速检索与查询最相关的信息。传统上,ANNS 算法部署在 DRAM 中以实现这些搜索所需的高速性能。

KIOXIA AiSAQ 技术为十亿级数据集提供了可扩展且高效的 ANNS 解决方案,具有极低的内存使用量和快速的索引切换功能。

KIOXIA AiSAQ 技术的主要优势:

允许大型数据库在不依赖有限的 DRAM 资源的情况下运行,从而增强 RAG 系统的性能。

无需将索引数据加载到 DRAM 中,矢量数据库可即时启动。这支持在同一台服务器上无缝切换用户专用或应用专用数据库,从而实现高效的 RAG 服务交付。

通过将索引存储在分类存储中以供多台服务器共享,针对云系统进行了优化。此方法可针对特定用户或应用程序动态调整矢量数据库搜索性能,并促进搜索实例在物理服务器之间的快速迁移。

推荐:电脑用的少,手机扫一扫,资讯快一步!

扫码关注我们

简讯快报

更多
⊙8小时前 15:43

因LPDDR4X市场需求持续萎靡,存储厂商实际出货遇阻,导致对资源的采购节奏也有所减缓,在存储厂商资源购买力减弱的拖累下,近期国产LPDDR4X Wafer及颗粒价格均出现下滑,尤其8GB LPDDR4X资源价格自上月以来已连续出现下跌。从成本端来看,资源价格回落虽有助于适度降低采购成本,但当前时间逼近季末后半段,终端客户普遍管控库存,整体备货需求十分低迷。本周4GB/8GB  LPDDR4X价格小幅下调。eMMC方面,10月份以来,个别存储厂商持续激进杀价,部分供应链包括代理、经销商、贸易商不计亏损也被动跟跌以加快周转,但下游客户普遍处于库存高企的状态,甚至个别客户作为昔日的采购方为降低库存水位、疏通现金流,反向通过渠道市场释放此前囤积的库存。随着低价eMMC货源不断增多,贸易价仍在持续下探且尚未止跌,存储厂商同容量eMMC产品官价与贸易价的差距进一步加大,本周多数eMMC产品价格继续下修,相应的,集成式eMCP、uMCP价格跟随调整。

LPDDR:LPDDR4X 64Gb 跌 2.22% 至 $88.00,LPDDR4X 32Gb 跌 3.33% 至 $58.00;

eMMC:eMMC 8GB 5.1 跌 3.03% 至 $16.00,eMMC 16GB 5.1 跌 2.86% 至 $17.00,eMMC 32GB 5.1 跌 2.78% 至 $17.50,eMMC 64GB 5.1 跌 2.78% 至 $17.50,eMMC 128GB 5.1 跌 7.14% 至 $26.00,eMMC 256GB 5.1 跌 7.62% 至 $48.50;

eMCP:eMCP(eMMC + LPDDR4X)64GB+32Gb 跌 8.48% 至 $75.50,eMCP(eMMC + LPDDR4X)128GB+32Gb 跌 5.62% 至 $84.00,eMCP(eMMC + LPDDR4X)128GB+48Gb 跌 5.71% 至 $99.00;

uMCP:uMCP(LPDDR4X + UFS2.2)6GB+128GB 跌 0.93% 至 $106.00,uMCP(LPDDR4X + UFS2.2)8GB+128GB 跌 6.20% 至 $121.00,uMCP(LPDDR4X + UFS2.2)8GB+256GB 跌 5.13% 至 $148.00。