SK海力士负责解决方案AT的副社长Lim Eui-cheol近日在美国举办的"AI Infra Summit"上进行了发表。他表示,随着人工智能工作负载日益多样化,仅靠现有的GPU-HBM架构已难以满足新的需求。SK海力士正在准备PIM(存内计算)、HBF(高带宽闪存)和SALT-KV等软硬件结合的新解决方案,以满足这些不断变化的工作负载的需求。
PIM技术将计算功能集成到内存中,从而减少处理器和内存之间的数据传输。该技术能够在提高计算性能和能效的同时,缓解数据传输过程中的内存瓶颈。SK海力士在其展位上展出了“AiM”芯片(可为内存增加计算能力)、配备多个芯片的“AiMX”加速卡以及装有AiMX卡的服务器。
随着人工智能范式从训练转向推理,介于高带宽的HBM和可存储海量数据的SSD之间的新型存储层需求日益增长。HBF是一种采用类似HBM的TSV技术的下一代NAND解决方案,能够在提供高带宽和大容量的同时,提高需要处理长上下文的AI服务的效率。
SALT-KV技术用于解决KV Cache的存储问题,该缓存会在AI推理过程中迅速增长。将LLM的KV Cache划分为基于上下文的多个数据段,并全面评估其重用价值和存储成本。基于此,SALT-KV会将数据放置在HBM、DRAM 和 SSD中最合适的存储层级,从而在有限的内存资源下提高利用率和AI系统的整体成本效益。本次展览现场还展示了如何使用搭载SALT-KV解决方案的 LLM 模型创建并运行游戏。
SK海力士表示将紧跟人工智能发展的步伐,积极响应客户日益多元化的需求。

