SK海力士 https://www.skhynix.com/

在AI时代，高性能内存产品对于大型语言模型（LLM）的顺畅运行至关重要。然而，随着这些LLM在越来越大的数据集上进行训练并不断扩展，市场对更高效解决方案的需求日益增长。SK海力士通过其PIM产品AiMX来满足这一需求，这是一款AI加速卡，结合了多个GDDR6-AiMs，提供高带宽和卓越的能源效率。

近日，SK海力士展示了其最新的32GB AiMX原型卡，其容量是上一代的两倍。为了突出新AiMX在多批次环境中的先进处理能力，SK海力士使用开源LLM Llama 3 70B模型对原型卡进行了演示。演示特别强调了AiMX作为数据中心中高效的注意力加速器的能力。

AiMX解决了与LLM相关的成本、性能和功耗挑战，不仅适用于数据中心，还适用于边缘设备和设备上的AI应用。例如，当应用于移动设备上的AI应用时，AiMX在保持相同功耗的同时，将LLM速度提高了三倍。