三星电子日前公布面向智能手机、AI PC等端侧AI设备的LPDDR5X-PIM架构及详细性能指标。该技术可在内存内部直接完成部分运算处理,无需将数据反复传输至处理器。LPDDR5X-PIM 的 PIM 带宽高达614GB/s,容量为16GB。相比之下,传统 DRAM 的带宽仅为 76.8GB/s,PIM 技术的应用使带宽提升了八倍。
三星使用Meta的拥有80亿参数模型"Llama 3.1"进行测试,结果显示:
处理时间:从传统LPDDR5X的12.3秒缩短至5.4秒,提速约2.3倍;
每秒Token处理量(TPS):从27个提升至81.3个,是现有产品的3倍。