权威的存储市场资讯平台English

得一微电子 http://www.yeestor.com/

得一微电子CEO吴大畏:存储芯片在AI端侧的创新应用

编辑:   发布:2024-07-30 12:52

日前,由中国科学院、中国工程院等多名院士领衔的第二届中国计算机学会芯片大会(CCF Chip 2024)在上海圆满落幕。作为国内存储控制芯片领域领军企业,得一微电子CEO吴大畏先生发表特邀报告《存储芯片在AI端侧设备的前沿应用与未来展望》,他和与会专家一道,深入探讨AI终端部署的计算与功耗瓶颈,以及智能计算与新兴存储技术的融合,为存算技术发展提供前沿研究。

在AI时代,尽管HBM在内存市场大行其道,但非挥发存储如eNVM和传统NAND Flash在AI时代正悄然变革,并在业界产生新的影响。吴大畏先生在演讲中,探讨了存储芯片和AI端侧设备未来应用的方向,这些方向虽不一定都会成为未来,但无疑具有引领市场的潜力,可能预示着真实的未来趋势。

AI与端侧设备相互依存、相互支撑

提及AI,必然涉及端侧AI的应用。吴大畏先生首先列举了AI在端侧应用的六大主要设备:AI智能手机、AI PC、智能物联网设备、智能汽车、健康监测设备以及智能安防监控,并指出AI应用主要涵盖智能家居(消费领域)、智能制造(工业领域)以及智慧城市(工业及更广泛的社会应用领域)三大核心场景。这些多样化的设备和场景组合共同构成了丰富多彩的AI应用场景。

在吴大畏先生看来,未来AI应如空气般无处不在,深入每个使用环境,成为主动而非被动式存在。这意味着AI需落地端侧,实现润物细无声的存在,让用户每天如呼吸空气般感受不到其存在,却又无处不在。因此AI落地端侧,除了对算力的要求外,还需考虑数据安全、高性能与低延时、用户体量和黏度、优异的成本效益等。而端侧设备对AI也有需求,包括多模态信息的输入输出能力、本地决策能力和精准的个性化体验等,AI与端侧设备两者相互依存,相互发展。

接着,吴大畏先生还深入探讨了非挥发存储与AI结合的多层次演进方式。他指出,非挥发存储自身的演进将追求更高性能、吞吐率、并发性、安全性和容量,以及针对AI应用的优化;此外,非挥发存储和计算系统的接口演进,在不同应用中也将呈现多样化发展路径。嵌入式存储如手机可能会沿UFS3.0、UFS4.0等路径升级。在PC领域则向PCIe Gen5、Gen6、Gen7发展,互联可能向CXL方向演进,并有望从企业级扩展到消费电子端侧。最后,存储互联和计算的整生态优化,最终达到性能提高、功耗降低、成本降低的目标。未来系统同时实现这三点,关键在于优化算力、存力和数据传输的紧致分配。

随着AI产业的发展,端侧设备可能需要承载更多增长训练,以及验证、推理等后续工作,端侧将逐渐支持相关生态和应用的发展。根据微软和摩根士丹利等机构的预测,到2024年底,AI PC销售量有望达到5000万台,占PC市场的20%左右;全球新一代AI手机出货量将达1.7亿部,占智能手机出货量的15%左右。到2028年,AI PC渗透率预计将达到64%,AI手机市场份额将达到54%。从产业链发展的角度来说,这个增长速度无疑是令人瞩目的。

在此基础上,吴大畏先生进一步从AI手机、AI PC、智能汽车、AI存储等场景出发,分享了他的深入见解和展望。

存储应对AI智能手机的挑战

面对AI智能手机挑战,关键在于实现手机端侧AI应用的高效运行。手机端侧的AI应用对算力和DRAM提出了更高要求。鉴于DRAM在端侧成本中的高占比,若采用高算力GPU配合大容量DRAM,可能会导致成本显著上升。为解决这一问题,关键在于将非挥发存储与DRAM、GPU、NPU、APU、TPU、CPU等组件进行有机结合,在成本与性能之间找到平衡点,并有望在未来实现手机端的增长训练。同时,这种结合方式还能最大限度地保护用户隐私,并确保系统能够实时响应用户的个性化需求。

如若像苹果公司在其蓝图中所规划的那样,将AI智能手机演变为个人工作、生活小助理,则需解决在内存有限的情况下如何训练和应用大型模型的问题。这通常涉及将非挥发存储与内存进行组合使用,同时还需要进行模型压缩、存储结构优化以及算法本身的优化。

AI PC从被动式存储转变为主动式存储

接着吴大畏先生探讨了AI PC端侧的存储需求。AI PC是具备全模态人机自然交互条件,承载最多场景的个人通用设备,是最强的个人计算平台,同时也是存储容量最大、最受信赖的安全终端。

吴大畏先生分享了关于AI PC集成带推理能力SSD的看法,即近存计算应用。每个存储控制芯片内实际含大量算力,可为算力基础设施提供支撑。若生态得到优化,模型数据和计算不需内存重新加载,数据传输的性能将大幅提高,功耗降低,对上层CPU算力要求也会降低。

展望未来,手机和PC将包含增量训练和推理,存储需分层以控制成本。虽然全用SLC对系统和个人体验最佳,但价格高昂。产业界需解决提供最高性价比方案的问题,由此提出了存储介质分层方案。从当前来看,分层包括HBM、DIMM、CXL、SLC SSD、普通SSD、QLC SSD、机械硬盘等。未来,这些存储层次将更广泛地应用于家庭和个人场景。

CXL存储助力车端AI应用

车端作为AI典型的应用场景,愈来愈多的矛盾点逐渐显现。一方面,在智能汽车内卷严重的今天,汽车BOM(物料清单)成本受到了严格限制;另一方面,汽车智能时代对存储设备的性能、及时性、可靠性、服务性QoS等要求极高,导致矛盾愈发凸显。某些应用初始版本功能单一、效率高,但随着功能不断增多,逐渐变慢且占用更多算力。车厂虽会在初始阶段为每个应用分配一定的CPU算力份额,但难以持续维持这种分配,关键应用的算力无法得到保证。

面对这一问题,吴大畏先生认为融合了CXL技术的存算一体、存算的极致分配与互联的解决方案将是破解之道。在嵌入式行业场景中,存算一体和近存计算将会得到首先应用。以数据库存储方案在车端AI的应用为例,如果车厂仅仅通过更换算力更高的CPU来解决问题,那将导致成本过高。因此,合理的方案在于如何实现紧致的算力分配,在存储端分担部分数据库算力,以优化CPU的算力分配。

总结

吴大畏先生的演讲不仅为存算技术发展提供了前沿的研究方向,还为行业带来了宝贵的思考和启示。在演讲尾声,吴大畏先生揭示了得一微电子对于手机、PC、汽车端等主流存储领域的未来布局。凭借最全面的存储控制产品线和IP组合,得一微电子正在加速推进UFS4.0、PCIe 5.0、CXL等前沿产品和技术的研发,将为更多行业和应用场景带来创新性的存储解决方案。

得一微电子致力于成为存储控制、存算一体、存算互联领域技术领先的芯片设计公司,为消费级、企业级、工业级、车规级等市场的全场景应用提供贴身定制的解决方案和服务。通过不断创新的技术,为中国新兴存储器在消费电子和AI端侧应用带来高性价比的解决方案,进一步推动存算技术的发展和进步,助力行业实现更多的创新和突破。

企业信息
公司总部
公司名称:
得一电子
地点:

深圳市南山区科技园南区高新南七道数字技术园A1栋7楼

成立时间:
2007年
所在地区:
中国深圳
联系电话:
+86 755 8885 2296

人气厂商
更多»