编辑:AVA 发布:2024-05-24 14:36
AMD 首席执行官苏姿丰近日在演讲中介绍了 AMD 为实现公司 30x25 目标所采取的步骤,该目标旨在到 2025 年将计算节点的能效提高 30 倍。Lisa Su宣布,苏姿丰不仅有望实现这一目标,而且现在还看到了到 2026 年至 2027 年将能效提高 100 倍以上的途径。
由于 ChatGPT 等生成式 AI LLM 的激增,人们对 AI 功耗的担忧成为最新关注的焦点,AMD 早在 2021 年就预见到了 AI 巨大的功耗需求所带来的问题。当时,AMD 开始致力于其 30x25 目标,以提高数据中心计算节点的能效,特别指出 AI 和 HPC 的功耗是一个迫在眉睫的问题。
AMD 早在 2014 年就设定了其第一个雄心勃勃的能源目标,其首个 25x20 目标是到 2020 年将消费端处理器的能效提高 25 倍,而 AMD 最终以 31.7 倍的提升超额完成了这一目标。
能耗问题现在已成为焦点。随着全球最大的公司争夺人工智能霸主地位,生成式人工智能正在推动数据中心的快速扩张,但公共电网尚未准备好应对耗电数据中心的突然激增,电力成为新的限制因素。由于电网容量、基础设施和环境问题限制了可用于新建和扩建数据中心的容量,因此数据中心可用的电量受到严格限制。事实上,许多新数据中心都建在发电厂旁边,以确保电力供应,而巨大的需求甚至重新点燃了使用核小型模块反应堆 (SMR) 为单个数据中心供电的热情。
随着训练模型所需的计算量增加,问题只会愈演愈烈。苏姿丰指出,第一批图像和语音识别人工智能模型的大小过去每两年翻一番,与过去十年计算能力的进步速度基本一致。然而,生成式人工智能模型的规模现在以每年 20 倍的速度增长,超过了计算和内存进步的速度。苏姿丰表示,虽然当今最大的模型是在数万个 GPU 上训练的,消耗了数万兆瓦时的电力,但快速扩大的模型大小可能很快就需要数十万个 GPU 进行训练,可能需要几千兆瓦的电力来训练一个模型。这显然是站不住脚的。
AMD 为提高能效制定了多管齐下的策略,包括一种广泛的方法,从其硅架构和先进的封装策略扩展到 AI 特定的架构、系统和数据中心级调整以及软件和硬件共同设计计划。
当然,硅是基石。苏姿丰指出,3nm 全栅极 (GAA) 晶体管是 AMD 在硅路线图上的下一步,旨在提高功率效率和性能,同时继续关注先进封装和互连,以实现更节能、更具成本效益的模块化设计。先进封装在扩展设计以在单芯片封装的限制内产生更多马力方面发挥着关键作用,AMD 采用 2.5D 和 3D 封装的混合技术,以最大限度地提高每平方毫米数据中心硅片的每瓦计算能力。
在服务器节点和服务器机架之间传输数据会因距离较长而消耗额外电力,因此优化数据局部性可以节省大量电力。AMD 的 MI300X 是一个很好的例子,它体现了制造越来越大的芯片封装所带来的效率——该芯片拥有 1530 亿个晶体管,分布在 12 个芯片上,搭配 24 个 HBM3 芯片,可提供 192GB 的内存容量,所有这些都可作为本地内存供 GPU 使用。再加上封装内单元之间经过功率和性能优化的 Infinity Fabric 互连,极高的计算和内存密度可将更多数据保持在靠近处理核心的位置,从而减少传输数据所需的能量。
苏姿丰表示,虽然硬件优化很重要,但 AMD 在硬件和软件协同优化方面的工作也取得了令人印象深刻的成果。使用较低精度的数值格式可以提高能效和性能,因此在设计中采用特定的硬件加速对于继续扩展非常重要。转向 FP4 等较低精度格式会大幅增加每焦耳消耗能量的 FLOP 数——与 FP32 相比,FP8 的能效提高了 15 倍,而 FP4 的能效提高了约 30 倍。
精度越低,准确度就越低,但苏姿丰强调,先进的量化技术有助于解决这一问题。事实上,即使是 MXFP6 也能产生与 FP32 类似的准确度,只有 MXFP4 在某些不同型号上会出现下降,而其他型号的准确度仍然一样高。我们仍在继续努力提高低精度格式的准确度,因此我们甚至可以看到 MXFP4 在未来更多型号上变得与 FP32 一样准确。
总体而言,苏姿丰表示,AMD 的每节点能效改进速度已经超过了行业水平,公司仍有望实现 30 倍的能效改进。苏姿丰预计这一趋势将持续下去,他表示:“凭借这种创新,基于我们今天所看到的情况,我们认为我们可以做得更好。到 2026 年和 2027 年,我们有望实现 100 倍以上的能效改进。我们在这方面可以做的还有很多很多。”
苏姿丰指出,继续提高能效需要全行业的共同努力,“我们有机会通过整合多种不同的能力和多种不同的专业知识来推动该生态系统的发展。我认为这是下一代创新的关键。”
存储原厂 |
三星电子 | 53000 | KRW | -0.19% |
SK海力士 | 168500 | KRW | -3.71% |
铠侠 | 1705 | JPY | -0.87% |
美光科技 | 90.120 | USD | +3.48% |
西部数据 | 60.240 | USD | +1.04% |
南亚科 | 30.40 | TWD | -4.55% |
华邦电子 | 15.00 | TWD | -4.46% |
主控厂商 |
群联电子 | 464.0 | TWD | -0.85% |
慧荣科技 | 53.900 | USD | +1.26% |
联芸科技 | 42.85 | CNY | +4.03% |
点序 | 45.00 | TWD | -7.12% |
国科微 | 73.63 | CNY | +2.04% |
品牌/模组 |
江波龙 | 95.26 | CNY | +2.08% |
希捷科技 | 87.310 | USD | -0.26% |
宜鼎国际 | 210.5 | TWD | +0.24% |
创见资讯 | 89.0 | TWD | -2.20% |
威刚科技 | 78.9 | TWD | -1.38% |
世迈科技 | 18.510 | USD | +0.82% |
朗科科技 | 22.83 | CNY | +0.84% |
佰维存储 | 67.64 | CNY | +5.87% |
德明利 | 92.40 | CNY | +4.29% |
大为股份 | 13.08 | CNY | +4.22% |
封测厂商 |
华泰电子 | 34.00 | TWD | -1.45% |
力成 | 121.5 | TWD | +0.41% |
长电科技 | 39.98 | CNY | +2.86% |
日月光 | 157.5 | TWD | -2.17% |
通富微电 | 30.18 | CNY | +2.86% |
华天科技 | 12.20 | CNY | +1.50% |
深圳市闪存市场资讯有限公司 客服邮箱:Service@ChinaFlashMarket.com
CFM闪存市场(ChinaFlashMarket) 版权所有 Copyright©2008-2023 粤ICP备08133127号-2