英特尔推出Gaudi 3 AI加速器：采用128GB HBM2E

英特尔正式推出用于 AI 工作负载的 Gaudi 3 加速器。英特尔称，新型的 Gaudi 3 AI 加速器在对 LLaMa 2 70B 进行推理时，提供了比 H100 高达20%的吞吐量以及2倍的的性价比。

其中，Gaudi 3 AI 加速器专门针对大规模生成式人工智能进行了优化，拥有64个张量处理器核心 (TPC) 和 8 个矩阵乘法引擎 (MME)，可加速深度神经网络计算。搭载128GB HBM2E内存用于训练和推理，可提供3.67TB/s 带宽，相比之下，Gaudi 2仅拥有24个TPC、两个MME 和 96GB HBM2E 内存。

此外，Gaudi 3 集成了 24 个 200 GbE 网络接口和 14 个媒体引擎，后者能够处理 H.265、H.264、JPEG 和 VP9，以支持视觉处理。Gaudi 3 还与 PyTorch 框架和先进的 Hugging Face 变压器和扩散器模型无缝兼容。

目前IBM已在IBM Cloud上部署了英特尔 Gaudi 3 人工智能加速器。戴尔科技正在利用 Gaudi 3 和 Xeon 6 联合设计基于检索增强生成的解决方案。