太平洋科技笔记本

Intel发布Gaudi 3 AI加速器：4倍性能提升、秒杀NVIDIA H100

快科技整合编辑：杨玥锴发布于：2024-04-10 11:26

在2024年4月9日，美国举办的Intel Vision产业创新大会上，Intel对其客户和合作伙伴做出了一系列重要公告。这些公告包括推出全新的Gaudi 3 AI加速器、更新品牌至强6，以及展示了一系列开放且可扩展的系统、下一代产品和多项战略合作的全栈解决方案。

市场研究显示，预计到2030年，全球半导体市场的规模将达到1万亿美元，其中AI是主要的增长驱动力。然而，在2023年，只有大约10%的企业能够成功地将他们的AIGC（人工智能生成内容）项目转化为商业产品。Intel的最新解决方案旨在帮助企业克服在推广AI项目时遇到的挑战，并加速AIGC的商业化进程。

Intel宣布推出Gaudi 3 AI加速器，这是其现有Gaudi 2的后续产品，后者于2022年5月发布，并于2023年7月在中国正式推出。Gaudi 2以其深度学习性能、效率和性价比而闻名，采用台积电7nm工艺制造，具有多个高级功能，如24个可编程Tenor张量核心(TPC)、48MB SRAM缓存、21个10万兆内部互连以太网接口(ROCEv2 RDMA)、96GB HBM2E高带宽内存等。

新一代Gaudi 3 AI加速器专为AI训练和推理设计，升级到台积电5nm工艺，提供了2倍的FP8 AI算力、4倍的BF16 AI算力、2倍的网络带宽和1.5倍的内存带宽。与NVIDIA H100相比，Gaudi 3在流行的大型语言模型(LLM)上的推理性能领先50%，训练时间快40%。它还能显著缩短Llama2模型（参数分别为70亿和130亿）和GPT-3模型（1750亿参数）的训练时间。

Gaudi 3在Llama（70亿/700亿参数）和Falcon（1800亿参数）的大型语言模型上，展现了出色的推理吞吐量和能效。该加速器提供多种形态，包括OAM兼容夹层卡、通用基板、PCIe扩展卡，以满足不同的应用需求。它还提供开放的、基于社区的软件和行业标准以太网网络，支持从单个节点扩展到数千个节点的集群、超级集群和超大集群，适用于大规模的推理、微调和训练。

Gaudi 3的优点包括高性能、经济实用、节能和快速部署能力，能够满足AI应用在复杂性、成本效益、碎片化、数据可靠性和合规性方面的需求。该加速器计划于2024年第二季度向OEM厂商出货，包括戴尔、慧与、联想、超威等。

Intel的Gaudi加速器已经拥有多个行业客户和合作伙伴，包括NAVER、博世(Bosch)、IBM、Ola/Krutrim、NielsenIQ、Seekr、IFF、CtrlS Group、Bharti Airtel、Landing AI、Roboflow、Infosys等。

此外，Intel宣布与Anyscale、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、SAS、VMware、Yellowbrick、Zilliz等伙伴合作，共同创建一个开放平台，以支持企业在AI创新方面的努力。该计划旨在开发一个开放的、多供应商的AIGC系统，通过RAG（检索增强生成）技术，提供一流的部署便利性、性能和价值。

在初期阶段，Intel将利用其至强处理器和Gaudi加速器，推出AIGC流水线的参考实现，并发布技术概念框架，同时继续加强Intel Tiber开发者云平台基础设施的功能。

Intel Vision Gaudi 3 AI加速器 AIGC商业化进程

快科技

原创栏目