今天小编分享的科技经验：英特尔推定制版AI芯片，中国客户会买单吗？，欢迎阅读。
作者 ｜杨逍
采访 ｜周鑫雨 杨逍
编辑 ｜邓咏仪 苏建勋
英特尔正对人工智能市场发起猛烈进攻。
7 月 11 日，英特尔召开芯片发布会，针对中国市场推出高端 AI 处理器 Gaudi 2，一款支持加速 AI 训练和推理任务的芯片。
自大模型和生成式 AI 兴起后，尚未出现能与英伟达 GPU 一较高下的产品。今年 6 月，AMD 推出了针对 AI 需求的 Instinct MI300，但芯片发布后，AMD 股价反而下跌。
Gaudi 2 的推出意味着英特尔的新一轮进攻开始。发布会上，英特尔没有介绍 Gaudi 2 的具体参数，但从训练时间、性价比、可扩展性、易用性等多个角度，将 Gaudi 2 和英伟达的 A100、H100 一一作对比，只为凸显一个主题—— Gaudi 2 可用，Gaudi 2 具有性价比，Gaudi 2 很强。
Gaudi 2 出自以色列人工智能公司 Habana Labs 团队，该公司在 2019 年被英特尔收购，之后独立运营。
Habana Labs 首席运营官 Eitan Medina 表示，在 2023 年 6 月的国际性 AI 芯片测试 MLPerf 上 "Gaudi2 是目前仅有的两个提交 GPT-3 模型训练结果的半导体解决方案之一，另一个是 Nvidia H100。"
发布会上，英特尔还带来了浪潮基于 Gaudi2 的新一代 AI 伺服器 NF5698G7，并表示在未来，国内的新华三、超聚变等公司也会参与合作。
英特尔的产品性能具体如何，市场是否会买单，中国作为最大的人工智能芯片市场，对其接受度如何呢？
比 H100 有性价比，比 A100 性能强？
自 AI 大模型火热以来，英伟达一家独大。对于英特尔在人工智能领網域的策略，市场期待已久。
2023 年年初，英特尔中国区董事长王锐就在战略媒体沟通会上回应，英特尔高层正认真对待人工智能浪潮，并适时推出产品。
本次发布 Gaudi 2 芯片是由 Habana 团队制作的产品。事实上，该芯片曾于去年在海外发布，此次发布的是针对中国市场的定制版本。
Gaudi 2 采用 7nm 制程，有 24 个张量处理器核心，集成了 96GB 的 HBM 高性能存储和 48MB 的 SRAM 静态随机存储器，是专门为训练大语言模型而生的产品。
Gaudi 2 产品性能
针对不同精度的峰值数据，英特尔并未做过多介绍。Eitan Medina 告诉 36 氪，英特尔并不希望专门比算力或者数字，而是将重心放在应用上，" 我们的产品和整体解决方案能为客户提供很好的性能。"
在发布会上，Eitan Medina 通过 MLPerf 基准测试结果来展现 Gaudi 2 的性能。MLPerf 基准测试是一个专门针对 AI 芯片进行测评的国际测试，此前，壁仞科技就曾参与该测试，与英伟达一较高下。
MLPerf 每年会进行两次测评，在距离最近的 2023 年 6 月测评中，Gaudi 2 是除了 Nvidia H100 以外，唯一提供了 GPT-3 模型训练结果的半导体解决方案。
Gaudi2 与 H100 对比
根据英特尔提供的信息，Gaudi2 的性能低于 H100，但高于 A100。
Gaudi2 在 384 个加速器上训练 GPT-3 需要 311 分钟，而英伟达用 512 个 H100 GPU 训练 GPT-3 的时间只需要 64 分钟，也就是说，H100 的性能领先于 Gaudi2 芯片 3.6 倍。
在 8 个加速器情况下，Gaudi2 跑计算机视觉模型 ResNet-50 和 Unet3D 的效果不错，和 H100 的差距会比运行 GPT-3 时小很多。
针对和 H100 的差距，英特尔认为，Gaudi2 的优势在于性价比。Gaudi2 伺服器的成本要比 H100 低得多。
相较 A100，Eitan Medina 表示，根据 MLPerf 的报告，Gaudi2 在每个模型上的训练效果都优于 A100。且 Gaudi2 具有成本优势，它运行 ResNet-50 的每瓦性能约是英伟达 A100 的 2 倍，运行 1760 亿参数 BLOOMZ 模型的每瓦性能约达 A100 的 1.6 倍。
Gaudi2 与 A100 性能对比
为了合规，Gaudi 2 与国际版存在区别。但英特尔 Habana Labs 首席运营官 Eltan Medina 告诉 36 氪，相比于国际版 Gaudi2，中国版 Gaudi 2 推出的加速卡在性能上差别不会很大，只是以太网端口数量从 24 个改为 21 个，整体计算性能未有下降。未来，Gaudi2 及下一代 5nm 的 Gaudi3 都会在合法合规的情况下继续支持中国客户。
目前，英特尔内部有多款可用于人工智能市场的产品，如何看待不同产品的功能和市场？
英特尔公司执行副总裁 数据中心与人工智能事业部总经理 Sandra Rivera 认为，客户有不同的产品需求，中小型模型客户可以选择至强作推理，生成一张图片只需要 5 秒钟；而客户做千亿级新模型的训练需要更大算力，可以采用 Gaudi 芯片。
在发布会上，Sandra Rivera 也对至强芯片做了介绍。在 AI 推理工作负载中，至强的推理性能与英伟达 A100 GPU 相比可超 5 倍，与 AMD 的 64 核 EPYC CPU 相比可超 2 倍。在执行训练工作时，至强 CPU 的性能较英伟达 A100 GPU 有近 3 倍的性能提升，可以在几秒钟或几分钟内完成训练，能降低客户成本。
发布会上，英特尔还展示了至强芯片对于 Stable Diffusion 模型的生成效果。Stable Diffusion 模型能够文生图和图生图，结果显示基于至强芯片运转后，该模型在 5.34 秒生成了一张影像。
为更好抓住推理市场，英特尔正优化基于至强的推理平台，以便在云、网络或智能边缘部署多样化的 AI 应用程式。
英特尔 Habana 的 GPU，客户会买单吗？
没有一家 AI 芯片公司，愿意错过大模型和生成式 AI 带来的巨大市场。
从大模型热潮以来，国内的 GPU 公司纷纷加强在生成式 AI 相关能力上的投入和研发。然而，至今没有出现一款能和 A100、H100 对打的产品。
英特尔内部有 GPU MAX 产品，但英特尔选择将 Habana 的产品作为王牌推向市场，希望以此逐鹿人工智能市场。
Habana 可能更能给市场信心。2019 年，英特尔以 20 亿美元高价收购了以色列 AI 芯片制造商 Habana Labs，Habana 作为独立业务部门运营，希望在数据中心 AI 领網域挑战英伟达。
Habana 同时有面向数据中心的 AI 训练芯片 Gaudi （高迪）和 AI 推理芯片 Goya（戈雅），以及完整的 SynapseAI 軟體栈，且其第一代产品就体现出了能耗与时延的优势。
它的创始人 Avigdo 是一个技术大牛，曾成立了交换机芯片公司 Galileo，后来卖给了 Marvel；2011，Avigdor 又成立了网络智能公司 Annapurna Labs，2015 年以 3.7 亿美元的价格被亚马逊收购。
这样的基因，让 Habana 的产品在性能上能有所保障。不过，Habana lab 被收购后，需要融合进英特尔公司，在一段时间内后继表现相对乏力。
除了硬體产品，另一个构成英伟达壁垒的，是其 Cuda 軟體生态。英特尔的产品如何应对 Cuda 生态？
Sandra Rivera 认为，在数据中心的軟體生态中，一个是 X86 的軟體生态，一个是 CUDA。在做人工智能或者是 AI 运算时，大部分的开发者不会做那么底层的开发，更多在 PyTorch、TensorFlow 上做创新。Gaudi2 的軟體生态本身支持 PyTorch、TensorFlow 这两个深度学习最常见的两个框架，同时支持 Megatron 和 DeepSpeed 这两个当今在大模型当中最主流的大模型训练框架。
为适配更多大模型，英特尔与专门做大模型的开源社区叫 Hugging Face 达成合作，可以在几十秒时间内调通现有模型。
浪潮信息 AI&HPC 产品线总经理刘军也在发布会上表示，" 按照我们算法工程师实际使用的体验，使用 Gaudi2 和在 GPU 上使用基本上没有太大区别，客户可以非常丝滑地把自己的训练负载运行在 Gaudi2 的训练集群上。"
浪潮信息也在会上发布了支持 8 颗 Gaudi2 深度学习加速器进行高速互连的加速的基板，新一代 AI 伺服器 NF5698G7。
浪潮 AI 伺服器 NF5698G7
英特尔还透露，Gaudi2 国内首批还将与百度智能云、紫光新华三、超聚变等公司合作。
中国有着庞大的 AI 计算市场，国内大模型公司是否愿意买单？
某 AI 模型层创企的 CTO 告诉 36 氪，目前存在顾虑。" 在训练 100 亿参数规模模型 10 轮情况下，其他公司的芯片训练速度，普遍比 A100 多出 10 几天，宁愿多花钱买点 A100 或 H100, 也不想耽误训练的时间。而英特尔披露的信息主要宣传在 ResNet 模型上的性能提高，但 ResNet 和 Transformer 类模型存在较大区别。且 Gaudi2 在 2022 年已经发布，市场的选择已经说明问题。"
另一家大模型公司则表示，已与国内 GPU 产品达成合作，如果采用英特尔的产品，还需要重新测试，暂时无法确定是否会采购英特尔的产品。
在人工智能计算市场，英伟达独占鳌头，要么一卡难求，要么难以购买，无论是从产品供应角度，还是从能使用更优秀产品，缩减与国外大模型厂商的算力支持角度，市场期待第二款 AI 芯片。
英特尔、AMD 跃跃欲试，国内的 GPU 公司也纷纷抓住训练市场，或通过大型集群的方式希望支持国内公司发展。
Habana Gaudi 2 是否会成为下一个 A100，仍需市场的回应。
