今天小編分享的科技經驗：英特爾推定制版AI芯片，中國客戶會買單嗎？，歡迎閱讀。
作者 ｜楊逍
采訪 ｜周鑫雨 楊逍
編輯 ｜鄧詠儀 蘇建勳
英特爾正對人工智能市場發起猛烈進攻。
7 月 11 日，英特爾召開芯片發布會，針對中國市場推出高端 AI 處理器 Gaudi 2，一款支持加速 AI 訓練和推理任務的芯片。
自大模型和生成式 AI 興起後，尚未出現能與英偉達 GPU 一較高下的產品。今年 6 月，AMD 推出了針對 AI 需求的 Instinct MI300，但芯片發布後，AMD 股價反而下跌。
Gaudi 2 的推出意味着英特爾的新一輪進攻開始。發布會上，英特爾沒有介紹 Gaudi 2 的具體參數，但從訓練時間、性價比、可擴展性、易用性等多個角度，将 Gaudi 2 和英偉達的 A100、H100 一一作對比，只為凸顯一個主題—— Gaudi 2 可用，Gaudi 2 具有性價比，Gaudi 2 很強。
Gaudi 2 出自以色列人工智能公司 Habana Labs 團隊，該公司在 2019 年被英特爾收購，之後獨立運營。
Habana Labs 首席運營官 Eitan Medina 表示，在 2023 年 6 月的國際性 AI 芯片測試 MLPerf 上 "Gaudi2 是目前僅有的兩個提交 GPT-3 模型訓練結果的半導體解決方案之一，另一個是 Nvidia H100。"
發布會上，英特爾還帶來了浪潮基于 Gaudi2 的新一代 AI 伺服器 NF5698G7，并表示在未來，國内的新華三、超聚變等公司也會參與合作。
英特爾的產品性能具體如何，市場是否會買單，中國作為最大的人工智能芯片市場，對其接受度如何呢？
比 H100 有性價比，比 A100 性能強？
自 AI 大模型火熱以來，英偉達一家獨大。對于英特爾在人工智能領網域的策略，市場期待已久。
2023 年年初，英特爾中國區董事長王銳就在戰略媒體溝通會上回應，英特爾高層正認真對待人工智能浪潮，并适時推出產品。
本次發布 Gaudi 2 芯片是由 Habana 團隊制作的產品。事實上，該芯片曾于去年在海外發布，此次發布的是針對中國市場的定制版本。
Gaudi 2 采用 7nm 制程，有 24 個張量處理器核心，集成了 96GB 的 HBM 高性能存儲和 48MB 的 SRAM 靜态随機存儲器，是專門為訓練大語言模型而生的產品。
Gaudi 2 產品性能
針對不同精度的峰值數據，英特爾并未做過多介紹。Eitan Medina 告訴 36 氪，英特爾并不希望專門比算力或者數字，而是将重心放在應用上，" 我們的產品和整體解決方案能為客戶提供很好的性能。"
在發布會上，Eitan Medina 通過 MLPerf 基準測試結果來展現 Gaudi 2 的性能。MLPerf 基準測試是一個專門針對 AI 芯片進行測評的國際測試，此前，壁仞科技就曾參與該測試，與英偉達一較高下。
MLPerf 每年會進行兩次測評，在距離最近的 2023 年 6 月測評中，Gaudi 2 是除了 Nvidia H100 以外，唯一提供了 GPT-3 模型訓練結果的半導體解決方案。
Gaudi2 與 H100 對比
根據英特爾提供的信息，Gaudi2 的性能低于 H100，但高于 A100。
Gaudi2 在 384 個加速器上訓練 GPT-3 需要 311 分鍾，而英偉達用 512 個 H100 GPU 訓練 GPT-3 的時間只需要 64 分鍾，也就是說，H100 的性能領先于 Gaudi2 芯片 3.6 倍。
在 8 個加速器情況下，Gaudi2 跑計算機視覺模型 ResNet-50 和 Unet3D 的效果不錯，和 H100 的差距會比運行 GPT-3 時小很多。
針對和 H100 的差距，英特爾認為，Gaudi2 的優勢在于性價比。Gaudi2 伺服器的成本要比 H100 低得多。
相較 A100，Eitan Medina 表示，根據 MLPerf 的報告，Gaudi2 在每個模型上的訓練效果都優于 A100。且 Gaudi2 具有成本優勢，它運行 ResNet-50 的每瓦性能約是英偉達 A100 的 2 倍，運行 1760 億參數 BLOOMZ 模型的每瓦性能約達 A100 的 1.6 倍。
Gaudi2 與 A100 性能對比
為了合規，Gaudi 2 與國際版存在區别。但英特爾 Habana Labs 首席運營官 Eltan Medina 告訴 36 氪，相比于國際版 Gaudi2，中國版 Gaudi 2 推出的加速卡在性能上差别不會很大，只是以太網端口數量從 24 個改為 21 個，整體計算性能未有下降。未來，Gaudi2 及下一代 5nm 的 Gaudi3 都會在合法合規的情況下繼續支持中國客戶。
目前，英特爾内部有多款可用于人工智能市場的產品，如何看待不同產品的功能和市場？
英特爾公司執行副總裁 數據中心與人工智能事業部總經理 Sandra Rivera 認為，客戶有不同的產品需求，中小型模型客戶可以選擇至強作推理，生成一張圖片只需要 5 秒鍾；而客戶做千億級新模型的訓練需要更大算力，可以采用 Gaudi 芯片。
在發布會上，Sandra Rivera 也對至強芯片做了介紹。在 AI 推理工作負載中，至強的推理性能與英偉達 A100 GPU 相比可超 5 倍，與 AMD 的 64 核 EPYC CPU 相比可超 2 倍。在執行訓練工作時，至強 CPU 的性能較英偉達 A100 GPU 有近 3 倍的性能提升，可以在幾秒鍾或幾分鍾内完成訓練，能降低客戶成本。
發布會上，英特爾還展示了至強芯片對于 Stable Diffusion 模型的生成效果。Stable Diffusion 模型能夠文生圖和圖生圖，結果顯示基于至強芯片運轉後，該模型在 5.34 秒生成了一張影像。
為更好抓住推理市場，英特爾正優化基于至強的推理平台，以便在雲、網絡或智能邊緣部署多樣化的 AI 應用程式。
英特爾 Habana 的 GPU，客戶會買單嗎？
沒有一家 AI 芯片公司，願意錯過大模型和生成式 AI 帶來的巨大市場。
從大模型熱潮以來，國内的 GPU 公司紛紛加強在生成式 AI 相關能力上的投入和研發。然而，至今沒有出現一款能和 A100、H100 對打的產品。
英特爾内部有 GPU MAX 產品，但英特爾選擇将 Habana 的產品作為王牌推向市場，希望以此逐鹿人工智能市場。
Habana 可能更能給市場信心。2019 年，英特爾以 20 億美元高價收購了以色列 AI 芯片制造商 Habana Labs，Habana 作為獨立業務部門運營，希望在數據中心 AI 領網域挑戰英偉達。
Habana 同時有面向數據中心的 AI 訓練芯片 Gaudi （高迪）和 AI 推理芯片 Goya（戈雅），以及完整的 SynapseAI 軟體棧，且其第一代產品就體現出了能耗與時延的優勢。
它的創始人 Avigdo 是一個技術大牛，曾成立了交換機芯片公司 Galileo，後來賣給了 Marvel；2011，Avigdor 又成立了網絡智能公司 Annapurna Labs，2015 年以 3.7 億美元的價格被亞馬遜收購。
這樣的基因，讓 Habana 的產品在性能上能有所保障。不過，Habana lab 被收購後，需要融合進英特爾公司，在一段時間内後繼表現相對乏力。
除了硬體產品，另一個構成英偉達壁壘的，是其 Cuda 軟體生态。英特爾的產品如何應對 Cuda 生态？
Sandra Rivera 認為，在數據中心的軟體生态中，一個是 X86 的軟體生态，一個是 CUDA。在做人工智能或者是 AI 運算時，大部分的開發者不會做那麼底層的開發，更多在 PyTorch、TensorFlow 上做創新。Gaudi2 的軟體生态本身支持 PyTorch、TensorFlow 這兩個深度學習最常見的兩個框架，同時支持 Megatron 和 DeepSpeed 這兩個當今在大模型當中最主流的大模型訓練框架。
為适配更多大模型，英特爾與專門做大模型的開源社區叫 Hugging Face 達成合作，可以在幾十秒時間内調通現有模型。
浪潮信息 AI&HPC 產品線總經理劉軍也在發布會上表示，" 按照我們算法工程師實際使用的體驗，使用 Gaudi2 和在 GPU 上使用基本上沒有太大區别，客戶可以非常絲滑地把自己的訓練負載運行在 Gaudi2 的訓練集群上。"
浪潮信息也在會上發布了支持 8 顆 Gaudi2 深度學習加速器進行高速互連的加速的基板，新一代 AI 伺服器 NF5698G7。
浪潮 AI 伺服器 NF5698G7
英特爾還透露，Gaudi2 國内首批還将與百度智能雲、紫光新華三、超聚變等公司合作。
中國有着龐大的 AI 計算市場，國内大模型公司是否願意買單？
某 AI 模型層創企的 CTO 告訴 36 氪，目前存在顧慮。" 在訓練 100 億參數規模模型 10 輪情況下，其他公司的芯片訓練速度，普遍比 A100 多出 10 幾天，寧願多花錢買點 A100 或 H100, 也不想耽誤訓練的時間。而英特爾披露的信息主要宣傳在 ResNet 模型上的性能提高，但 ResNet 和 Transformer 類模型存在較大區别。且 Gaudi2 在 2022 年已經發布，市場的選擇已經說明問題。"
另一家大模型公司則表示，已與國内 GPU 產品達成合作，如果采用英特爾的產品，還需要重新測試，暫時無法确定是否會采購英特爾的產品。
在人工智能計算市場，英偉達獨占鳌頭，要麼一卡難求，要麼難以購買，無論是從產品供應角度，還是從能使用更優秀產品，縮減與國外大模型廠商的算力支持角度，市場期待第二款 AI 芯片。
英特爾、AMD 躍躍欲試，國内的 GPU 公司也紛紛抓住訓練市場，或通過大型集群的方式希望支持國内公司發展。
Habana Gaudi 2 是否會成為下一個 A100，仍需市場的回應。
