今天小编分享的科技经验:英伟达甜蜜的烦恼,欢迎阅读。
供不应求,利润受掣肘,如何破局?
英伟达看着供不应求的订单,有点着急。
增加供应这句话,每发一次财报,英伟达都要再强调一次。
继英伟达在第一季度宣布公司 " 正大幅增加供应,以满足不断增长的需求 " 后,英伟达 CEO 黄仁勋在近期又表示,正准备将其 GPU 的产量至少增加三倍。
具体来说,英伟达扩充的是 H100 芯片的产量。2023 年英伟达 H100 预计出货量在 50 万颗,但据英国《金融时报》报道,英伟达计划明年出货至少 150 万颗 H100 处理器。
H100 是英伟达于 2022 年推出的一款专为大型语言模型优化的 GPU,得益于 " 全民造模 " 的趋势,推出至今长期卖断货,又被称之为英伟达的 " 印钞机 "。
那么,宣称增加三倍产量的 H100,能为英伟达赚多少钱?
01 产量受制于人
要想知道 H100 究竟有多赚钱,只看两点便可知。
一,H100 在芯片市场中拥有绝对统治力。 当今世界你第一时间想起的巨头企业,都在抢购它。上到特斯拉、苹果、微软、谷歌等知名公司,下到研究大语言模型的初创企业,也有 Azure、GCP 和 AWS 等云服务供应商(CSP),CoreWeave、Lambda 等大型私有云。
二是 H100 拥有超过 90% 的毛利率。
H100 的物料成本主要有三部分:核心逻辑芯片、HBM 内存芯片、CoWoS 封装。
H100 的核心逻辑芯片面积为 814 平方毫米,采用台积电 4N 工艺制造(5nm+),以一块报价为 1.34 万美元的 300mm 晶圆,结合良率、损耗来看,大概能切割 65 颗,平均算下来每颗单价 200 美元左右;HBM 内存芯片来自 SK 海力士的 HBM3 内存芯片,一共六颗,单颗容量为 16GB,每 GB 为 15 美元,合计 1500 美元;虽 CoWoS 没有公布其价格,但据分析师 RobertCastellano 结合台积电财报推算,制造一颗 H100 需要 723 美元。
三大合计约 2500 美元(台积电拿走约 1000 美元的情况下),算上除此以外的成本约 3320 美元左右。
也就是说英伟达的毛利率超过 90%。
《巴伦周刊》资深撰稿人 tae kim 发帖估计 H100 的成本为 3320 美元
但英伟达想赚钱,还得看台积电和 SK 海力士的脸色行事。
英伟达的 H100 确实在市场呈垄断地位,说新一代 " 印钞机 " 也无可厚非,但 H100 供不应求,在明年第一季度之前都是售罄状态。
要看台积电脸色是因为,英伟达受制于台积电先进的封装技术— 2.5D CoWos(Chip on Wafer on Substrate)。
CoWoS 是一种 2.5D/3D 封装技术,是将多个有源硅模板集成在无源硅中介片上。然后将中介片和活性硅链接到包含 I/O 的包装基板上,将其连接到系统 PCB 上。
台积电 CoWoS-S 结构示意图
CoWoS 能将不同制程的芯片封装在一起,可达到加速运算但同时控制成本的目的。简单来说,CoWoS 有节省空间、减少功耗的优势
英伟达的 H100、A100 全部由台积电代工,并使用台积电的 CoWoS 先进封装技术,除了英伟达外,其他厂商也对台积电的 CoWoS 有需求,为此 CoWoS 产能供不应求。
有设备厂商估算,台积电 2023 年 CoWoS 总产能逾 12 万片,2024 年将冲上 24 万片,其中,英伟达将取得 14.4 万 -15 万片。
CoWoS 产能不足的背景下,依靠 CoWoS 封装的 H100,自然被台积电扼住了咽喉。
HBM(高带宽存储)是限制英伟达 H100 生产的另一个重要瓶颈。
HBM 类似数据的 " 中转站 ",就是将每一帧、每一幅影像数据保存到帧缓存区網域中,等候 GPU 调用。
相比传统内存技术,HBM 带宽更高、功率更低、功耗更低、尺寸更小,能够使 AI 伺服器的传输速率和数据处理量大幅提升,因此 HBM 也成了 AI 伺服器的标配。
正如台积电垄断了先进封装一般,HBM 的供应也被 SK 海力士垄断,市占率超过 95%,也是目前唯一量产 HBM3E(第三代 HBM)的厂商。
无论是 CoWoS 还是 HBM3,每年的产能都是固定的,除英伟达外,各大厂商需求也不少。AMD 不仅大量采用 HBM,其中 MI300 搭载的还是 HBM3;传言谷歌在下半年推出的 TPU 张量处理器,也将搭载 HBM。
搭载 HBM 的芯片几乎都需要像 CoWoS 这样的 2.5D 技术,所以目前领先的 GPU 都有台积电打包在 CoWoS 上,也就是说芯片的产能进一步 SK 海力士和台积电的制约,英伟达并非说加芯就能加芯。
02 台积电没有替代品
为了不被捏住命门,也为了芯片代工的议价权,英伟达开始 " 削藩 " 寻找更多代工厂。
英伟达在 CoWoS 封装等的关键制程已开放给其他供应链代工厂。目前,英伟达正积极对接联华电子,近日联华电子将扩充旗下硅中介层(前段 CoW 部分)产能,月产能将由目前的 3 千片扩增至 1 万片;封测厂 Amkor、日月光投控旗下矽品则负责后段 WoS 封装。
某种意义上来说,英伟达构建的芯片帝国和台积电打造的顶尖芯片代工厂如出一辙——同样拥有一骑绝尘的技术,是无可替代的存在。
所以扶持合作伙伴,并非短期有效解决措施,因为英伟达的核心芯片、产量,还是离不开台积电的怀抱,否则英伟达今年由台积电代工的芯片,怎么会占到台积电年出货量的 40% 左右?
好比远水救不了近火,扩产能这件事没有快速捷径。
一方面,建造周期较长,芯片从制作到包装都是的整个生态系统都是在台积电周围完成,如果另起炉灶,将制造业转移尤为艰难。
另一方面,台积电方也不会机会留给对手,对英伟达寻找替代工厂的暧昧态度,台积电以积极扩建产能做出了回应。
从营收结构来看,台积电也不会把嘴边的肥肉放跑。2022 的 CoWoS 封装已经占总收入 5% 以上,且将以每年近 20% 的速率增长。
台积电也是下了重金扩产,斥资 900 亿元新台币在竹科铜锣园区设立先进封装厂,预计 2026 年底建厂完成,2027 年第三季开始量产,而位于日本熊本的工厂已建成,九月底预计将有 600 名来自台湾的员工移民熊本。
值得英伟达高兴的是,至少在 HBM 上还有可选方案,不用等 CoWoS 的扩建周期。三星表示将投资 1 万亿韩元扩大 HBM 产能,并于今年推出 HBM3 产品;美光预计其相关 HBM 产品 " 将在 2024 财年贡献有意义的收入,并在 2025 年贡献大幅增加的收入 "。
但把台积电,看成英伟达的镣铐,倒也不一定完全准确。
在硬币的另一面,产能短缺也绝非都是坏事,至少英伟达在全球缺芯的市场中,垄断了市场,也让自己的芯片单价水涨船高,售价 3.6 万美元的 H100,此前在 Ebay 上的平均售价高达 4.5 万美元。
要是没有这场缺芯潮,芯片的二手市场怎会有如此高溢价,英伟达也没有底气开出如此高利润的售价。
03 加不了量就加价
在产能制约下,英伟达损失了高达百亿美元的收入。
据 GPU Utils,保守估计,H100 的供给缺口达到 43.2 万张。按每个 GPU 价格 3.5 万美元计算,意味着英伟达痛失总价值高达 150 亿美元的订单,这还不包括为中国专供的 H800。为了达到预期,英伟达采取的措施是推出更高端的芯片,提高收入和利润。在产能有限的空间里、市场普遍对英伟达预期乐观的背景下,英伟达利用近乎垄断的地位,让厂商为高端芯片买单,进而提高收入和利润。
比如,英伟达正准备推出新一代 GH2000 Grace Hopper 超级芯片,将于 2024 年第二季投产。相比最热门的 H100 芯片,该芯片内存容量高出 3.5 倍,带宽高出 3 倍。
把英伟达历代产品对比来看,就知道英伟达的利润一直在水涨船高。从配置成本来看,H100 的前代产品 A100 的生产成本至少也要上千美金,售价 1 万美元,而成本 3300 美元的 H100 如今售价高达 3.6 万美元,利润极有可能成倍数增长。
英伟达 A100 和 H100 配置对比
英伟达毛利率的提高也是证据。英伟达最近一个季度的毛利率为 70.93%,对比去年的 43.48% 提升显著。
至于英伟达的对手们,正在抓住那 43.2 万张 H100 的缺口。AMD 就推出 MI300,对 A100 和 H100 发起挑战。
但 AMD 的 MI300 和 A100 较量还好说,挑战 H100 有点难,从搭载配置来看,MI300 搭载了 4 核 1.2GHz 处理器、Android5.1 系统、1GB 的 RAM 和 8GB 的 RAM,对比来看 H100 搭载了 4 核 1.4Ghz 处理器、Android8.1 系统、2GB 的 RAM 和 16GB 的 RAM。谁胜谁负高下立判,更别说 H100 T860 的 GPU。
至于英特尔,选择了英伟达的弱势出击—在 H100 无法到达的地方,与其竞争。
英特尔在中国市场推出第二代 AI 芯片 HabanaGaudi2。据悉,英特尔 Gaudi 2 国内首批将与百度智能云、浪潮信息、美团、紫光新华三等公司合作。
促使英伟达做该项决策的可能是英伟达在中国日益减少的收入。2022 年,英伟达中国地区的收入从 71.11 亿美元减少 13.26 亿美元到 57.85 亿美元。
无论未来芯片市场有何变局,未来如何,至少 AI 的风现在不会灭,英伟达也仍在芯片领網域中叱咤风云。
目前英伟达可能只剩下甜蜜的烦恼:如何造更多的芯片,如何让股价满足分析师预期。
参考资料:
1、《英伟达 H100 加速卡物料成本仅 3000 美元,毛利率超 90%!》—— 芯智讯
2、《疯狂的 H100》——硅基研习社
3、《谁卡了英伟达脖子》——远川研究所
4、《Is CoWoS Capacity Causing a GPU Shortage》—— Phil Garrou.