今天小编分享的财经经验:芯片走私,黑市风暴,欢迎阅读。
图片来源 @视觉中国
文|蓝字计划,作者|李炜
去年 9 月,甲骨文董事长埃里森、特斯拉 CEO 马斯克,一起请英伟达创始人黄仁勋在硅谷一家豪华餐厅吃日料。
年届八旬的埃里森回想起那顿饭仍难以平静。" 席间埃隆(马斯克)和我在乞求,我想用这个词来形容我们再恰当不过了。吃了一个小时的寿司,也乞求了一个小时。"
两位以狂妄著称的大佬甘愿伏低做小,只为能多分到一些 " 比毒品还难搞到 " 的英伟达 GPU,最终两人未能如愿。
而另一家硅谷巨头思科为了保护刚买来的英伟达 GPU,干脆动用装甲车来运。
正如科幻作品《沙丘》将香料设定为宇宙最重要的资源。今天同样可以大胆宣称:谁掌握了 GPU,谁就掌握了 AI 时代的命脉。
去年以来,在加速计算和生成式 AI 的带动下,算力需求陡增。英伟达 GPU 作为提供算力的核心硬體,业界对其的需求早已 " 远远超过了英伟达所能供应的极限 "。
为了获得尽可能多的 GPU,全球科技圈从贵族俱乐部化身为私酒时代的芝加哥,产品、流量与增长交织的史诗,让位于充斥着贪婪、炫耀、谄媚与背叛的大模型舞台剧。
从破产边缘到 80 亿美元估值
在过去一年,英伟达 GPU 极度短缺,全世界的大厂或创业公司都在各显神通解决 " 芯荒 " 难题。
对中国企业来说,GPU 短缺则是政策和产能两方面造成的。
从 2022 年 10 月开始,英伟达就被禁止向中国出口 A100、H100 这两款高端 GPU。二道贩子们敏锐地嗅到了其中的商机。
一些企业从自家机房里把芯片禁令生效前购买的 A100 拆出来,卖给贩子。这些没有保修、没有质保的旧芯片,非但没有贬值,价格还从出厂时的 8 万多元涨到了 10 多万元。
A100、H100 分别由英伟达在 2020 年及 2022 年推出,上市时间并不长,其在国内市场的存货相当有限。
另外,A100 分为 80GB、40GB 两个显存版本,显存越大,所能运行的神经网络越大,训练大语言模型效果越好。厂商都想买 80GB 显存版本的 A100,导致存货更加紧缺。
因此,有一些黑心贩子将 A100 的 40GB 版本改成 80GB 的来卖,很多急于购买的企业一时失察,买回去才发觉货不对板。由于这类 GPU 来源特殊,上当的买家根本没有质保和维权的途径,只能吃哑巴亏。
可即便如此,低配置的二手 A100 在 2023 年依然供不应求。
过去一年,市面上英伟达 GPU 价格涨幅一度到了 200%。A100 最火爆的时候,网传最高成交价接近 25 万元。按照这个价格,两块 GPU 就能换来一辆全新奔驰 E 级轿车。
二道贩子卖机房拆来的 A100 赚差价,毕竟只是小打小闹。真正靠倒卖二手 GPU 发家的,还要属一家名为 CoreWeave 的美国公司。
CoreWeave 最开始是一家 " 挖 " 比特币的公司,其 CEO 回忆:"2016 年,我们购买了第一块英伟达 GPU,插上电源后,将其放在曼哈顿办公室的台球桌上,然后挖到了以太坊网络上的第一个币。"
在生成式 AI 火爆之前,英伟达 GPU 除了作为游戏显卡,最赚钱、最大的应用场景就是用于加密货币 " 挖矿 "。因为 GPU 能以最快速度处理海量简单重复的问题,天然就很适合用于昼夜不停地挖比特币。
而 CoreWeave 的三位创始人,一开始也只是将 " 挖矿 " 用于赚取额外收入,他们的本职工作是经营对冲基金和家族办公室。可由于 2016 年加密货币热,他们的 GPU 越买越多,导致 " 华尔街的办公桌上堆满了 GPU"。
到 2018 年底,CoreWeave 已经成为了北美最大的以太坊 " 矿场 ",拥有超过五万块 GPU,占以太坊网络总量的 1% 以上。
通过将英伟达 GPU 用作 " 矿卡 ",CoreWeave 在加密货币领網域赚到了第一桶金。但在 2018 年之后,市场行情急转直下,加密货币大幅贬值,与加密货币深度绑定的 CoreWeave 也几度面临财务危机,险些倒闭。
到 2019 年,CoreWeave 决定转型做服务。
CoreWeave 加入英伟达的云服务提供商计划,也就是围绕英伟达的芯片构建了专门的云基础设施。如果说英伟达是算力厂商,那 CoreWeave 就相当于算力经销商。
到 2022 年底,ChatGPT 发布,生成式 AI 突然爆火,CoreWeave 手头数万块 GPU 成为了硬通货,因为 GPU 非常适合用于训练 AI 大模型。它摇身一变,依靠手中积攒的 GPU,向 OpenAI、微软、Inflection 等众多 AI 巨头卖算力。
2023 年 4 月,CoreWeave 还获得来自英伟达的 B 轮融资。黄仁勋在业绩电话会上点名:" 一大批新的 GPU 专业化云服务提供商正在出现,最知名的当属 CoreWeave,他们做得非常出色。"
英伟达对 " 亲信 "CoreWeave 可谓非常偏心。在一份研究机构 Omdia 披露出的英伟达 H100 供货单中,CoreWeave 获得的 H100 数量,比特斯拉还多。
也正因为英伟达的 " 偏心 ",除了卖算力服务,CoreWeave 以囤积的英伟达芯片为抵押,从黑石、Coatue 等顶级机构获得了 23 亿美元的债务融资。一举将公司从破产边缘,拉到了投后估值 80 亿美金。
冒高风险,买走私卡
不是谁都有 CoreWeave 这么好的运气。
跟英伟达关系不够亲密的企业,尤其是中小企业,购买 " 走私芯片 " 就成为一种无奈之下的选择。
随着全球 AI 大模型竞争愈发激烈,A100 已经不能满足一些企业的需求,性能更强劲的 H100 日趋抢手。
问题在于,H100 实在太新了,存货更少。没有存货,二道贩子也无处发挥,走私贩子们登场了。
走私贩子们的来货渠道主要有两条:一是等英伟达向美国大型企业发货后,抢购市场上的剩余库存;二是通过在印度、新加坡、马来西亚等地注册公司进口。
相比于只有指甲盖大小的微型芯片,H100 的尺寸并不小。根据英伟达官方公布的尺寸,H100 整个芯片大小为 814 平方毫米,大概有两个手掌大,走私贩子只能将 H100 放进背包,接受正式的过关安检。
有走私贩子透露,由于每个国家把控严格度不一,如果把 H100 放在包里,把它报成普通电子设备。
麻烦的是伺服器架。H100 需要插在伺服器架上,才能用于训练 AI 大模型。一套完整 AI 伺服器要配置 8 块 H100,加上一台超微电腦的伺服器架,大约相当于一个保险柜。
面对如此庞然大物,自然无法靠人肉背回。一般的做法是化整为零,将伺服器拆开,用蚂蚁搬家地方式发回。至于运输途中关键部件是否会损坏,运到目的地如何拼装回去,一切都存在极大的风险。
H100 在 2022 年 3 月刚发售时,售价折合人民币约 24.2 万元。如果在两年前屯了一批 H100,什么都不用做,每张到现在能净赚 6 到 9 万元。
在过去一年间,从朋友圈、小红书等社交平台,到拼多多、闲鱼等电商平台,再到各类垂直社区、垂直社群,有无数贩子打出了 "H100 现货,手慢无!"、" 稀缺 H100 现货,先到先得!"、" 原厂 H100,见货付款,欲购从速!" 的标签。
而如果进一步私聊,这些芯片贩子会告诉你,产品没有保修或支持服务,到货最起码需要 6 到 8 周,并且需要先付定金。如果问及发货地和货源,贩子们大多会回答称 " 海外发货,大陆交付,可以送至指定地点。"
据买家爆料,走中小型中间商渠道,风险很高。
首先,交了定金,后续也可能因各种原因拿不到货。其次,即使能拿到货,诸如运输过程中磕碰、泡水等现象,也时有发生," 碰到这种情况就只能自认倒霉,根本不存在退货一说。"
可即便如此,在各个社交平台 "H100 预购从速 " 的帖子下方,仍然有成群结队的用户在咨询价格。
抢购、加钱、售罄
购买走私 GPU 不是常态,对大公司而言,终究还是得跟英伟达做正经生意,从官方渠道购买 A100、H100。
2022 年的出口禁令下发后,经英伟达游说,重新获得了出口许可。在 2023 年 3 月 1 日之前,英伟达可以继续给中国大陆提供 A100 产品。
各家科技巨头赶紧行动,经历了 " 从抢购,到加钱,到售罄 " 的心路历程。
据《晚点》报道,张一鸣在卸任 CEO 后,把工作重点放在了研究 AI 上,不仅自己看 AI 相关论文,还经常跟一些字节高层分享论文学习心得,以及对 ChatGPT 的思考。高层对 AI 的重视,让字节在提前抢购英伟达芯片时占得了先机。
在 GPT-4 发布后不到 3 个月,字节就被爆出,向英伟达订购了超过 10 亿美元(约合人民币 71 亿)的 GPU,到货和没到货的 A100 和 H800 总计有 10 万块。考虑到 2022 年全年,英伟达数据中心 GPU 在中国销售额大约 100 亿元,也就是说,字节一家公司的订单,几乎超过了英伟达过去一年在中国的总销量。
另一家提前向英伟达下单,囤积 GPU 的巨头是阿里。据一位阿里云内部人士向《人物》透露,阿里云专门成立了一个供应链团队,其中有几十人负责芯片采购,直接听命于 CTO。在阿里云前 CEO 张勇卸任之前,通义千问等 AI 项目都向他直接汇报。
提前抢购 A100、H100 最直接的好处是——省钱。因为英伟达芯片的涨价,实际上与大模型的发展息息相关。2022 年在 ChatGPT 刚刚发布时,大厂们普遍认为生成式 AI 很有潜力,但不成熟,不值得大批采购 AI 芯片。
但到 2023 年 3 月 14 日,OpenAI 发布 GPT-4 后,大厂和 VC 们终于意识到,GPT 的颠覆性威力,以至于各界迅速形成了共识——快搞大模型、快屯 AI 芯片!
也是从 GPT-4 发布后,大模型赛道涌进了大量热钱,以及不差钱的大厂,英伟达芯片的价格也随之水涨船高。大家都必须加钱才能抢到芯片。
按照《人物》的描述:" 来自美团的高管带着采购团队,把数百台 8 卡 A100 伺服器,像买白菜一样全部扫走。尽管一台机器的价格要大几十万,总订单额过亿,美团的人丝毫没有犹豫,下单、签合同、打预付款、提货……流程飞快。"
再到后来,连加钱都买不到 AI 芯片了。商业巨头和小公司处境几乎一致。
亚马逊云 CEO 亚当 · 塞利普斯基就表示:"H100 是最先进的……可即使对于 AWS 来说也很难获得。"
富士康董事长刘永伟也表示,过去一年只有少数公司能获得足够的英伟达 AI 芯片来维持需求。在台北富士康年度员工聚会上,刘永伟对记者表示:" 当要满足(AI 芯片)需求时,也许需要建立新工厂。"
吃英伟达的剩饭
英伟达 GPU 像香料一样,诱惑着越来越多人参与到这场争夺中。
在 2023 年拉斯维加斯的 CES 科技大会上,AMD CEO 苏姿丰表示:"AI 已是 AMD 的第一战略重点。预计 AMD 最新推出的 Instinct MI300 加速卡,可以帮助 AMD 占领市场。" 在介绍中,MI300X 芯片是一款全面超越英伟达 H100 AI 芯片的产品。
投放市场后,MI300 也迅速成为了 AMD 历史上销售额最快达到 10 亿美元的产品。
根据 AMD 财报,MI300 芯片订单的主要来源是微软、Meta、甲骨文、谷歌、亚马逊等大厂。与英伟达 H100 的客户群体高度重合。
无怪乎《福克斯》认为:" 如果业界还有英伟达潜在的对手,那一定包括苏姿丰和她掌管的 AMD。"
除了 AMD,老牌芯片巨头英特尔也不想在 AI 时代掉队。
在过去一年,英特尔 CEO 帕特 · 基辛格多次表示:" 生成式 AI 不只可以在英伟达芯片上运行。" 虽然英特尔最先进的 AI 加速芯片 Gaudi 2 在性能上不及英伟达 H100。但基辛格认为,Gaudi 2 成本更低,主打价格优势,可以在性价比方面缩小与 H100 的差距。
与此同时,英特尔还宣布正在调整 GPU 策略,整合现有的 Habana Labs、数据中心 GPU 两大部门,于 2025 年推出新平台 "Falcon Shores",进一步增强 AI 芯片设计能力。
按基辛格的说法:" 以后的 AI 算力竞争一定会很有趣。"
甚至除了老牌芯片巨头,一大批半导体新生力量,也在试图抢夺英伟达的市场份额。根据外媒报道,腾讯、阿里等互联网巨头,已经有些 " 看不上 " 英伟达的特供版芯片,转而寻求与国内 GPU 厂商合作了。这些 GPU 厂商包括华为、燧原科技、摩尔线程等。
在黄仁勋最近的采访中,连 AMD 都看不上的老黄表示:" 在生产最好的 AI 芯片的竞争中,华为是英伟达非常强大的竞争对手之一。"
而诸如燧原科技、摩尔线程等第二梯队国产 GPU 公司,也在 2023 年拿到了数十亿元不等的大额融资。
这一切变化都源于,全球企业都在寻找英伟达 GPU 的替代品。毕竟,英伟达的 GPU 再好,只有能用上才是真好。单是英伟达满足不了的市场需求,已经足以喂饱一大批 GPU 新兴企业。
但要取代英伟达又谈何容易?
造成英伟达 GPU 短缺最根本的原因在于,GPU 是一种极端复杂的产品,需要世界上最先进的生产工艺,目前只有台积电能够加工生产,而台积电的产能是有限的。
目前 H100 都由台积电代工,使用 4 纳米工艺(A100 使用的是 7 纳米),从开始生产到出售给客户,H100 中间经历的生产、包装和测试环节,一共需要 6 个月左右。
根据 GPU Utils 发布的一份研究报告,制约 GPU 扩大生产的一个主要瓶颈,是所谓的 CoWoS 封装技术。
CoWoS 可以拆抽成 "CoW" 和 "WoS" 来看。"CoW(Chip-on-Wafer)" 指芯片堆叠;"WoS(Wafer-on-Substrate)" 则是将芯片堆叠在基板上。CoWoS 就是把芯片堆叠起来,再封装于基板上,最终形成 2.5D、3D 的型态,减少芯片的空间,同时减少功耗和成本。CoWoS 封装技术目前的月产量也就 1 万片左右。
台积电可不止为英伟达代工,AMD 以及博通、思科和赛灵思等都同样在使用 CoWoS 封装技术制作芯片。
产能瓶颈限制 GPU 供应的难题,在短期内是无解的。即便如 AMD 设计出了强大的 MI300 加速卡,归根结底还是要找台积电代工,台积电就算把给英伟达的产能给到 AMD,等于市场上 GPU 的总量其实没有增加。
与此同时,英伟达真正的壁垒,并不只有 GPU 硬體性能,还在于其庞大的 AI 軟體生态 CUDA。
简单来说,决定 GPU 使用效果的不只是本身性能,还包括配套軟體和开发工具对应用的支持。目前英伟达定义了 GPU 通用计算编程框架 CUDA,开发者们早已习惯了用 CUDA 专有的编程语言,制作 GPU 驱动的应用程式。
如果开发者要迁移到谷歌、亚马逊、微软或国产的 GPU,他们甚至需要学习全新的軟體语言,迁移成本显然很高。
但后发厂商完全不必妄自菲薄,正如中国工程院院士、清华大学计算机系教授郑纬民所言:" 今天国产 AI 芯片只要达到国外芯片 60% 的性能,如果生态做好了,客户也会满意。"
只是在达到英伟达 GPU 60% 的性能之前,企业们看起来先选择了以拆旧货、走私、抢购、加钱扫货等方式,缓解自身的 AI 芯片荒。
参考资料:
Nvidia ’ s Stunning Ascent Has Also Made It a Giant Target How a Shifting AI Chip Market Will Shape Nvidia ’ s Future Nvidia ’ s New China Pickle: Customers Don ’ t Want Its Downgraded Chips Armored Cars and Trillion Dollar Price Tags: How Some Tech Leaders Want to Solve the Chip Shortage The Desperate Hunt for the A.I. Boom ’ s Most Indispensable Prize How Nvidia Came to Rule AI 极客公园:英伟达力挺,这家 "AI 算力黄牛 "4 年估值 560 亿 人物:互联网大厂,有钱难买 A100 芯潮 IC:天价 H100 流向黑市 晚点 LatePost:争夺 AI 入场券:中国大公司竞逐 GPU