今天小编分享的互联网经验:华人内卷大模型,欢迎阅读。
图片来源 @视觉中国
文 | 最话 FunTalk,作者 | 何伊然,编辑 | 刘宇翔
北京时间 3 月 23 日晚间,TikTok CEO 周受资出席了美国众议院能源与商务委员会听证会,听证会持续了超过 5 个小时,周受资回答了来自美国议员们的多个尖锐问题。
那场听证会备受全球瞩目,某种程度上影响着 TikTok 的命运。但如此重要的听证会,字节跳动创始人张一鸣却 " 缺席 " 了。有圈内人告诉《最话》,当时张一鸣也在美国,但不是在华盛顿,而是在西海岸,几乎与听证会同一时间,张一鸣没看直播,专心在挖角 OpenAI 的顶尖华人工程师,开出的价码是 " 一亿现金 + 股权 "。
这则消息尚未交叉证实,也不清楚天价的价码最后能否挖到心仪的工程师,但圈内人都知道张一鸣对生成式 AI 有多 " 痴迷 "。
几乎全世界的科技大厂都在重注生成式 AI,不但顶尖工程师的价码水涨船高,就连算力的底座 GPU 也供不应求。
今年 3 月,已经拥有超强算力的微软宣布已帮助 OpenAI 建设了一个新计算中心,配置了数万块 A100。5 月,Google 推出了一个拥有 2.6 万块 H100 的计算集群 ComputeEngineA3,服务想自己训练大模型的公司。在中国,国金证券根据产业链信息,字节跳动今年已订购了超过 10 亿美元的 GPU,字节到货和没到货的 A100 与 H800 预计有 10 万块。另一家大公司今年以来的订单量也达到了万卡级别,金额至少超过 10 亿元。而腾讯发布的腾讯云新版高性能计算服务中心也采用了上万块 H800 芯片。
这些 GPU 都来自英伟达。仅字节一家公司的采购量,可能会超过去年全年英伟达在中国销售的商用 GPU 的总和。
AI 大模型对于 GPU 芯片有着巨大需求,现在在行业内外,GPU 等同于英伟达的观念已经深入人心。在 AI 浪潮中,GPU 行业逐步走向了 " 一超多强 " 格局。英伟达创始人、CEO 黄仁勋赢麻了。
但有赢家就有输家。游戏时代,N 卡与 A 卡孰优孰劣一直是玩家们争吵不休的话题,而在 AI 时代,由美籍华裔苏姿丰担任的 AMD 却似乎掉队了,不但缺少对标产品,在股价上英伟达市值万亿美元,而 AMD 只有 1760 亿美元,两者差距巨大。
AMD 就真的门庭冷落,再也没机会了吗?
反击
" 在大型语言模型的推动下,人工智能的市场机会越来越大,到 2027 年市场潜力可能从目前的 300 亿美元增加到约 1500 亿美元。"
当地时间 6 月 13 日,AMD 在美国旧金山召开了 2023 年数据中心与人工智能技术新品发布会。
打扮干练的苏姿丰带着自信的神情登台,一口气介绍了多款新品。
在 " 苏妈 " 平静的脸色下,或许也有着对 AMD 未来发展的担忧。
踩在生成式 AI 的大潮上,英伟达今年股价涨幅 200%,是资本市场当红香饽饽。相比之下,AMD 同期涨幅仅为英伟达的 50%,双方差距在半年时间被明显拉大。
根据 2023 年一季度财报,AMD 营收为 53.53 亿美元,同比下降 9%,这是公司自 2019 年以来首次营收出现下滑。适用于 PC 产品的 Ryzen 处理器销售额仅是 2022 年同期的三分之一,足以看出消费电子在近两年的窘迫处境。AMD 预计,第二季度营收约仍会有 19% 的同比下滑。
目前,AMD 的业务分为四大板块:数据中心、客户端、游戏与嵌入式业务。数据中心包含 AMD 所有伺服器相关收入;客户端收入指的是台式机与个人电腦,曾是 AMD 最核心业务;游戏板块涉及 GPU 产品线,索尼和微软的游戏主机是其稳定客源;嵌入式业务主要由 2020 年收购的赛灵思业务线构成。
在消费电子大起大落后,AMD 在近两年旗帜鲜明地选择了数据中心和嵌入式业务优先的战略,强调人工智能是公司 " 最大、最具战略意义的长期增长机会 "。
苏姿丰介绍了 " 面向 AI 和高性能计算的全球首款 APU 加速器 " MI300A,该产品将多个 CPU、GPU 和高带宽内存封在一起。在 GPU 和 CPU 领網域都是 " 二把交椅 " 的 AMD 充分利用自己双边优势,搞起了互补开发。
根据芯片参数,该 APU 加速卡拥有 13 个小芯片,总共包含 1460 亿个晶体管:24 个 Zen 4 CPU 核心,1 个 CDNA 3 图形引擎和 128GB HBM3 内存。
本次发布会最重要的产品当属 AMD 针对大语言模型发布的 MI300A 优化版本 MI300X。
" 当你将 MI300X 与竞争对手进行比较时,你就能发现,MI300X 提供了 2.4 倍的内存和 1.6 倍的内存带宽,有了这些额外的内存容量,我们对 LLM 是有巨大优势的,因为可以直接在内存中运行更大的模型。"
作为大模型的最佳算力发动机,GPU 对生成式 AI 有着不可替代的支撑作用。目前,英伟达凭借 83.7% 的市占率领跑 GPU 市场,A100 芯片价格在近期节节攀升,产量上也供不应求。2023 年第一季度,英伟达GPU 出货量下降了 15.2%。
ChatGPT 爆火后,行业内对 GPU 飞涨的价格充满怨言。
OpenAI 创始人山姆 · 奥尔特曼近期表示,降低成本是 ChatGPT 当前首要目标。奥尔特曼透露,受到 GPU 资源的限制才导致 ChatGPT 目前难以开放更长的上下文視窗、提供微调 API 等服务。他也承认,多数企业根本养不起大模型。
据报道,OpenAI 已经花费了微软云超 12 亿美元。由于将计算资源集中指出 ChatGPT,微软其他部门可以使用的伺服器受到了限制。此外,GPU 训练大模型需要大量的电力来保证这些资源的供应,这就导致了 GPU 的高能耗,成为了 " 电老虎 "。
在国内市场,华为、京东、百度的高管也都公开抱怨大模型训练高达千万元一次的训练成本。
发布会上,苏姿丰强调随着 AMD 芯片上内存增加,开发者有望减少 GPU 使用数量,从而节省成本,这显然迎合了市场的需求。
苏姿丰特意在单个 MI300X GPU 演示运行了拥有 400 亿个参数的 Falcon-40B 大型语言模型,并让它当场实时创作了一首关于旧金山的诗歌。
" 梦想之城,总是让你渴望更多。" 或许,苏妈在用 AI 表达自己的心声。据介绍,Instinct MI300X 将在今年第三季度向部分用户交付使用,第四季度正式面世。
现场,AMD 请来了 Meta 等公司人高管现场 " 背书 ",强调人工智能开发者使用免费工具有利于人工智能芯片从 " 单一主导厂商 " 转向更多种方案。
AMD 摆明了是想挖英伟达的墙角。
差距
不过,资本的走势才是市场最真实的反馈。
发布会后,英伟达的市值仍保持上涨态势,AMD 反倒出现了小幅度下降。捂着不肯公布新款产品的定价,也没有官宣合作大客户,或许让市场对 AMD 的雄伟蓝图难以充分信任。
在 OpenAI 的 " 带货 " 下,英伟达GPU 已经和生成式 AI 深度绑定。庞大的前期投入带来了过高的沉没成本,多数企业很难切换到其他替换芯片产商。AMD 即便能够找到合作方搭建起基于 AMD 架构的大模型算力中心,以此打开新的市场,也很难更改多数公司已做出的决定。
在大模型专用 GPU 业务上,英伟达有着明显先发优势。从业人士普遍认为,现有竞争对手短期内无法追赶英伟达的产品,即便在硬體上缩小了差距,但在軟體服务上也很难相提并论。
英伟达首席科学家戴维 · 柯克很早就意识到算力的潜力,坚持要把给游戏业打造的 3D 绘图渲染 GPU 算力变得通用化,使之转变为通用算力中心。
早在 2007 年,英伟达就推出了革命性的 GPU 统一计算平台 CUDA,开始基于 CUDA 持续积累算法和軟體生态。等到深度学习算法流行之后,GPU 取代了 CPU,CUDA 变得势不可挡。
既然英伟达跑通了路径,那么 AMD 也在复制这一路径,提升自己的软实力。
发布会上,AMD 披露了全新更新版 AI 軟體生态系统开发体系理念—— Open(software approach)、Proven(AI capability)和 Ready(support for AI models)。AMD 现场展示了用于数据中心加速的軟體栈工具 AMD ROCm 系统。 该系统不仅兼容 CUDA,更要打造成开放平台并完善生态。
2022 年,AMD 主管数据中心业务副总裁有些自嘲地承认,英伟达构建了丰富的軟體生态系统,在芯片领網域做的很全面,AMD 不可能复制英伟达的成功之道。
但苏妈显然不会放弃," 我们仍处于 AI 生命周期的非常非常早的阶段!"
发布会上,苏姿丰屡屡强调生成式 AI 给行业带来的冲击仍只是起步阶段,各家企业仍处于调整期。当前的领先者不一定就是未来十年的领先者,带领 AMD 不断打仗、闯出新生之路的苏妈,她说这番话还是有几分说服力的。
五十四岁的苏妈没有休息的意思,为了继续复兴 AMD,她需要再赢一次。
赛跑
身为 AMD 历史上第一位女性 CEO,苏姿丰是一位非常成功的职业经理人。
拥有麻省理工的博士学位,先后当选美国国家工程院院士和美国艺术与科学院院士的 " 苏妈 " 是一位不折不扣的 " 学霸 + 卷王 "。
在她接任 CEO 职位的时候,AMD 深陷泥潭之中,公司市值仅剩不到 20 亿美元,外界一度认为这家老牌企业将要不行了。
短短八年时间,通过拥抱游戏主机厂商,和台积电开展深入合作,加码研发投入,苏姿丰用超强的执行力确保 AMD 每一款新品都能保质保量问世。与此同时,竞争对手英特尔却屡屡跳票,AMD 逆转了不利形势。
2022 年初,AMD 市值第一次超越了英特尔。不到十年,苏姿丰带领 AMD 市值翻了 90 倍,她也成为世界上薪水最高的女性 CEO。
国内外媒体常常将黄仁勋与苏姿丰放在一起讨论。
两个人都是出生于中国台湾省台南地区的 "60 后 ",都在幼年时代移民美国,都是常春藤名校毕业的工科生,都是工作中专攻研发创新的 " 拼命三郎 " ……还有消息称,两个人有远亲关系,从辈分上说,黄仁勋是苏姿丰的表舅。
说起来也有趣,黄仁勋和 AMD 的缘分比苏姿丰还悠久。1983 年,黄仁勋大学毕业后的第一份工作就是在 AMD 担任芯片设计师,在职期间还拿下了硕士学位。
这段经历,黄仁勋提及的不多,只说是一段快乐的日子,离职后他从对技术的崇拜中走出来,更加意识到市场和管理的重要性。
虽然是同行,黄仁勋和苏姿丰同台的次数极少,外界并不知道两人的私交如何,但在商业场上,二人频频用温和的言语上演针尖对麦芒的正面碰撞。
2019 年初,黄仁勋调侃 AMD 推出 Radeon VII 显卡不够出色,说道," 这是一次奇怪的发布会,也许 AMD 的人今天起床也是这么想的 "。苏姿丰则在采访中回应称:" 我猜他应该还没有见过这张卡吧!"
不知道黄仁勋会不会真正重视 AMD 的 MI300X,但除了产品,无论是黄仁勋还是苏姿丰都面临着一个棘手的市场难题,那就是:他们的产品是否还能卖到世界第二大市场。
6 月 27 日,有媒体报道 " 拜登政府考虑扩大对华芯片限制 ",根据报道," 美国商务部最早将于 7 月要求停止向中国客户提供英伟达和其他芯片公司生产的芯片产品。"
对此,英伟达首席财务官科莱特•克雷斯很快表态称,虽然限制对华出口人工智能芯片不会立即产生重大影响,但这 " 将导致美国产业永久丧失机会 "。他说," 从长远来看,如果实施禁止向中国出售我们的数据中心图形处理单元(GPU)的限制措施,将导致美国产业永久丧失在全球最大市场之一竞争和领先的机会,并对我们未来的业务和财务业绩产生影响。"
去年 9 月,美国就曾要求英伟达停止对华出口两款用于人工智能的顶级计算芯片。为满足出口管制规定,几个月后,英伟达向中国市场推出了专门的 " 降级版 " 芯片。虽然这次美国尚未公布具体细节,但 " 延期豁免 " 应该是意料之中的事。
但无论如此,为了建设大模型的算力底座,除了花费重金挖顶级人才,中国的科技大厂们都希望能早点拿到芯片,最坏的情况是:人才没挖到,芯片也没拿到,那么大模型竞赛胜利的天平就倾斜到手里已经有足够多芯片的一方。
对于客户的急需,英伟达、AMD 估计不会视而不见,而会抢市场,如果英伟达的产能跟不上,AMD 多少还是有些机会的。
这是黄仁勋和苏姿丰又一次比拼执行力的时候。
更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体 App