今天小编分享的科学经验：老黄赢麻了！英伟达H100订单排到24年，马斯克都坐不住了，欢迎阅读。
炼大模型最佳 GPU英伟达 H100，全部卖空了！
即使现在立即订购，也要等2024 年 Q1 甚至 Q2才能用上。
这是与英伟达关系密切的云厂商 CoreWeave 对华尔街 . 日报透露的最新消息。
从 4 月初开始，供应就变得异常紧张。仅仅一周之内，预期交货时间就从合理水平跳到了年底。
全球最大云厂商亚马逊 AWS 也证实了这一消息，CEO Adam Selipsky 近期表示：
A100 和 H100 是最先进的……即使对于 AWS 来说也很难获得。
更早时候，马斯克还在一场访谈节目中也说过：GPU 现在比 d 品还难获得。
如果找 " 黄牛 " 买，溢价高达25%。
如 Ebay 上的价格已从出厂价约 36000 美元涨到了45000 美元，而且货源稀少。
这种形势下，国内的百度、字节、阿里、腾讯等大型科技公司也向英伟达下了总计 50 亿美元的 A800 等芯片订单。
其中只有 10 亿美元的货能今年内交付，另外 80% 也要等 2024 年才行。
那么现有高端 GPU 都卖给谁了？这一波产能又是卡在了哪？
H100 卖给谁，老黄说了算
ChatGPT 爆发以来，擅长训练大模型的英伟达 A100、H100 成了香饽饽。
OpenAI、Meta 为代表的AI 公司，亚马逊、微软为代表的云计算公司，私有云 Coreweave 和 Lambda，以及所有想炼自家大模型的各类科技公司，需求量都巨大。
然而卖给谁，基本是英伟达 CEO 黄仁勋说了算。
据 The Information 消息，H100 这么紧缺，英伟达把大量的新卡分配给了 CoreWeave，对亚马逊微软等老牌云计算公司限量供应。
（英伟达还直接投资了 CoreWeave。）
外界分析是因为这些老牌公司都在开发自己的 AI 加速芯片、希望减少对英伟达的依赖，那老黄也就成全他们。
老黄在英伟达内部还把控了公司日常运营的方方面面，甚至包括" 审查销售代表准备对小型潜在客户说什么话 "。
全公司约 40 名高管直接向老黄汇报，这比 Meta 小扎和微软小纳的直接下属加起来还多。
一位英伟达前经理透露，" 在英伟达，黄仁勋实际上是每一款产品的首席产品官。"
前阵子，还传出老黄干了一件夸张的事：要求一些小型云计算公司提供他们的客户名单，想了解 GPU 的最终使用者是谁。
外界分析，此举将使英伟达更了解客户对其产品的需求，也引起了对英伟达可能利用这些信息谋取额外利益的担忧。
也有人认为，还有一层原因是老黄想知道谁真的在用卡，而谁只是囤卡不用。
为什么英伟达和老黄现在有这么大的话语权？
主要是高端 GPU 供需太不平衡，根据 GPU Utils 网站的测算，H100缺口高达 43 万张。
作者 Clay Pascal 根据各种已知信息和传言估计了 AI 行业各参与者近期还需要的 H100 数量。
AI 公司方面：
OpenAI 可能需要 5 万张 H100 来训练 GPT-5
Meta 据说需要 10 万
InflectionAI 的 2.2 万张卡算力集群计划已公布
主要 AI 初创公司如 Anthropic、Character.ai、欧洲的 MistraAI 和 HelsingAI 需求各自在 1 万数量级。
云计算公司方面：
大型公有云里，亚马逊、微软、谷歌、甲骨文都按 3 万算，共 12 万
以 CoreWeave 和 Lambda 为代表的私有云加起来总共需要 10 万
加起来就是 43.2 万了。
这还没算一些摩根大通、Two Sigma 等也开始部署自己算力集群的金融公司和其他行业参与者。
那么问题来了，这么大的供应缺口，就不能多生产点吗？
老黄也想啊，但是产能被卡住了。
产能这次卡在哪里？
其实，台积电已经为英伟达调整过一次生产计划了。
不过还是没能填补上如此巨大的缺口。
英伟达 DGX 系统副总裁兼总经理 Charlie Boyle 称，这次并不是卡在晶圆，而是台积电的CoWoS 封装技术产能遇到了瓶颈。
与英伟达抢台积电产能的正是苹果，要在 9 月发布会之前搞定下一代 iPhone 要用的 A17 芯片。
而台积电方面近期表示，预计需要 1.5 年才能使封装工艺积压恢复正常。
CoWoS 封装技术是台积电的看家本领，台积电之所以能击败三星成为苹果的独家芯片代工厂靠的就是它。
这项技术封装出的产品性能高、可靠性强，H100 能拥有 3TB/s ( 甚至更高 ) 的带宽正是得益于此。
CoWoS 全名叫 Chip-on-Wafer-on-Substrate，是一种在晶圆层面上的芯片集成技术。
这项技术可以将多个芯片封装到厚度仅有 100 μ m的硅中介层上。
据介绍，下一代中介层面积将达到 6 倍 reticle，也就是约 5000mm ²。
目前为止，除了台积电，没有哪家厂商拥有这个水平的封装能力。
虽然 CoWoS 的确强悍，但没有它就不行吗？其他厂商能不能代工呢？
先不说老黄已经表示过 " 不考虑新增第二家 H100 代工厂 "。
从现实上看，可能也真的不行。
英伟达此前曾和三星有过合作，但后者从未给英伟达生产过 H100 系列产品，甚至其他 5nm 制程的芯片。
据此有人推测，三星的技术水平可能无法满足英伟达对尖端 GPU 的工艺需求。
至于英特尔……他们的 5nm 产品好像还迟迟没有问世。
既然让老黄换生产厂家行不通，那用户直接改用 AMD 怎么样？
AMD，Yes？
如果单论性能的话，AMD 倒的确是慢慢追上来了。
AMD 最新推出的 MI300X，拥有 192GB 的 HBM3 内存、5.2TB/s 的带宽，可运行 800 亿参数模型。
而英伟达刚刚发布的 DGX GH200，内存为 141GB 的 HBM3e，带宽则为 5TB/s。
但这并不意味着 AMD 能马上填补 N 卡的空缺——
英伟达真正的 " 护城河 "，在于 CUDA 平台。
CUDA 已经建立起一套完整的开发生态，意味着用户要是购买 AMD 产品，需要更长时间来进行调试。
一名某私有云公司的高管表示，没人敢冒险花 3 亿美元实验部署 10000 个 AMD GPU。
这名高管认为，开发调试的周期可能至少需要两个月。
在 AI 产品飞速更新换代的大背景下，两个月的空档期对任何一家厂商来说可能都是致命的。
不过微软倒是向 AMD 伸出了橄榄枝。
此前有传闻称 ，微软准备和 AMD 共同开发代号为 " 雅典娜 " 的 AI 芯片。
而更早之前，MI200 发布时，微软第一个宣布采购，并在其云平台 Azure 上部署。
比如前一阵就是在 512 张 AMD MI200 上训练的。
在英伟达占据几乎整个 AI 市场的格局下，可能需要有人带头冲锋，先整个大型 AMD 算力集群打样，才有人敢于跟进。
不过短时间内，英伟达 H100、A100 还是最主流的选择。
One More Thing
前一阵苹果发布最高支持 192GB 内存新款 M2 Ultra 芯片的时候，还有不少从业者畅享过用它来微调大模型。
毕竟苹果 M 系列芯片的内存显存是统一的，192GB 内存就是 192GB 显存，可是 80GB H100 的 2.4 倍，又或者 24GB RTX4090 的 8 倍。
然鹅，有人真的把这台机器买到手后，实际测试训练速度还不如英伟达 RTX3080TI，微调都不划算，训练就更别想了。
毕竟 M 系列芯片的算力部分不是专门针对 AI 计算优化的，光大显存也没用。
炼大模型，看来主要还是得靠 H100，而 H100 又求之不得。
面对这种情况，网络上甚至流传着一首魔性的 "GPU 之歌 "。
很洗腦，慎入。
GPU 之歌本家
https://www.youtube.com/watch?v=YGpnXANXGUg
参考链接：
[ 1 ] https://www.barrons.com/articles/nvidia-ai-chips-coreweave-cloud-6db44825
[ 2 ] https://www.ft.com/content/9dfee156-4870-4ca4-b67d-bb5a285d855c
[ 3 ] https://www.theinformation.com/articles/in-an-unusual-move-nvidia-wants-to-know-its-customers-customers
[ 4 ] https://www.theinformation.com/articles/ceo-jensen-huang-runs-nvidia-with-a-strong-hand
[ 5 ] https://gpus.llm-utils.org/nvidia-h100-gpus-supply-and-demand/#which-gpus-do-people-need
[ 6 ] https://3dfabric.tsmc.com/english/dedicatedFoundry/technology/cowos.htm
[ 7 ] https://developer.nvidia.com/blog/cuda-10-features-revealed/
[ 8 ] https://www.theverge.com/2023/5/5/23712242/microsoft-amd-ai-processor-chip-nvidia-gpu-athena-mi300
[ 9 ] https://www.amd.com/en/press-releases/2022-05-26-amd-instinct-mi200-adopted-for-large-scale-ai-training-microsoft-azure
