今天小編分享的科技經驗：三星将首秀36GB HBM3E内存：NVIDIA H200單卡就有216GB，歡迎閱讀。
快科技 3 月 7 日消息，三星日前宣布了全球首款 36GB 超大容量的新一代高帶寬内存 HBM3E，而在 3 月 19 日凌晨開幕的 NVIDIA GTC 2024 技術大會上，三星将首次進行公開展示。
三星 HBM3E 采用了 24Gb 顆粒、12 層堆疊 ( 12H ) ，從而将單顆容量做到史無前例的 36GB，帶寬也提升至 1280GB/s，相比前代 8H HBM3 容量、帶寬都提升了 50％，垂直密度則增加了超過 20％。
NVIDIA H200 AI 加速卡将首發采用三星 36GB HBM3E，只需要八顆，就能達成 6144-bit 的位寬、216GB 的容量，從而超過 192GB HBM3 内存的 AMD Instinct MI300X。
H200 還支持四路、八路互連，因此單系統的 HBM3E 内存容量可以達到 864GB、1728GB！
按照慣例，NVIDIA 可能會出于良品率的考慮，屏蔽一小部分容量，但是單卡超過 200GB、單系統超過 1.6TB 必然是很輕松的。
按照 NVIDIA 的說法，H200 雖然還是 Hopper 架構，但相比 H100 再次飛躍，700 億參數 Llama2、1750 億參數 GTP-3 模型的推理性能分别提升多達 90％、60％，對比前代 A100 HPC 模拟性能直接翻番。
NVIDIA H200 計劃 2024 年第二季度出貨，三星 36GB HBM3E 則會在第一季度投入量產，正好趕得上。
