今天小編分享的科技經驗：英偉達：CPU已落伍，用GPU訓練大語言模型成本可降低96%，歡迎閱讀。
品玩 5 月 29 日訊，據英偉達在 2023 年台北電腦展會上的演講，該公司宣稱其 GPU 可以大幅降低訓練大型語言模型（LLM）的成本和耗能。
黃仁勳在演講中，向 CPU 行業發起了挑戰，他認為生成式人工智能和加速計算是未來計算的方向。他宣布傳統的摩爾定律已經過時，未來的性能提升将主要來自生成式人工智能和基于加速計算的方法。
相比之下，如果保持成本不變，購買一個價值 1000 萬美元的 GPU 集群，可以在同樣的成本和更少的電力消耗（3.2 千兆瓦時）下訓練 44 個 LLM。如果轉而保持電力消耗不變，那麼可以通過 GPU 集群實現 150 倍的加速，以 11 千兆瓦時的電力消耗訓練 150 個 LLM，但這需要花費 3400 萬美元，此外這個集群的占地面積比 CPU 集群小得多。最後，如果只想訓練一個 LLM，那麼只需要一個價值 40 萬美元、消耗 0.13 千兆瓦時電力的 GPU 伺服器就可以了。
英偉達所要表達的意思是，相比 CPU 伺服器，客戶可以以 4% 的成本和 1.2% 的電力消耗來訓練一個 LLM，這是一個巨大的成本節省。
