今天小編分享的财經經驗：藏在AI背後的“吃電狂魔”，歡迎閱讀。
本文來自微信公眾号：雪豹财經社（ID：xuebaocaijingshe），作者：魏琳華，題圖來自：視覺中國
3 月底，美國密歇根湖畔的一座已經關閉的核電站 Holtec Palisades，獲得來自美國能源部的 15 億美元貸款擔保，進入重啟階段。如果順利通過監管環節，它将成為美國歷史上第一座重啟的核電站。
美國能源部之所以重啟核電發力，是出于對電能需求失衡的擔憂。在制造業、電動汽車等行業的耗電需求上升之際，人工智能行業的快速發展，加速了美國電力危機的到來。
" 人工智能本身不是問題，因為它可以幫助解決問題。" 美國能源部長詹妮弗 · 格蘭霍姆在接受 Axiro 采訪時表示，但是人工智能和數據中心對電力日益增長的需求，卻成了實實在在的新問題。
小小應用，吃電狂魔
人工智能應用究竟有多耗電？
荷蘭科學家亞歷克斯 · 德弗裡斯在他的論文中，為對話機器人 ChatGPT 算了這樣一筆賬：
每當 ChatGPT 試圖響應一次問題，它需要消耗 2.9 瓦時的電量。這是什麼概念？響應 10 次的電量，可以支撐一個功率 15W 的 LED 燈泡工作 2 小時；響應 100 次，可以給智能手機充大約 13 次電。
一天内，ChatGPT 平均需要處理約 2 億個來自用戶的對話請求，這意味着它單日消耗的電量就要超過 564 兆瓦時（1 兆瓦時 =1000 千瓦時，564 兆瓦時相當于 56.4 萬度電）。以美國每個家庭每日平均耗電量換算，ChatGPT 每天需要消耗掉 1.7 萬個美國家庭一天的用電量。
由于模型參數、能耗處理等因素差異，不同 AI 模型的耗電量無法被準确估算。于是，亞裡克斯以英偉達推出的 A100 伺服器作為測算對象，對整個人工智能行業可能產生的耗電量進行估算。
基于他的假設，到 2027 年，英偉達可能推出 150 萬台 A100 伺服器，其中 95% 将被應用于 AI 行業。每一台 DGX A100 型号的伺服器内置 8 張 A100 芯片，以 1140 萬張 A100 芯片的耗電量進行估算，2027 年，整個人工智能行業每年的耗電量将高達 85~134 太瓦時（1 太瓦時 =1 × 106 千瓦時）。
也就是說，到 2027 年，AI 耗電量或将接近人口超過 1000 萬的瑞典或 1700 萬人口的荷蘭一年的總用電量，相當于當前全球用電量的 0.5%。
按照這個估算值，AI 的耗電量或将比肩比特币挖礦。據劍橋大學計算，比特币挖礦一年耗電量大約是 165.99 太瓦時，接近人口一億的埃及一年的用電量。
比特币挖礦如此耗電，是由它的工作方式決定。在比特币之父中本聰的設計中，比特币系統通過工作量證明（Proof-of-Work）的方式，讓礦工們競相計算出一個足夠困難的哈希值（由數字 + 字母構成的字元串）來創建新的區塊并獲取獎勵。這種競争性的計算過程，需要消耗大量的電力和計算能力。
AI 之所以如此能吃電，是因為大模型的訓練和推理過程均需消耗大量電力。
大模型質量的關鍵在于數據、算力和頂尖人才，而高算力的背後，是靠着數萬張芯片晝夜不停地運轉支撐。
相比于平常安裝在筆記型電腦上的 CPU（中央處理器），GPU（圖形處理器）被證明是更适合 AI 訓練的硬體。如果把 CPU 看作一個處理單任務的元件，那麼 GPU 的優勢就是同時處理多個并發任務。雖然 GPU 起初并非為了處理 AI 需求而生，但同時處理多任務的特質，讓它成為進入 AI 大模型訓練場的門票。
和 CPU 相比，GPU 可以處理多個并行任務，圖源：英偉達官網
快的代價是更高的能量損耗。據估算，一張 GPU 比 CPU 的能耗高出 10~15 倍。在大模型訓練過程中，需要多張 GPU 接連不斷運轉。大模型參數量和數據量越大，訓練耗費的電量也越大。
以 GPT-3 的訓練為例，斯坦福人工智能研究所發布的《2023 年人工智能指數報告》顯示，1750 億參數的 GPT-3 在訓練階段的耗電量高達 1287 兆瓦時。哈工大人工智能研究院院長劉劼打了個比方，相當于開車從地球到月球往返一次。
在完成訓練後，AI 在推理方面的耗電量又遠超過訓練耗費的電量。
每響應一個請求，大模型需要完成推理過程，找到最接近問題的解答。按照上述數據推算，GPT-3 在訓練階段消耗的電量，甚至無法支撐 ChatGPT 運行 3 天。
在多模态大模型發展成為主流的情況下，在 AI 響應需求的推理過程中，耗電量還将進一步提升。據人工智能公司 Hugging Face 的研究，不僅多模态大模型耗電量遠超過一般模型，涉及影像處理的模型也比純文本處理更耗電。
具體到不同任務，文本分類、标記和問答等簡單任務相對低耗，千次推理僅需 0.002~0.007 千瓦時。而在響應多模态任務時，一次文本到影像生成耗能最高需要用到 2.9 千瓦時，相當于 ChatGPT 響應 100 次的耗電量。
巨頭的 AI 夢，把電力缺口撕得更大
從訓練 15 億參數的 GPT-2 到訓練 1750 億參數的 GPT-3，OpenAI 從十億參數到千億參數的跨越，僅用了一年時間。
大模型狂飙之際，越來越多的大型科技公司開始把 AI 和公司主營業務的融合提上日程。
谷歌試圖在搜索中結合 AI 功能，但它的能耗十分驚人。去年 2 月，谷歌母公司 Alphabet 董事長 John Hennessy 表示，在搜索中應用人工智能的成本将是普通搜索的 10 倍。
前述斯坦福人工智能研究所發布的《2023 年人工智能指數報告》認為，每次 AI 搜索的耗電量大約為 8.9 瓦時，對比谷歌單次搜索 0.3 瓦時的耗電量，加入 AI 的單次耗電量幾乎是一般搜索耗電量的 30 倍。
和 OpenAI 合作密切的微軟，也計劃把 AI 大力 " 塞進 " 它的幾個主要產品線，如 Office 軟體、Windows 作業系統、Bing 搜索引擎、Azure 雲服務等。
為了提供更充足的算力，以支撐 AI 大模型的訓練和使用，作為底座的基礎設施，數據中心的建造已被科技企業們納入下一步規劃。
2023 年，谷歌斥資超 25 億美元，分别在俄亥俄州、愛荷華州、亞利桑那州梅薩建造數據中心。看好 AI 發展的亞馬遜計劃在未來 15 年中投入 1500 億美元興建數據中心。
當膨脹的電量需求無法被一一滿足，美國部分城市的電力拉響了告急的警報。
美國擁有全球最多的數據中心。截至 2022 年，美國擁有超過 2300 個數據中心，占全球數據中心的 1/3。
其中，包括亞馬遜、微軟、谷歌等在内的雲計算巨頭在美國本土的數據中心布局尤為龐大。據 Synergy Research Group 統計，在超大規模運營商當中，亞馬遜、微軟和谷歌合計占據所有主要數據中心的一半以上。微軟在美國擁有 24 個可用區，一個可用區配備 3 個或以上數據中心。
據國際能源署（IEA）預測，未來幾年，美國數據中心用電量将快速增長。IEA 警告，2022 年，美國數據中心的用電量已占美國總電力的 4% 以上，到 2026 年，其用電量占比将提升至 6%，此後幾年還将持續擴大。
但是，與快速增長的人工智能電力需求相悖的是，美國的發電量并沒有出現明顯增長的迹象。
據美國能源信息署，2023 年，美國全口徑淨發電量為 41781.71 億千瓦時，比上一年下降 1.2%。實際上，近十年來，美國的全年淨發電量一直在 40000 億千瓦時的邊緣徘徊。
1950-2023 年美國淨發電量變化（部門：十億千瓦時），圖源：Statista
造成美國缺電的元兇之一是其脆弱的電網輸送設施。美國的變壓器、輸電線路等電網基礎設施建于上世紀 60 年代至 80 年代，電路老化問題明顯。白宮在 2022 年的一份檔案中指出，許多變壓器和輸電線路正接近或已超過其設計壽命，全國 70% 的輸電線路已經使用了 25 年以上。
在老化的電網基礎設施之下，美國從其他地區輸電和接入可清潔能源擴充電網儲備能量的想法均無法實現。美國能源部（DOE）發布的一份報告指出，在德克薩斯州、阿拉斯加州等多個地區，美國建成的輸電系統已面臨滿負荷的情況。
為了加強美國各州電網的彈性和可靠性，去年，美國能源部宣布，将對 44 個州的 58 個項目投資 34.6 億美元。
電力危機已近在眼前。在不久的将來，它還可能成為制約 AI 發展的關鍵因素。
2024 年 2 月，在達沃斯世界經濟論壇上，OpenAI 首席執行官薩姆 · 阿爾特曼提到了 AI 帶來的電力危機。在他看來，人工智能消耗的電力将遠遠超出人們的預期。" 我們尚未充分認識到 AI 的能源需求。如果沒有重大突破，我們就無法實現（通往 AGI）這一目标。"
在博世互聯網論壇上，特斯拉 CEO 馬斯克同樣強調了人工智能面臨的發展困境。" 接下來短缺的将是電力。" 他判斷，電力缺口最早可能會在 2025 年發生。" 明年你會看到，我們沒有足夠的電力來運行所有的芯片。"
鉗制與出路
不堪重負的電網已經開始限制科技企業的業務拓展。
在社交媒體 X 上，開源社區 OpenPipe 創始人 Kyle Corbitt 分享了他和微軟工程師的對話，他們提到了 OpenAI 在訓練 GPT-6 期間，GPU 在不同州之間面臨的傳輸困境。
" 我們不可能在一個州投放超過 10 萬個 H100 芯片，同時還不破壞電網。" 一張 H100 的最大功耗為 700 瓦，根據微軟工程師的測算，以年利用率 61% 來算，10 萬張 H100 的耗電量将高達 42 兆瓦時。
為了滿足飙升的電力需求，首先被犧牲的是減少碳排放的目标。
據《華盛頓郵報》，美國多地電力需求增長超出預期。以佐治亞州為例，預計未來十年的新增用電量将是最近的 17 倍。位于美國堪薩斯州、内布拉斯加州、威斯康星州和南卡羅來納州的燃煤電廠已經決定延遲退休時間。
面對吃電大戶挖礦機，不同國家推出了程度不同的監管政策。據美國能源部估計，加密貨币挖礦的年用電量或占美國用電量的 0.6% 至 2.3%。為此，美國考慮對加密貨币挖礦業務征收高達 30% 的數字資產采礦能源消費稅。加拿大已有三個省份宣布加密貨币挖礦禁令。
AI 也引起了監管機構的關注。由于每家 AI 企業的能源損耗情況難以被統一量化估計。海外監管機構開始推動立法，要求人工智能開發企業披露能源的使用情況，以合理估算 AI 帶來的能耗影響。
今年 3 月，歐盟 27 個成員國批準通過的《人工智能法案》中，要求 " 高風險人工智能系統 " 報告其能源消耗和資源使用情況。
科技企業的掌舵者幾年前就押注新型能源公司，期待用清潔的可再生能源支撐龐大的電力需求。
2021 年，OpenAI 首席執行官阿爾特曼向核聚變初創公司 Helion Energy 投入 3.75 億美元。2023 年 5 月，微軟與這家公司籤署購電協定，預定從 2028 年開始向其購買 50 兆瓦電力。壞消息是，它甚至不足以支撐 GPT-3 訓練耗費電量的 1/25。
通過技術優化性能，也能顯著降低能耗。
在今年的 GTC 發布會上，英偉達 CEO 黃仁勳帶來了一款新的 GPU 產品 Blackwell。通過使用新的架構，它的能耗降低了 70% 以上：訓練一個 1.8 萬億參數的 GPT 模型，傳統方法可能需要 8000 個 GPU、15 兆瓦，歷時 90 天。而 Blackwell 只需 2000 個 GPU，功耗 4 兆瓦。
相比馬斯克和阿爾特曼的警世之言，黃仁勳也同樣擔憂電能的供給，但他給出了一個更加樂觀的展望：" 過去十年，我們将計算和人工智能提高了 100 萬倍……而它所消耗的成本、空間或能源，并未增長 100 萬倍。"
寫在最後
一個多世紀之前，能源革命改變了人們的生活方式。從燃燒麥草的火力過渡到煤炭、石油，在歷史發展的關鍵時期，人們對新能源的挖掘推動了工業革命的進程。
" 每一個煤筐裡都裝着動力與文明。" 美國思想家、文學家愛默生曾如是感慨。
一種能源的稀缺，往往成為挖掘新一種能源的動力。在《黑石頭的愛與恨：煤的故事》一書中，作者巴巴拉 · 弗裡茲講述了發生在 16 世紀英國的 " 木材危機 "。
" 由于城市的不斷擴大，附近郡縣的森林漸漸被砍伐殆盡，人們不得不從越來越遠的地方運來木材 . ……單是倫敦的釀酒者，每年就要燒掉兩萬貨車的木頭。" 當木頭價格的上漲超過通貨膨脹的速度，成為稀缺資源後，英國國内的用煤量劇增。
能源的開采和使用，成為決定工業發展的關鍵之手。充足的煤炭支撐英國發展紡織業、鋼鐵業，成為第一次工業革命的中心，而石油的開采則帶動汽車、飛機等行業的興旺。
在化石能源枯竭的危機下，對新能源的利用，不僅能緩解迫近人工智能行業的能源危機，也承載着人類科技繼續前行的 " 動力與文明 "。
參考資料
[ 1 ] Granholm eyes talks with Big Tech on AI power needs.Axios
[ 2 ] Amid explosive demand， America is running out of power.The Washington Post
[ 3 ] Nvidia CEO Jensen Huang at World Government Summit.
[ 4 ] The AI Act Explorer.
[ 5 ] Bitcoin: A Peer-to-Peer Electronic Cash System.Satoshi Nakamoto
[ 6 ] A.I. Could Soon Need as Much Electricity as an Entire Country.The New York Times
[ 7 ] Cambridge Blockchain Network Sustainability Index: CBECI.CCAF
[ 8 ] The Biden- Harris Administration Advances Transmission Buildout to Deliver Affordable， Clean Electricity.The White House
[ 9 ] Microsoft， Amazon and Google Account for Over Half of Today ’ s 600 Hyperscale Data Centers.Synergy Research Group
本文來自微信公眾号：雪豹财經社（ID：xuebaocaijingshe），作者：魏琳華
