今天小編分享的互聯網經驗:ChatGPT每天消耗超過50萬度電力,AI大模型有多耗能?,歡迎閲讀。
钛度圖聞 · 一百四十六期
策劃制作|钛媒體視覺中心,編輯|劉亞寧,作圖|初彥墨
2024 年剛開年,OpenAI 推出的文生視頻工具 Sora 再次風靡全球,成為了 OpenAI 繼 ChatGPT 之後新的生成式 AI 标杆。AI 重塑世界,也可能會讓環境資源付出巨大的代價。
據《紐約客》雜志引援國外研究機構報告,ChatGPT 每天要響應大約 2 億個請求,在此過程中消耗超過 50 萬度電力,也就是説,ChatGPT 每天用電量相當于 1.7 萬個美國家庭的用電量。而随着生成式 AI 的廣泛應用,預計到 2027 年,整個人工智能行業每年将消耗 85 至 134 太瓦時(1 太瓦時 =10 億千瓦時)的電力。
除了耗電,和 ChatGPT 或其他生成式 AI 聊天,也會消耗水資源。加州大學河濱分校研究顯示,ChatGPT 每與用户交流 25-50 個問題,就可消耗 500 毫升的水。而 ChatGPT 有超過 1 億的活躍用户,這背後消耗的水資源無疑是令人震驚的。
訓練一個大模型,科技巨頭每年都消耗了多少能源?本期钛媒體 · 钛度圖聞帶你關注。
AI 大模型參數突破百萬億級别,訓練一次有多燒錢?
在大模型的訓練中,語料信息的規模是很重要的。一般來説,語料規模越大,其藴含的信息就越豐富,模型所形成的參數越大,具有更好的泛化能力。為了獲得智能水平更高的大模型,AI 模型的語料規模和參數規模越來越大。
從參數規模上看,大模型先後經歷了預訓練模型、大規模預訓練模型、超大規模預訓練模型三個階段,參數量實現了從億級到百萬億級的突破。2017 年,谷歌首次提出 6500 萬參數的 Transformer 模型,自此大模型就開始走上了一條快速發展之路。
2018 年,谷歌發布基于 Transformer 的 BERT,BERT 學習了 16GB 的語料,形成 3.4 億個參數;2019 年,OpenAI 推出了 15 億參數的 GPT-2,同年,谷歌推出 T5 模型,參數達到 110 億。從十億級到百億級,大模型在一年内實現躍升。2020 年,OpenAI 推出了 1750 億參數的 GPT-3;2021 年,谷歌推出 Switch Transformer 架構,其參數量擴展到了 1.6 萬億;同年,北京智源人工智能研究院也推出參數量在萬億級别的模型 " 悟道 "。2022 年,清華大學、阿裏達摩院等機構的研究人員提出的 " 八卦爐 " 模型,其具有 174 萬億個參數,可與人腦中的突觸數量相媲美。如今,大模型參數量已實現百萬億級的突破。
目前,人工智能公司很少公開談論大模型的訓練成本,但相關研究估計這些模型的訓練成本可高達數百億美元。斯坦福大學發布的《2023 年人工智能指數報告》,基于已有大模型披露的硬體和訓練時間,對其訓練成本進行了估算。
2019 年,OpenAI 發布的大語言模型 GPT-2 參數量為 15 億,它的訓練成本約為 5 萬美元左右;到了 2020 年,訓練 1750 億參數量的 GPT-3 的費用大概是 180 萬美元。GPT-3 比 GPT-2 的參數量擴大了 117 倍,其訓練費用也增加了 36 倍。大型語言和多模态模型如 " 吞金獸一般 ",變得越來越大,也越來越貴。
生成式 AI 多耗能:ChatGPT 日耗電量超 50 萬度
訓練大模型需要大量的能源,比傳統的數據中心要消耗更多的電力。OpenAI 曾發布報告指出,自 2012 年以來,AI 訓練應用的電力需求每 3 到 4 個月就會翻一倍。華為 AI 首席科學家田奇也曾給出數據,AI 算力在過去 10 年至少增長了 40 萬倍。AI 大模型可謂是 " 耗電巨獸 "。
研究顯示,訓練谷歌于 2022 年發布的大語言模型 PaLM 需要消耗 3436 兆瓦時的電量,約等于 11.8 萬美國普通家庭日耗電量(美國普通家庭日均耗電量約為 29 千瓦時);就算訓練參數量為 3.4 億的 BERT 模型,也需要消耗 1.5 兆瓦時的電量,相當于觀看 1875 小時的流媒體。
據了解,AI 伺服器和芯片是產生能耗最主要的地方。通用型伺服器只需要 2 顆 800W 伺服器電源,而 AI 伺服器則需要 4 顆 1800W 高功率電源,AI 伺服器對于電源的需求大大提升。荷蘭一位學者表示,到 2027 年,新制造的人工智能設備的用電量将與荷蘭、瑞典、阿根廷等國的用電量一樣。
除了耗電,由于算力設備的冷卻需求,AI 消耗的水資源數量也驚人。
谷歌環境報告顯示,2022 年谷歌的用水量達到了 56 億加侖水(約 212 億升水),相當于 8500 個奧運會規格的遊泳池,這些水被用來為該公司的數據中心散熱。不僅如此,在微軟的美國數據中心訓練 GPT-3 使用的水量相當于填滿一個核反應堆的冷卻塔所需的水量,大約 70 萬升。而用户在使用生成式 AI 工具時也需要耗水。研究顯示,ChatGPT 每與用户交流 25-50 個問題,就可消耗 500 毫升的水。研究人員預計,到 2027 年,全球範圍内的 AI 需求可能會需要消耗掉 66 億立方米的水資源,幾乎相當于美國華盛頓州全年的取水量。
除了消耗大量的電力和水資源,AI 大模型還是碳排放大户。斯坦福大學報告顯示,OpenAI 的 GPT-3 模型在訓練期間釋放了 502 公噸碳,是目前大模型中有據可查耗能最嚴重的,它的碳排放量是 Gopher 模型的 1.4 倍, 是 BLOOM 模型的 20.1 倍,約等于 8 輛普通汽油乘用車一生的碳排放量,人均 91 年的碳排放量。
随着科技日新月異,未來 AI 大模型會層出不窮。不可否認的是,生成式 AI 的出現給社會生活帶來了巨大的助力,但 AI 給人類帶來效率提升的同時也可能引發能源危機。所以,科技巨頭們還需從算法和模型優化、硬體優化、訓練和計算技巧等方面入手,讓 AI 功耗在一定程度上降低。
數據來源:斯坦福大學《2023 年人工智能指數報告》、《AI 專題:重新思考對 AI 能源使用的擔憂》、中國政府網等公開資料整理。