今天小编分享的科技经验:ChatGPT每天消耗超过50万度电力,AI大模型有多耗能?,欢迎阅读。
钛度图闻 · 一百四十六期
策划制作|钛媒体视觉中心,编辑|刘亚宁,作图|初彦墨
2024 年刚开年,OpenAI 推出的文生视频工具 Sora 再次风靡全球,成为了 OpenAI 继 ChatGPT 之后新的生成式 AI 标杆。AI 重塑世界,也可能会让环境资源付出巨大的代价。
据《纽约客》杂志引援国外研究机构报告,ChatGPT 每天要响应大约 2 亿个请求,在此过程中消耗超过 50 万度电力,也就是说,ChatGPT 每天用电量相当于 1.7 万个美国家庭的用电量。而随着生成式 AI 的广泛应用,预计到 2027 年,整个人工智能行业每年将消耗 85 至 134 太瓦时(1 太瓦时 =10 亿千瓦时)的电力。
除了耗电,和 ChatGPT 或其他生成式 AI 聊天,也会消耗水资源。加州大学河滨分校研究显示,ChatGPT 每与用户交流 25-50 个问题,就可消耗 500 毫升的水。而 ChatGPT 有超过 1 亿的活跃用户,这背后消耗的水资源无疑是令人震惊的。
训练一个大模型,科技巨头每年都消耗了多少能源?本期钛媒体 · 钛度图闻带你关注。
AI 大模型参数突破百万亿级别,训练一次有多烧钱?
在大模型的训练中,语料信息的规模是很重要的。一般来说,语料规模越大,其蕴含的信息就越丰富,模型所形成的参数越大,具有更好的泛化能力。为了获得智能水平更高的大模型,AI 模型的语料规模和参数规模越来越大。
从参数规模上看,大模型先后经历了预训练模型、大规模预训练模型、超大规模预训练模型三个阶段,参数量实现了从亿级到百万亿级的突破。2017 年,谷歌首次提出 6500 万参数的 Transformer 模型,自此大模型就开始走上了一条快速发展之路。
2018 年,谷歌发布基于 Transformer 的 BERT,BERT 学习了 16GB 的语料,形成 3.4 亿个参数;2019 年,OpenAI 推出了 15 亿参数的 GPT-2,同年,谷歌推出 T5 模型,参数达到 110 亿。从十亿级到百亿级,大模型在一年内实现跃升。2020 年,OpenAI 推出了 1750 亿参数的 GPT-3;2021 年,谷歌推出 Switch Transformer 架构,其参数量扩展到了 1.6 万亿;同年,北京智源人工智能研究院也推出参数量在万亿级别的模型 " 悟道 "。2022 年,清华大学、阿里达摩院等机构的研究人员提出的 " 八卦炉 " 模型,其具有 174 万亿个参数,可与人腦中的突触数量相媲美。如今,大模型参数量已实现百万亿级的突破。
目前,人工智能公司很少公开谈论大模型的训练成本,但相关研究估计这些模型的训练成本可高达数百亿美元。斯坦福大学发布的《2023 年人工智能指数报告》,基于已有大模型披露的硬體和训练时间,对其训练成本进行了估算。
2019 年,OpenAI 发布的大语言模型 GPT-2 参数量为 15 亿,它的训练成本约为 5 万美元左右;到了 2020 年,训练 1750 亿参数量的 GPT-3 的费用大概是 180 万美元。GPT-3 比 GPT-2 的参数量扩大了 117 倍,其训练费用也增加了 36 倍。大型语言和多模态模型如 " 吞金兽一般 ",变得越来越大,也越来越贵。
生成式 AI 多耗能:ChatGPT 日耗电量超 50 万度
训练大模型需要大量的能源,比传统的数据中心要消耗更多的电力。OpenAI 曾发布报告指出,自 2012 年以来,AI 训练应用的电力需求每 3 到 4 个月就会翻一倍。华为 AI 首席科学家田奇也曾给出数据,AI 算力在过去 10 年至少增长了 40 万倍。AI 大模型可谓是 " 耗电巨兽 "。
研究显示,训练谷歌于 2022 年发布的大语言模型 PaLM 需要消耗 3436 兆瓦时的电量,约等于 11.8 万美国普通家庭日耗电量(美国普通家庭日均耗电量约为 29 千瓦时);就算训练参数量为 3.4 亿的 BERT 模型,也需要消耗 1.5 兆瓦时的电量,相当于观看 1875 小时的流媒体。
据了解,AI 伺服器和芯片是产生能耗最主要的地方。通用型伺服器只需要 2 颗 800W 伺服器电源,而 AI 伺服器则需要 4 颗 1800W 高功率电源,AI 伺服器对于电源的需求大大提升。荷兰一位学者表示,到 2027 年,新制造的人工智能设备的用电量将与荷兰、瑞典、阿根廷等国的用电量一样。
除了耗电,由于算力设备的冷却需求,AI 消耗的水资源数量也惊人。
谷歌环境报告显示,2022 年谷歌的用水量达到了 56 亿加仑水(约 212 亿升水),相当于 8500 个奥运会规格的游泳池,这些水被用来为该公司的数据中心散热。不仅如此,在微软的美国数据中心训练 GPT-3 使用的水量相当于填满一个核反应堆的冷却塔所需的水量,大约 70 万升。而用户在使用生成式 AI 工具时也需要耗水。研究显示,ChatGPT 每与用户交流 25-50 个问题,就可消耗 500 毫升的水。研究人员预计,到 2027 年,全球范围内的 AI 需求可能会需要消耗掉 66 亿立方米的水资源,几乎相当于美国华盛顿州全年的取水量。
除了消耗大量的电力和水资源,AI 大模型还是碳排放大户。斯坦福大学报告显示,OpenAI 的 GPT-3 模型在训练期间释放了 502 公吨碳,是目前大模型中有据可查耗能最严重的,它的碳排放量是 Gopher 模型的 1.4 倍, 是 BLOOM 模型的 20.1 倍,约等于 8 辆普通汽油乘用车一生的碳排放量,人均 91 年的碳排放量。
随着科技日新月异,未来 AI 大模型会层出不穷。不可否认的是,生成式 AI 的出现给社会生活带来了巨大的助力,但 AI 给人类带来效率提升的同时也可能引发能源危机。所以,科技巨头们还需从算法和模型优化、硬體优化、训练和计算技巧等方面入手,让 AI 功耗在一定程度上降低。
数据来源:斯坦福大学《2023 年人工智能指数报告》、《AI 专题:重新思考对 AI 能源使用的担忧》、中国政府网等公开资料整理。