今天小编分享的科学经验:ChatGPT 日耗电超 50 万度,卡死AI发展的竟然是能源?,欢迎阅读。
最近《纽约客》报道,ChatGPT 每日耗电量或超过 50 万千瓦时,相当于美国家庭平均用电量的 1.7 万倍。埃隆 · 马斯克也曾预言,未来两年内电能短缺将成为制约 AI 发展的主要因素。然而,事实真的是这样吗?
目前关于 AI 耗电量的观点主要源自估算结果,而非真实的测量数据。美国信息技术与创新基金会(ITIF)发布的报告认为,个别不准确的研究大大高估了 AI 的能耗,这样的言论可能对 AI 发展造成不利影响,阻碍 AI 在促进节能减排、应对环境挑战方面发挥潜力。业界人士呼吁,应当促进行业信息透明,同时减少 AI 技术的滥用。
AI 能耗评估难题:
影响因素众多
ITIF 是一家非营利智库,总部位于美国华盛顿。在这份题为《重新审视对人工智能能耗的担忧》的报告中,ITIF 指出,不同 AI 模型的能耗和碳排放存在巨大差异,受到诸多因素的影响,包括芯片设计、冷却系统、数据中心设计、軟體技术、工作负担、电能来源等。
所以,在估算 AI 的能耗方面,不同研究的结论出现了较大分歧。2019 年马萨诸塞大学阿默斯特分校团队发布的一项预印本研究估算,当时领先的谷歌公司大语言模型 BERT 在 79 小时的训练过程中排放了约 1438 磅二氧化碳(约合 652 千克),量级相当于一名乘客乘坐飞机往返于纽约和旧金山一次。研究也对 AI 神经架构搜索(NAS)等技术得出了类似结论。这篇论文在谷歌学术被引用接近 3000 次,并得到了大量媒体报道。
然而,从事 AI 研发的企业和机构得出了截然不同的分析结论。2021 年,谷歌公司与加州大学伯克利分校发布一项预印本研究认为,前述研究将谷歌的 AI 碳排放数值高估了 88 倍。但是这项研究得到的关注远不如前者,被引数仅有 500 左右。
图库版权图片,转载使用可能引发版权纠纷
由于媒体和公众关注负面信息的倾向,结论惊人的研究更容易得到传播。科技行业名人的言行也在放大 " AI 能耗巨大 " 的信息,马斯克曾预言 " 制约 AI 发展的因素将由‘缺硅’变成‘缺电’ ";Open AI CEO 萨姆 · 阿尔特曼也表示 AI 将消耗更多电力,并高调投资核聚变。
从全生命周期视角
评估 AI 能耗
ITIF 报告指出,目前许多研究和政策都关注 AI 训练(training)阶段,但多项研究表明 AI 在推理(inference)过程中,也即人们使用 AI 输出结果的过程能耗更高。此外,不同 AI 模型处理不同类型的推理任务,能耗的差异也很大。例如 1000 次请求计算,图片分类任务的耗电量是 0.007 千瓦时,而图片生成任务耗电 2.907 千瓦时。
报告作者指出,AI 的训练是一次性事件,而它的使用是长期过程,讨论 AI 能耗问题时应该关注的不是爆发式增长,而是长期的影响。并且,从技术史的视角看来,AI 及其能耗的增长还将受到以下 4 个因素的限制:
1
基础设施建设成本将制约 AI 的快速增长
"ChatGPT 每日耗电量或超过 50 万千瓦时 " 的结论,出自技术博客 Digiconomist 作者亚历克斯 · 德 · 弗里斯(Alex de Vries)的估算。德 · 弗里斯还曾预测,在最糟糕的情况下,谷歌的 AI 用电量将与整个爱尔兰相当,达到每年 29.3 TWh(太瓦时)。但他同时也指出,要想达到这样的规模,谷歌需要在芯片上投入 1000 亿美元,此外还要数据中心的运营和电费投入数十亿美元。如果 AI 的运营成本居高不下,逐利的商业公司自然会放慢脚步,减少投入。
2
AI 性能增长存在边际效应
近年来 AI 连续在许多领網域取得了突破性进展,这也意味着它可能很快迎来一个瓶颈期。研发、运营更大的模型带来的回报将越来越低,在提升准确性上精益求精也将变得更困难。所以,优化 AI 模型可能是接下来的研发方向。
3
軟體和硬體的性能提升将减少 AI 能耗
AI 模型的优化,以及硬體技术的进步,都有望减少 AI 的能耗。一项发表于《科学》期刊的研究指出,在 2010~2018 年间,全球数据中心的运算量增长了 550%,存储空间增长了 2400%,但耗电量仅增长 6%。硬體、虚拟技术和数据中心设计方面的创新提升了能效,也使得云计算的规模化成为可能。
图库版权图片,转载使用可能引发版权纠纷
同样,剪枝(pruning)、量化(quantization)、蒸馏(distillation)等技术有望带来更好的算法,让 AI 模型更快、更节能。谷歌公司和加州大学伯克利分校研究团队指出,有赖于各项技术进步,近年来在谷歌公司内部 AI 的能耗占比保持稳定,尽管机器学习增长到运算量的 70%~80%。
4
AI 的应用最终将在某些方面减少碳排放
整体上,当人们用电子邮件替代传统书信,用观看 DVD 或流媒体频道替代去电影院看电影,这些活动的数字化都减少了碳排放。AI 有望在这方面继续发挥作用,例如通过改进视频通话体验,使更多的会议转向远程进行。此外,AI 技术还可用于进行电网调度、分析气候数据,从而成为应对气候变化的助力。
准确评估 AI 能耗
促进领網域健康发展
从历史的角度看,关于 AI 碳排放的担忧并不新鲜。90 年代曾有人预测,未来发电量的一半将用于满足互联网活动;在流媒体出现的时候,同样有人提出类似观点。如今我们知道,这些担忧都并未成为现实。ITIF 报告认为,如果没有完全理解 AI 能耗问题就急于进行管控,可能会阻碍 AI 的性能提升,限制其发展潜力。例如,使 AI 消除偏见和仇恨言论、避免输出有害信息,都需要进行更多的推断,从而提升能耗。
报告建议,应对大众关于 AI 能耗问题的担忧,决策者应当:
① 制定相应标准,使 AI 模型能耗公开透明;
② 鼓励业界主动公开 AI 模型能耗信息,以便公众进行知情选择;
③ 考虑 AI 法规对能源使用的意外后果;
④ 利用 AI 实现政府运作的低碳化。
一些机构已经在推动 AI 的信息公开。2023 年 12 月,欧盟通过《人工智能法案》,这是全球首部 AI 监管法案。法案督促 AI 开发者致力于使模型高能效、可持续,并要求进行相应的信息公开。
图库版权图片,转载使用可能引发版权纠纷
德 · 弗里斯同样呼吁进行信息公开,同时他希望及时限制 AI 的发展,就像限制加密货币技术一样。数字经济学家(Digiconomist)博客指出:" AI 和先前的区块链等新兴技术的发展,伴随着大量的狂热和错失恐惧(FOMO),这通常会催生对终端用户没什么益处的应用 。"
而在《纽约客》报道中,著名科学记者伊丽莎白 · 科尔伯特(Elizabeth Kolbert)的原话是:" 每当 ChatGPT 吐出信息(或给某人写高中作文),都需要进行大量运算。据估计,ChatGPT 每天要响应约 2 亿次请求,同时消耗超过 50 万千瓦时电力。" 也就是说,要应对 AI 能耗危机,或许可以从限制使用 AI 写作业开始。
参考文献
[ 1 ] Elizabeth Kolbert. The Obscene Energy Demands of A.I.. The New Yorker. https://www.newyorker.com/news/daily-comment/the-obscene-energy-demands-of-ai. <2024-03-09/2024-03-09>
[ 2 ] Loz Blain. Elon Musk: AI will run out of electricity and transformers in 2025. New Atalas. https://newatlas.com/technology/elon-musk-ai/. <2024-03-01/2024-03-12>
[ 3 ] Daniel Castro. Rethinking Concerns About AI ’ s Energy Use. Center for Data Innovation. ITIF. https://itif.org/publications/2024/01/29/rethinking-concerns-about-ai-energy-use/. <2024-01-29/2024-03-04>
[ 4 ] Strubell, Emma, Ananya Ganesh, and Andrew McCallum. "Energy and policy considerations for deep learning in NLP." arXiv preprint arXiv:1906.02243 ( 2019 ) . https://arxiv.org/pdf/1906.02243.pdf
[ 5 ] Patterson, David, et al. "Carbon emissions and large neural network training." arXiv preprint arXiv:2104.10350 ( 2021 ) . https://arxiv.org/abs/2104.10350
[ 6 ] OpenAI CEO Altman says at Davos future AI depends on energy breakthrough. Reuters. https://www.reuters.com/technology/openai-ceo-altman-says-davos-future-ai-depends-energy-breakthrough-2024-01-16/. <2024-01-16/2024-03-12>
[ 7 ] de Vries, Alex. "The growing energy footprint of artificial intelligence." Joule 7.10 ( 2023 ) : 2191-2194.
https://www.cell.com/joule/pdf/S2542-4351 ( 23 ) 00365-3.pdf
[ 8 ] Eric Masanet et al., "Recalibrating Global Data Center Energy-Use Estimates," Science 367, no. 6481 ( February 28, 2020 ) : 984 – 86, https://doi.org/10.1126/science.aba3758.
[ 9 ] Patterson, David, et al. "The carbon footprint of machine learning training will plateau, then shrink." Computer 55.7 ( 2022 ) : 18-28.
[ 10 ] Artificial intelligence act: Council and Parliament strike a deal on the first rules for AI in the world. Council of the EU. https://www.consilium.europa.eu/en/press/press-releases/2023/12/09/artificial-intelligence-act-council-and-parliament-strike-a-deal-on-the-first-worldwide-rules-for-ai/. <2023-12-09/2024-03-12>
[ 11 ] Powering AI could use as much electricity as a small country. Digiconomist. https://digiconomist.net/powering-ai-could-use-as-much-electricity-as-a-small-country/ <2023-10-10/2024-03-12>
策划制作
作者丨玛雅蓝 科普创作者
审核丨于旸 腾讯玄武实验室负责人
策划丨徐来 杨雅萍
责编丨何通
相关推荐
1. 韩国人开始吃绿色油炸牙签,食品安全局发文提醒:请不要吃牙签!
5. 要想活得好,不要吃太饱!经常吃太饱危害比你想象还大(不止变胖)
本文封面图片及文内图片来自版权图库
转载使用可能引发版权纠纷
原创图文转载请后台回复 " 转载 "
点亮 " 在看 "
一起涨知识!