今天小编分享的互联网经验:算力隐伤,欢迎阅读。
图片来源 @视觉中国
文|明晰野望
这一轮由 AI 技术演变带来的算力爆发,中国算力是否够用 ? 答案是否定的,算力尤其是智能算力,已经成为制约中国人工智能发展的最关键因素。
近年来,一方面国家大力布局智能算力产业,一方面算力供给 " 鸿沟 " 却在不断扩大。这一现象的主因是 AI 加快了中国数字化转型,AI 应用版图随之扩大,算力需求自然 " 水涨船高 "。
另一个原因是美国禁售最强 GPU 进行的算力封锁。目前从国产大模型与 ChatGPT 的差距看,遏制手段已经生效:OpenAI 之所以难以被超越,在于其拥有一个巨大的算力底座,在大模型 ( AI 算法 ) 的训练和推理中,首先拥有了效率优势。
算力基础决定上层应用。事实上,流向 AI 产业链的 " 每一滴水 ", 最终都流向了算力。
为了避免算力产业在关键时刻被拉开差距,当下国家正在加快一体化的新型算力网络体系建设,国内云厂商也纷纷参与其中。阿里云、腾讯云、天翼云还发布了让 " 算力更普惠 " 的智算平台,硬體厂商则乘势加快了 AI 伺服器、AI 芯片、存储的国产替代进程。
算力突围战,再次打响。
01、奇点之路,算力为基
在 2023 财年 Q1 财报会上,扎克伯格称 " 生成式 AI 将触及 Meta 所有产品 ",这已是全球第四家科技大厂做如此表态。
此前阿里曾表示 " 所有产品都将接入大模型 ",百度强调 " 所有业务全面集成文心一言 ";更早一些,微软 " 计划将 ChatGPT 等 OpenAI 的 AI 工具整合入全线产品 "。
这说明,真正的 AI 时代,新的应用都会基于大模型来开发,就像十几年前的移动互联网,各种基于安卓、iOS 的应用大量涌现一样。
这令人工智能的奇点,第一次以可以预见的方式展现在人们面前:AI 渗透到千行百业,达到 " 应用奇点 ",最终迎来强 AI 的 " 技术奇点 "。而算力,无疑是这条 " 奇点之路 " 的路基。
这也是大模型在各种应用领網域加速落地,获取更多训练参数和数据的长期意义:AI 目前还在线上,但迟早会与物理世界连接。可以想象一下,如果一个基于 GPT-10 的 ChatGPT 与波士顿动力或特斯拉的人型机器人结合,会带来什么?
此逻辑并非假想。长期以来,如何令 AI 掌握常识并融会贯通地运用这些常识、形成推理能力,都是巨大的难题。但这次以 ChatGPT 为代表的大语言模型,突然就迈过这道 " 门槛 ",成为 " 史上第一个真正意义上的通用人工智能 "。
当然这背后的原因有很多,如自监督学习、Fine-tuning 策略等,但一个重要的底层变化就是 " 涌现 "(Emergent)现象。
大语言模型的涌现现象,在一定规模后迅速涌现出新能力;图片来源:谷歌、斯坦福、DeepMind:大型语言模型的涌现能力
就是说业界从未想象到的能力,例如基础社会知识、上下文学习(ICL)、推理(CoT)等等,在训练参数和数据量超过一定数值后,这些能力就突然出现了。
而人形机器人最主要的技术要点有两个,一个是机器人的本体,一个是机器人的大腦。前者的难点在于更高功率密度的驱动器,后者的难度就在于通用人工智能。
其实,早在去年 8 月谷歌就将大模型嵌入了机器人的大腦。今年伴随着多模态大模型的快速迭代,阿里、腾讯、微软、OpenAI 等多家中美大厂,都加大了该领網域的探索。
譬如在 4 月底,阿里云将千问大模型接入工业机器人可在钉钉远程指挥,腾讯 Robotics X 实验室也公布了机器人灵巧手 TRX-Hand 和机械臂 TRX-Arm。
值得注意的是,腾讯机械手臂拥有三个手指、7 个自由度,这与谷歌去年底推出的 RT-1 机器人自由度一致。但相比特斯拉 Optimus 使用 5 个手指,拥有 11 个自由度还是有所不足。
这倒不是说腾讯的技术能力不如特斯拉。机器人本身是一项综合性的技术,不仅对硬體有着极高要求,軟體算法也是机器人的核心要件,但更先进的算法需要更强的算力支撑。
英伟达 A100芯片的数量不足,可能已经影响到中国企业开展更先进算法的训练和推理。
据《财经十一人》报道,目前中国企业 GPU 芯片持有量超过 1 万枚的不超过 5 家,拥有 1 万枚 A100 的至多只有 1 家。且由于美国去年 8 月开始算力封锁,这些存货的剩余使用寿命约为 4-6 年。
相比之下,特斯拉依靠领先的算力平台 DOJO ( 使用了 1.4 万个英伟达的 GPU,含 2022 年最新更新后公布的 7360 块 A100 ) ,实际上构建了一个其他竞争对手难以企及的算力制高点。
在企业层面,另一个算力制高点是微软。其在 2020 年就与 OpenAI 合作,建成了一台号称世界前五,拥有超过 28.5 万个 CPU 核心、1 万个 GPU 的 E 级超算(每秒百亿亿次数学运算)。
去年 11 月份,微软又宣布与英伟达合作开发新型 AI 云端超算,据说将用到 " 数以万计 " 的 H100 和 A100。在 2023 财年 Q3 财报会上微软也表示,将继续投资于云基础设施,特别是与 AI 相关的支出。
02、六年发展,差距犹存
5 月 4 日,李彦宏在百度内部再次提起 " 与 OpenAI 差距 " 的问题,他称媒体报道的 " 大约是两个月 " 有点断章取义,因为后面紧接一句是:" 这两个月的差距我们要用多长时间才能赶上?也许很快,也许永远也赶不上。"
李彦宏 " 永远也赶不上 " 的考量,自然包括算力上的差距,至少目前看是如此。据外媒报道,OpenAI 已经使用了约 2.5 万个英伟达的 GPU。
所以,算力也决定 AI 技术王权的更迭。
马斯克也不满足。上个月有消息称其抢购了一万枚 A100,主攻大模型,再关联到特斯拉的智能汽车及寄予厚望的人型机器人,其对算力的需求近乎没有止境。
业内人士认为,随着 AI 技术的爆发和成熟,机器人发展将逐渐进入颠覆式阶段。但大模型不可能装进单体机器人大腦,它必须变成 " 云 " 大腦,通过在云、边、端分布式算法、算力和大数据,形成一个智能化的核心载体,这使机器人对算力更加依赖。
智能汽车,一样可以理解为汽车机器人,从智能座舱到自动驾驶都是 " 吃算力 " 的大户。
同时放眼宏观,这两个行业在 " 中国智造 " 的总体规划中,所占份量也自不待言。
仅人型机器人,据 Stratistics Market Research Consulting 预测,2035 年全球市场规模将达到 1520 亿美元;另据 SNE Research 日前发布的报告,2023 年全球电动汽车市场规模预计将增至 1210 亿美元。
也就是说,十余年后的人型机器人的市场规模,可能媲美今天的电动汽车。
为此 2021 年 12 月,工信部等多部门就印发了《" 十四五 " 机器人产业发展规划》;今年 1 月,工信部等十七个部门又发布了《" 机器人 +" 应用行动实施方案》;3 月初,工信部相关负责人表示,将加快布局人形机器人、元宇宙、量子科技等前沿领網域。
从中长期看,在国家政策扶持下,国产机器人乃至数字化产业各细分领網域,都有望具备国际竞争力。但短期来看,这些领網域所必须的智能算力,依然是掣肘因素。
算力分为三类,即通用算力、智能算力、超算算力。一般产业数字化的场景通用算力就可满足,天体物理、航空航天等复杂运算则需要超算算力,AI 应用及模型的训练和推理,对应的是智算算力。
智算,又称异构计算,相对于只用 CPU 的通用计算,在伺服器里 CPU+GPU 就是异构计算,当然也可以根据应用范围采用不同的组合方式,如 CPU + TPU、CPU+FPGA 等。
从中国算力发展史看,最早可以追溯到中国首台超算 " 银河一号 " 诞生的 1983 年;2009 — 2011 年,阿里、腾讯、华为先后入局云计算,是中国企业探索算力的起点。
2017 年,国家发布了《新一代人工智能发展规划》,这一年是 AI 商业化应用的元年,也是中国智能算力发展的元年。
从彼时起,通用算力占比开始下降,智能算力占比开始逐渐增长。
中国信通院数据显示,2016 年智能算力在中国算力中的占比仅为 3%, 到 2021 年占比已经超过通用算力,达到 51%。
另据 IDC、清华全球产业院于 2022 年 3 月联合发布的报告,过去 5 年中国 AI 计算首次超越美国成为全球第一,AI 伺服器支出规模同比增长 44.5%。
但必须指出的是," 智能算力占比超过通用算力 ","AI 计算首次超越美国 " 的结论,都是基于 AI 伺服器出货量测算,并不是实际在用的数据。
在用数据如何呢?中国信通院的公开数据表明:截至 2022 年底,全国在用数据中心机架总规模超过 650 万标准机架,算力总规模达到 180EFLOPS,近五年年均增速超过了 25%,位居全球第二,存力总规模超过 1000 EB。当前的算力规模中,有超过 20% 的算力是智能算力。
《中国算力指数发展白皮书(2022)》也显示,中、美在全球算力规模中的份额分别为 33%、34%,其中通用算力份额分别为 26%、37%,智能算力分别为 28%、45%,超级算力分别为 18%、48%。
经过六年的发展,中、美总算力规模近乎持平,通用算力差距也在不断缩小,但智能算力、超级算力差距依然很大。
03、破笼解锁,关键挑战
智能算力不足,已经严重制约了我国在 AI 领網域的创新能力,成为算力增长下的 " 隐伤 "。
这一点也一直被业内人士所忧虑。如王恩东院士在 2021 年接受采访时就曾提到:" 虽然目前无法具体统计 AI 算力缺口数据,但中国正在加速数字化转型 "。
言犹在耳,这一轮大模型引发的算力需求井喷,令 " 隐伤 " 再次放大。
其实国家对算力发展一向重视。2020 年 4 月,国家发改委明确新基建的范围包含以智能计算中心为代表的算力基础设施,算力供给基建化自此成为趋势。
2021 年 5 月,《全国一体化大数据中心协同创新体系算力枢纽实施方案》颁布,提出布局全国算力网络枢纽 节点;2022 年 2 月 ,国家发改委等部门同意在京津冀、长三角等 8 地启动国家算力枢纽节点建设," 东数西算 " 工程全面启动。
据至顶智库统计,截至 2023 年 2 月,全国投入运营、在建的人工智能计算中心达 23 个,其中上海成为首家智算超算双中心。从合作方来看,华为、腾讯、百度等大厂都在积极参与。
智能算力规模也成倍增长。
中国信通院数据显示,2016-2021 年 6 年间,AI 伺服器累计出货量超过 50 万台,其中 2021 年就达到 23 万台;另据 TrendForce 数据,2022 年全球 AI 伺服器采购量中,Google、AWS、Meta、Microsoft 合计占比 66.2%,字节、腾讯、阿里、百度的采购占比分别为 6%、2.3%、1.5%、1.5%。
AI 芯片目前以 GPU 为主。IDC 数据显示,国内 GPU 伺服器在 2021 年占国内伺服器市场规模的比例超过 88.4%,英伟达的产品占比超 80%。
问题来了,AI 伺服器通常需要 4 枚 -8 枚 GPU,仅以 2021 年的出货量按最低配置计算,需要至少近 65 万枚英伟达 GPU。但在美国 2022 年 8 月开始的算力封锁下,之后的订单从何而来?至少也是缩水版。
这也是中国 " 破笼解锁 ",做强做大算力产业的关键挑战。
一位国内云计算从业人士表示," 在封锁背景下国产替代势在必行,但过程注定艰难 "," 尤其是制程工艺的限制,美国去年限制是互联带宽超过 600G,算力超过 600T 的产品,不能使用台积电的先进代工工艺 "。
该人士解释到:" 就是国内产品不能超过 A100 的规格,否则不能使用 7nm 或者 5nm 的生产工艺 "," 目前国内有 7nm 产品的只有中芯国际,但从成熟度和产品产能上都和台积电有差距 "。
不过这位人士认为,即使有差距,国内公司也会陆续通过中芯国际的生产工艺去生产相关芯片,并通过 chiplet 等先进的封装工艺将多个 7nm 芯片高速互联,实现算力的提升。
实际上,高性能计算芯片也不止 GPU 这个处理架构。如像寒武纪的 ASIC 和 GPU 是同样的应用场景,只是技术架构不一样。而算力芯片,不光只有 GPU,也包含 ASIC、FPGA 芯片。
因此业界认为,美国封锁其实有利于国内厂商,如海光信息、寒武纪等获得更多市场份额,从而加速国产替代进程。另外,随着大模型部署成熟,对性能要求稍低的推理芯片的占比将日益提升,也有益于国产 AI 芯片占比提升。
同时英伟达中国市场特供产品 A800、H800, 虽然性能有所缩水,但在一定程度上缓解了眼下算力供给的压力,给自主替代留下了缓冲时间。
资料来源:公开信息
当下,H800 正在被阿里、腾讯、百度等大厂云计算部门使用。如腾讯云发布的面向大模型训练的新一代 HCC 高性能计算集群,就全面搭载了 H800,互联带宽达到了目前业界最高的 3.2T。
从长远来看,据国家信息中心,未来 80% 的场景都将基于人工智能,算力主要由智算中心提供。所以,坚持算力国产化 , 才能最终破局。
为此,今年 3 月科技部颁布了 " 公共算力平台的建设指引 ",要求在公共算力平台中,自主研发芯片所提供的算力标称值占比不低于 60%,国产开发框架使用率不低于 60%。
从 AI 伺服器产业链看,浪潮、联想、新华三等国内厂商的产品已经占到全球市场 30% 以上的份额;支撑伺服器的基础軟體环节,像阿里、腾讯、百度的作業系統,也都是基于开源自主研发;数据库方面,集中式数据库国外品牌占据了市场份额 90% 以上,但分布式数据库国内外已经基本相当。
所以,制约中国算力发展的主要瓶颈,还是以 CPUGPU 为代表的芯片短板,英特尔、英伟达在国内还占据着较高的市场份额,ChatGPT 大模型 +CPUGPU 芯片的技术垄断新联盟也初步形成。
因此,如果说 " 智算中心被纳入新基建 " 是新计算时代的算力突围,如今两年过去了,这场突围战再次打响,或从未结束。这是一场硬仗。
更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体 App