今天小编分享的科技经验:华为昇腾计算业务CTO周斌:没有强大的算力底座,大模型就没有根,欢迎阅读。
ChatGPT 的走红带火了大模型赛道,国内 AI 大模型也迅速升温。包括百度、阿里、华为、京东等在内,有统计数据显示,目前国内至少已经有 30 多家大模型亮相。然而大模型 " 英雄谁属 " 尚未揭晓,作为 AI" 三驾马车 " 之一的算力领網域却率先掀起了一轮争夺战。在 5 月 26 日的中关村论坛上,对于人工智能时代的算力发展,华为昇腾计算业务 CTO 周斌给出了他的答案。
Q:在人工智能时代,算力是一个怎样的存在?
A:对于 ChatGPT,圈内常常调侃为 " 大力出奇迹 ",这个 " 力 " 即为工程化能力,最直观的体现就是算力,这是孵育或者训练大模型的基础能力。从这一点上来说,我们需要提供的就是一个非常强大的算力底座,否则上面的大模型就会 " 没有根 "。
目前华为已经为全国 20 多座城市提供了基于昇腾 AI 的算力基础设施,并提供了从模型开发、微调适配、推理部署的全流程軟體使能,来支持大模型的建设。
那么人工智能时代,我们需要一个怎样的 AI 算力系统?未来人工智能的计算系统很可能会成为新的基础设施,人工智能如果无处不在,算力的基础设施也会变得无处不在,对于这样一种基础设施,自然需要它稳定、可靠、安全、高效。
安全毋庸置疑,未来大模型会成为大量业务系统的核心,一定要确保模型本身的安全,包括数据的安全性等在内。其次要保证高效,大模型要消耗大量能源,提高它的效能就是很重要的一个方面。另外大模型的运行时间通常以 " 月 " 为部門计算,这也要求模型在全生命周期里,整个系统要非常可靠。
Q:国产大模型的爆发让算力出现了明显的缺口,您认为技术领網域有哪些做法可以有效填补这种缺口?
A:不同于每隔 18 个月算力需求增长一倍的摩尔定律,人工智能时代,业内有一个新定律:大约每隔 4 个月,AI 的计算需求就会翻倍,我们将其称为 AI 的算力增长曲线。单机系统时代可以通过一些暴力手段拉升算力规模,但人工智能时代,对我们提出的要求就是要以系统化的方式来解决算力的需求,我们有非常多的基础軟體需要创新。
例如从计算架构上,人工智能大量使用的张量计算与传统的计算模式是不同的,基础的计算架构就要围绕张量计算的内核开展创新,比如如何在精算精度和计算位数等方面加大创新,更好地加速张量计算,从而保障算力需求。
另一方面,可以在分布式集群系统上下功夫,目前有一种说法是 AI Super Computer,除计算单元外,人工智能超级计算机包含的必然也有大量的存储,这种存储空间是分层次的,以大模型为例,包括内存空间,语料存储空间,云上存储空间等,侧重的是分布式互联的能力。
总结起来就是,跟进大模型的算力需求增长,需要分布式的大规模人工智能并行训练,在这其中,有非常多的计算节点,他们共同朝同一个任务前进。这些节点可能分布在非常多的物理机构上,这些机构之间如何达到互联和统一调度,也是非常重要的一点。
Q:在应用层面,未来人工智能的落地方向或热点会是什么?
A:在千行百业,人工智能都有非常大的落地前景,其中最明显的就是互联网行业,目前人们已经能够享受新一代人工智能带来的红利了,每当我们打开手机上网的时候,背后都有大量的人工智能系统做支撑。另外在金融领網域,人工智能也在大规模落地,帮助企业更好地服务客户,提升运行效率,防范风险等。此外,包括自动驾驶、教育甚至是制造业在内,新一代人工智能都会成为非常重要的生产力工具,赋能各行各业,提升整体水平。
Q:企业争相入局,国内也出现了 " 百模大战 " 的盛况。您认为中国做大模型有何优势?
A:首先," 多 " 本身就是我们的一个优势,或者说我们有集中力量办大事的优势,可以让更多的资源投入其中。当然这种资源不是无序和混乱的,而是有一定程度的协同和监管,通过这样一种方式,我们就可以在短期内集合更大的力量攻克难关。
" 多 " 的另一个层面在于应用场景,也就是说场景方面的优势。大模型的突破瓶頸是持续进行的,一些阶段性的成果已经显现,比如具体的领網域甚至通用领網域出现了一些效果不错的模型,且这些模型还在持续演进。我认为应用场景会拉动对大模型的研究,因为大模型要发挥价值,必须要与场景结合,而我们的优势就在于场景非常多,再加上我们的重视程度大,从国家层面集中力量推进,就可以推动其快速地在行业中应用起来。
一旦大模型产生了价值,就会形成一个正向的飞轮,进而驱动模型的研究。而模型研究的价值又会在应用里面获得正向增益,这个飞轮一旦启动,就会不可阻挡,迅速在各行各业产生更多的价值。
Q:开源被认为是人工智能发展的一大趋势,算力领網域的开源生态是如何打造的?
A:开源和开放是我们秉持的一个基本理念。算力是一个很抽象的概念,它必须依托于特定的软硬體体系。以华为昇腾为例,就是用来构建算力底座基础的软硬體体系,包括我们自己的计算系统、加速卡、伺服器、大规模的人工智能集群等,这些物理形态要通过一定的手段开放出来给业界使用,具体包括向底层开放的 Ascend C 语言、加速库、API 以及作業系統等。
在上层还有非常多的基础軟體,比如人工智能框架,和不同行业中的大模型套件等,我们也都大量采用了开放的方式,直接开放给整个社区。
算力基础一定是要开放出来的,未来算力一定会变成水电一样重要的生产资源,要把它变成一个人人都可以享有的成果,让大家都能够通过算力受益。
北京商报记者 杨月涵