今天小編分享的科技經驗:華為昇騰計算業務CTO周斌:沒有強大的算力底座,大模型就沒有根,歡迎閱讀。
ChatGPT 的走紅帶火了大模型賽道,國内 AI 大模型也迅速升溫。包括百度、阿裡、華為、京東等在内,有統計數據顯示,目前國内至少已經有 30 多家大模型亮相。然而大模型 " 英雄誰屬 " 尚未揭曉,作為 AI" 三駕馬車 " 之一的算力領網域卻率先掀起了一輪争奪戰。在 5 月 26 日的中關村論壇上,對于人工智能時代的算力發展,華為昇騰計算業務 CTO 周斌給出了他的答案。
Q:在人工智能時代,算力是一個怎樣的存在?
A:對于 ChatGPT,圈内常常調侃為 " 大力出奇迹 ",這個 " 力 " 即為工程化能力,最直觀的體現就是算力,這是孵育或者訓練大模型的基礎能力。從這一點上來說,我們需要提供的就是一個非常強大的算力底座,否則上面的大模型就會 " 沒有根 "。
目前華為已經為全國 20 多座城市提供了基于昇騰 AI 的算力基礎設施,并提供了從模型開發、微調适配、推理部署的全流程軟體使能,來支持大模型的建設。
那麼人工智能時代,我們需要一個怎樣的 AI 算力系統?未來人工智能的計算系統很可能會成為新的基礎設施,人工智能如果無處不在,算力的基礎設施也會變得無處不在,對于這樣一種基礎設施,自然需要它穩定、可靠、安全、高效。
安全毋庸置疑,未來大模型會成為大量業務系統的核心,一定要确保模型本身的安全,包括數據的安全性等在内。其次要保證高效,大模型要消耗大量能源,提高它的效能就是很重要的一個方面。另外大模型的運行時間通常以 " 月 " 為部門計算,這也要求模型在全生命周期裡,整個系統要非常可靠。
Q:國產大模型的爆發讓算力出現了明顯的缺口,您認為技術領網域有哪些做法可以有效填補這種缺口?
A:不同于每隔 18 個月算力需求增長一倍的摩爾定律,人工智能時代,業内有一個新定律:大約每隔 4 個月,AI 的計算需求就會翻倍,我們将其稱為 AI 的算力增長曲線。單機系統時代可以通過一些暴力手段拉升算力規模,但人工智能時代,對我們提出的要求就是要以系統化的方式來解決算力的需求,我們有非常多的基礎軟體需要創新。
例如從計算架構上,人工智能大量使用的張量計算與傳統的計算模式是不同的,基礎的計算架構就要圍繞張量計算的内核開展創新,比如如何在精算精度和計算位數等方面加大創新,更好地加速張量計算,從而保障算力需求。
另一方面,可以在分布式集群系統上下功夫,目前有一種說法是 AI Super Computer,除計算單元外,人工智能超級計算機包含的必然也有大量的存儲,這種存儲空間是分層次的,以大模型為例,包括内存空間,語料存儲空間,雲上存儲空間等,側重的是分布式互聯的能力。
總結起來就是,跟進大模型的算力需求增長,需要分布式的大規模人工智能并行訓練,在這其中,有非常多的計算節點,他們共同朝同一個任務前進。這些節點可能分布在非常多的物理機構上,這些機構之間如何達到互聯和統一調度,也是非常重要的一點。
Q:在應用層面,未來人工智能的落地方向或熱點會是什麼?
A:在千行百業,人工智能都有非常大的落地前景,其中最明顯的就是互聯網行業,目前人們已經能夠享受新一代人工智能帶來的紅利了,每當我們打開手機上網的時候,背後都有大量的人工智能系統做支撐。另外在金融領網域,人工智能也在大規模落地,幫助企業更好地服務客戶,提升運行效率,防範風險等。此外,包括自動駕駛、教育甚至是制造業在内,新一代人工智能都會成為非常重要的生產力工具,賦能各行各業,提升整體水平。
Q:企業争相入局,國内也出現了 " 百模大戰 " 的盛況。您認為中國做大模型有何優勢?
A:首先," 多 " 本身就是我們的一個優勢,或者說我們有集中力量辦大事的優勢,可以讓更多的資源投入其中。當然這種資源不是無序和混亂的,而是有一定程度的協同和監管,通過這樣一種方式,我們就可以在短期内集合更大的力量攻克難關。
" 多 " 的另一個層面在于應用場景,也就是說場景方面的優勢。大模型的突破瓶頸是持續進行的,一些階段性的成果已經顯現,比如具體的領網域甚至通用領網域出現了一些效果不錯的模型,且這些模型還在持續演進。我認為應用場景會拉動對大模型的研究,因為大模型要發揮價值,必須要與場景結合,而我們的優勢就在于場景非常多,再加上我們的重視程度大,從國家層面集中力量推進,就可以推動其快速地在行業中應用起來。
一旦大模型產生了價值,就會形成一個正向的飛輪,進而驅動模型的研究。而模型研究的價值又會在應用裡面獲得正向增益,這個飛輪一旦啟動,就會不可阻擋,迅速在各行各業產生更多的價值。
Q:開源被認為是人工智能發展的一大趨勢,算力領網域的開源生态是如何打造的?
A:開源和開放是我們秉持的一個基本理念。算力是一個很抽象的概念,它必須依托于特定的軟硬體體系。以華為昇騰為例,就是用來構建算力底座基礎的軟硬體體系,包括我們自己的計算系統、加速卡、伺服器、大規模的人工智能集群等,這些物理形态要通過一定的手段開放出來給業界使用,具體包括向底層開放的 Ascend C 語言、加速庫、API 以及作業系統等。
在上層還有非常多的基礎軟體,比如人工智能框架,和不同行業中的大模型套件等,我們也都大量采用了開放的方式,直接開放給整個社區。
算力基礎一定是要開放出來的,未來算力一定會變成水電一樣重要的生產資源,要把它變成一個人人都可以享有的成果,讓大家都能夠通過算力受益。
北京商報記者 楊月涵