今天小編分享的科學經驗:阿裡雲不再把開發大模型當OKR,MaaS第一階段競争結束了,歡迎閱讀。
這兩天,一段大模型生成的高清視頻合集在網上爆火。
無論是神秘的克蘇魯、還是海底生物藍汪汪的大眼珠子,AI 的 " 想象力 " 簡直讓網友們欲(san)罷(值)不(狂)能(掉)。
最關鍵的是,這段視頻的分辨率達到了前所未有的1024 × 576!
高清還絲滑流暢,背後模型ZeroScope憑借生成效果,在推特和 Reddit 上狂刷熱度。
火到特斯拉前 AI 總監 Andrej Karpathy 也來 " 哇哦 ~" 了一波。
我們扒了扒,發現這個驚豔四座的 ZeroScope,核心框架來自一個國内中文社區上的開源大模型。
它名為 text-to-video-synthesis(文本生成視頻大模型),17 億參數,由阿裡達摩院提供。
只需輸入文本描述,就能 get 對應的流暢視頻。
也就是說,咱國產社區的開源模型,熱度橫掃中外社交平台。
更神奇的是,ZeroScope 不按套路出牌,它沒有用這個基礎大模型的名字命名,而是選擇了社區名字 ModelScope 裡的 "Scope"。
這究竟是個什麼樣的社區?
解答這個問題,就得追本溯源,到原教旨社區裡面一探究竟——
國產熱門大模型 " 聚集地 "
ModelScope,中文名 " 魔搭 " 社區,同樣由阿裡成立,是國内最大的 AI 模型社區。
這個社區所有的功能和服務,統統以模型開發為中心展開。
現在的魔搭社區裡,爆火的 ZeroScope 大模型 " 原型 " 只是其中之一。
社區初成立就光速上線 300+ 機器學習模型,更是有 10 多個國產大模型選擇在這裡開源;
時至今日,魔搭社區已經聚集了 900 多個 AI 模型,開源的大模型數量也達到了30 多個。
再拉出社區貢獻者名單一看,好家夥,全是國内熱門大模型玩家,譬如智譜 AI、瀾舟科技、百川智能、IDEA 研究院、清華 TSAIL 等等。
且不說明星企業們,普通 AI 開發者就有超過 180 萬在魔搭社區愉快玩耍。
之所以稱體驗為 " 愉快 ",一方面是因為所有的模型生產者都可以在魔搭社區上傳模型,對模型技術能力進行驗證。
如果有需要,還能和社區共建者們一起探讨和摸索模型的應用場景,產品化或商業化落地模式,也能探究一二。
另一方面,魔搭社區背後還有阿裡雲的模型服務靈積,能夠提供一站式的模型 API 門戶。
無論是阿裡自研的大模型通義千問,還是 ChatGLM v2、百川大模型、姜子牙、Dolly 等大模型,都已經可以通過靈積一鍵調用。
利用它,開發者很方便就能調用各種雲上模型,不僅集成到自己的應用中時無需再費大力氣,甚至訓練微調大模型這種事情,都可以通過數行代碼搞定。
雖然已經很方便了,但魔搭社區還希望大家夥使用大模型時,門檻能更低。
在世界人工智能大會 WAIC 的主題論壇《MaaS:以模型為中心的 AI 開發新範式》上,阿裡雲宣布,為了更好地與個人和企業開發者一起探索探索應用和商業場景,将正式推出魔搭大模型調用工具 ModelScopeGPT。
所謂大模型調用工具,常以 Agent(智能代理)的名字出現,此前最出圈的當屬 AutoGPT 和 HuggingGPT。
這類工具的最大亮點在于 " 自動完成各種復雜任務 ",用戶只需以自然語言提出需求,它們就能調用各種資源搞定任務。
阿裡雲首席技術官周靖人直言:
我們需要 Agent,用它理解基礎模型之外的工具,更重要的是更有效地調用這些工具。
具體到 ModelScopeGPT 身上,它能在接受自然語言指令後,将任務拆解為具體的細分步驟,而後通過阿裡雲通義千問大模型作為 " 中樞模型 ",自動生成代碼,調用魔搭社區裡作為 " 任務模型 " 的其它 AI 模型。
通過協同,融合各種模型的各種能力,完成復雜指令。
簡單來說,用 ModelScopeGPT,只需要極小的技術投入,就能實現文本、語音、圖頻、視頻等多個模态能力的調用,提升專用領網域模型表現,一個人達到一個公司的生產力。
據了解,這是國内推出的首個智能工具,目前具備完成單一任務、復合任務、多 API 規劃調用、多輪對話 API 調用,模型知識問答等能力。
更重要的是,相比 AutoGPT、HuggingGPT,無論是對話輸入還是調用模型,ModelScopeGPT 都以中文為主。
可以說是更适合中國開發者體質的機器學習工具了(手動狗頭)。
不過,魔搭社區為何能順利運轉起來,甚至于吸引上百萬 AI 開發者使用?
進一步地,它又何以成為不少國產大模型賽道核心玩家開源大模型的 " 聚集地 "?
" 這是大模型計劃的一部分 "
背後原因,或許可以追溯到阿裡雲的 " 大模型生态計劃 " —— MaaS(模型即服務)。
讓開發者們自由讨論的魔搭社區,只是阿裡雲以 MaaS 為核心構造的大模型生态的一個維度。
在 MaaS 中,不僅有魔搭社區這樣的開發者生态層,更重要的是還有提升大模型訓練穩定性、提供模型調用等服務的AI 平台層,以及提供核心算力的基礎設施層。
開發者生态層:魔搭社區
AI 平台層:PAI 機器學習平台、靈積模型服務
基礎設施層:靈駿智算集群
如果說開發者生态加速了大模型時代的到來,那麼 AI 平台層和基礎設施層,就像是大模型時代的 " 水電煤 " 一樣,提供了這一技術發展最根本的動力。
這也是不少大模型開發者選擇将模型部署在阿裡雲靈積平台和魔搭社區的原因。
一方面,在基礎設施層,阿裡雲擁有當前國内 TOP 級的智能算力儲備。
阿裡雲的靈駿智算集群,支持最高 10 萬張卡的 GPU 規模,自研的高速 RDMA 鏈路達 3.2Tbps,網絡最低時延 1.5 μ s,并行存儲吞吐量可達 20TB/s。
簡單來說,即使是多個萬億參數大模型同時在阿裡雲上訓練,對硬體設施而言也沒有什麼壓力。
不僅如此,在數據安全上,除了基于可信計算和機密計算技術推出業内首個基于 SGX2.0 和 TPM 的虛拟化實例以外,阿裡雲還基于 TPM、VTPM、虛拟化 Enclave 等技術,構建了基于神龍安全芯片的全隔離、高可信的計算環境,完美消除了企業對模型安全隐患的顧慮。
但如何将這麼多的算力最大化利用,同時進一步簡化模型的使用方式,對于雲計算廠商而言又是一大考驗。
另一方面,在 AI 平台層,阿裡雲還提供了對應的平台來實現軟硬體加速服務和模型服務。
軟硬體加速服務,即 PAI 機器學習平台,就能用來提升 AI 開發和 AI 資源管理的效率。
PAI 和靈駿智算集群,二者加起來共同構成了一個高性能、分布式的智能計算平台,相當于對軟硬體進行了一個協同。它一共分為三大框架:高性能訓練框架、高性能推理框架和全托管平台。
先來看看高性能訓練框架。具體來說,它的可訓練模型參數規模,最高能達到 10 萬億,能将訓練性能最高提升 10 倍。
同時,在單任務需要多個 GPU 的情況下,訓練效率幾乎不會降低。
要知道,硬體數量增多,并不意味着算力也能 1+1>2,這種時候就非常考驗分布式計算的技術。
基于 PAI × 靈駿智算平台,即使單個訓練任務所需的硬體規模從千卡增加到 1 萬張卡,性能也幾乎還是 " 直線 " 上升,其線性擴展效率達到 92%。
而在高性能推理框架上,推理效率提升更是最高能提升 6 倍。
平台提供的推理加速服務,不僅能自動地做模型剪枝、量化、蒸餾和網絡結構搜索,還能在性能基本無損的情況下,将大模型推理性能提升 3.5 倍。
至于全托管平台,則可以理解為是一個更好用的開發平台,包含無伺服器架構、工程化和穩定三大特征,可以實現自動化運維、兼容多種框架及計算資源、智能容錯和節點自愈等功能。
目前,這三大平台已經全面開啟商用。
模型服務,就是前面提到的一站式服務平台靈積了,不僅能為開發者提供靈活、易用的大模型 API 接口,還能與平台底座很好地 " 結合 ",進一步提升推理和訓練的效率。
然而,阿裡雲并非沒有自己的大模型,已經推出的 " 通義 " 系列就是例證。
最早推出的大語言模型通義千問,如今申請用戶已經超過 30 萬,深度合作企業更是超過 100 家;而推出僅一個月的音視頻助手通義聽悟,處理的音視頻時長已經超過 5 萬小時,文字處理量更是已經達到 8 億多字。
除了通義千問和通義聽悟以外,在這次 WAIC 大會論壇上,阿裡雲還發布了名為通義萬相的 AI 繪畫創作模型,包含文生圖、風格遷移和相似圖生成功能,目前已經開放邀測。
既然如此,為何還要将大模型開發集成為一整套裝務MaaS開放給行業使用,培養更多 " 大模型競争者 "?
周靖人在 WAIC 大會接受采訪時回應稱,阿裡雲并不扮演 " 大模型開發者 " 的角色:
不是所有業務開發者或企業都有能力做模型。為此,我們打造了自己的通義模型系列,幫助這些開發者和企業享受到大模型帶來的一系列技術優勢,快速轉化成業務價值。
但我們的主要目标不是做模型和開發者,而是服務好雲上的開發者和企業。這樣,擁有不同技術層次的開發者和企業,都能享受到 AI 時代的技術。
也就是說,無論是通義大模型系列,還是由魔搭社區、靈積模型服務、PAI 機器學習平台、靈駿智算集群組成的一系列模型開發服務,本質上都是" 阿裡雲大模型生态計劃的一部分 "。
阿裡雲認為,人工智能時代才剛剛看到發展的起點。也正是因此,MaaS 還會蓬勃發展,更多企業和開發者也會在這種生态中實現自己的價值,實現更多商業化落地。
正是因此,阿裡雲才會把促進中國大模型生态的繁榮作為首要目标,以雲服務商身份,開放技術、工具、經驗,降低大模型門檻。周靖人表示:
對于今天模型的創新者,我們非常支持,也希望他們成功,我們會為他們創造的模型提供堅實的平台基礎。
因此,除了向大模型創業公司提供全方位雲服務以外,阿裡雲也會在資金和商業化探索方面提供充分支持。
不僅如此,以 MaaS 為核心的大模型生态,還會反過來重塑雲產品的設計。
MaaS 新範式:大模型決定走多快,生态決定走多遠
但即便都說 MaaS 在重塑雲計算、MaaS 改變了雲計算遊戲規則,當前大部分企業的關注度,似乎也仍然集中在大模型本身。
從整個行業的角度來看,為何阿裡雲要在這個變革浪潮中,花這麼大的資源和心力在大模型的生态建設上?
目前來看,大模型給雲計算帶來的影響,主要可以分為兩個階段。
由這兩個階段的進展來看,雖然大模型決定了雲計算新範式 MaaS 的速度,但生态決定了真正能走多遠。
第一階段,市場上的大模型是 " 有 " 和 " 沒有 " 的區别,核心是用得上。
OpenAI 最早推出了 ChatGPT,成為大模型領網域的 " 規則改變者 ",本質上是率先推出了一項前沿技術,并占領了市場話語權。
對于後續緊随潮流的企業們而言,能否在這一階段取得優勢,關鍵還是看接入業務的時間、速度的快慢。
畢竟在這個階段,比拼的還是有沒有大模型,企業只要越早突破技術瓶頸、用上大模型,就越能在應用生态市場上占據話語權,吸引更大的市場。
第二階段,大模型已經層出不窮,市場門檻也開始降低,對應的模型服務開始進入用戶視野。
從這個階段開始,大模型能力供應的穩定性(用戶數量激增,是否會導致伺服器宕機)、大模型數量的豐富度、大模型種類的多樣性,都會開始成為雲廠商新的比拼點,也會成為企業選擇大模型服務的參考。
同時,在大模型這一賽道上,從來就不是 " 後來者居上 "。
只有越豐富的供應,才能帶來越多的客戶;更多的客戶,才能在數據反饋中幫助精進和迭代,從而產生 " 飛輪效應 "。
如長期在機器學習模型有積累的社區 Hugging Face,就基于社區已有的開源模型推出了 HuggingGPT,以一個大模型調用多個 AI 模型的方式,迅速将長期積累的模型生态轉變成更大的行業影響力。
這個階段開始,生态的作用就會顯現。
而這也是為什麼構建一個生态,決定了 MaaS 的高度。
但無論處在哪個階段,最核心的是,大模型依然是一個成本高昂的新事物。
不論在研發、迭代還是使用階段,大模型都是一個消耗資源巨大、使用成本也不低的 " 奢侈品 "。
所以只有構建一個生态,才能真正通過規模效應降低成本、幫助迭代精進,最後實現大模型和 MaaS 真正的商業可持續,這更需要生态。
所以真正重視大模型,真正重視 MaaS 的玩家,一定會不遺餘力打造生态。
MaaS 新範式的遊戲規則中,大模型決定了一開始走多快,生态決定了最後走多遠。
— 完 —
點這裡關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>