今天小編分享的科學經驗:昇思之路,從AI基礎軟體到生态繁花,歡迎閱讀。
在今年兩會政府工作報告中,明确提出了深化大數據、人工智能等研發應用,開展 " 人工智能 +" 行動,打造具有國際競争力的數字產業集群。伴随着 " 人工智能 +" 首次被寫入政府工作報告,各個行業、各個領網域競相展開了對 AI 技術的探索與追尋,AI 技術的發展熱情達到了全新高度。
在目前階段,AI 技術是發展新質生產力的重要引擎,已經成為社會各界的高度共識。而如何讓 AI 技術源源不斷導入各個生產場景,成為產業界、學術界的發展源動力,也就成為最受關注的話題。
這裡我們必須看到,任何技術的普遍發展都離不開技術的茁壯成長。比如 " 互聯網 +" 時代的到來,離不開 IP 網絡等技術,以及社會化的網絡基礎設施建設。" 人工智能 +" 行動的開展,也有賴于多種新型 AI 基礎設施的建設。其中在軟體層面,最為重要的一項就是 AI 框架。
AI 框架是大模型的軟體底座,是各行業、各領網域接觸人工智能技術、開發大模型的第一站,也是推動產業智能化發展的核心力量。AI 框架如何面向新時代,新任務長足發展?如何将框架的技術能力轉化為產學應用的行動力、生态發展的凝聚力?這些問題在今天都迫切需要答案。
近日,以 " 為智而昇,思創之源 " 為主題的昇思人工智能框架峰會 2024 在北京國家會議中心舉辦。會上公布了全新更新的昇思 MindSpore 2.3 版本,并展示了昇思在產學應用,生态賦能多方面的最新進展。
如何打通一條從技術領先,到深入產學應用,賦能生态加速發展的 AI 之路?
在這場峰會中,昇思已經給出了自己的答案。
降本增效築通道
如何提升 AI 源動力?
所謂 AI 之路,應該是一條将底層技術高效引申到上層應用、開發生态當中,從而讓社會經濟各個層面從基礎技術中汲取營養的道路。只有這條路通暢、便捷、低成本,AI 技術才能全面開花結果," 人工智能 +" 行動才能夠價值最大化。
而在目前階段,想要實現這樣的 AI 之路還面臨着一系列挑戰。技術與產業經濟、學術研究、開發者生态之間還存在卡點和堵點。比如大模型開發成本大,難度高,各行業、各領網域還難以完全掌握,再比如一些專業性強,較為復雜的領網域還無法實現技術的深層滲透。總體而言,想要将 AI 技術變為社會經濟發展的源動力,需要從三個層面來進行更新:
1. 底座層。需要實現大模型訓練效率更高,推理部署成本更低且全面提升開發易用性,實現訓推能力全面更新,開發效率全面提升。而這尤其需要深度學習開發框架的更新與發展,在訓練、推理與開發工具等方面實現持續進化。
2. 應用層。AI 技術需要與行業場景、科研領網域進行深刻互動,實現人工智能技術與行業專精知識的立體結合,使能行業智能化更新,從而拓展 AI 技術的應用邊界,提升場景化復制能力。尤其在 AI for Science 等關鍵領網域,需要 AI 技術與基礎學科研究者緊密配合、共同探索。
3. 生态層。AI 技術就像其他軟體技術一樣,沒有生态不成規模,生态繁榮能達到技術越用越好的效果。而生态發展需要技術平台與產學研用各界以及無數開發者的有效互動,持續賦能。
由此可見,AI 技術成為社會經濟發展的源動力,需要構築一條從底層技術到產學應用,再到生态賦能的完整通道。而這,也正是昇思正在踐行的 AI 之路。
AI 框架
昇思 MindSpore 2.3 全新更新
首先一個問題,是如何讓 AI 技術持續創新,滿足產學各界對 AI 基礎軟體的期待和要求。
在這方面,昇思不斷精進。在訓練、推理以及模型開發等方面實現立體化、協同化的能力更新。這一思路充分體現在了最新發布的昇思 MindSpore 2.3 版本當中。通過一系列更新,昇思讓大模型開發訓練更簡、更穩、更高效。
在訓練方面,昇思可以支撐大模型實現原生高效訓練。通過原創的多副本、多流水交織等 8 種并行技術,使集群線性度達到 90%,遠遠超過了業界不足 60% 的平均水平;通過整圖優化及下沉執行等,使得算力利用率達到 55%,大幅超越了業界不足 40% 的平均水準;針對集群故障率高,恢復時間長的普遍問題,通過編譯快照,昇思通過确定性 CKPT 技術實現 20 分鍾完成故障恢復。
在今天的大模型時代,大規模集群化的模型訓練已經成了業界的最大痛點。昇思通過一系列基礎能力的更新,全方位破解了集群線性度、AI 算力利用效率、訓練故障恢復等核心難題,讓大模型訓練不再充滿挑戰。
而在部署方面,昇思通過訓推一體的架構更新腳本、分布式策略,以及運行時的統一,讓 Baichuan2-13B 推理部署在 1 天内就可以完成;在大模型推理上,通過 LLM Serving 實現推理吞吐提升 2 倍多;通過更新模型壓縮工具金箍棒 2.0,實現千億大模型壓縮至十倍。這些能力确保了 AI 大模型不僅可訓練,還能夠順利推理應用,打通了 AI 落地的最後一公裡。
除此之外,昇思還通過持續更新 MindSpore TransFormers 大模型套件,提供 MindSpore One 生成式套件等方式,全面提升開發者效率,讓開發者一周即可完成大模型全流程的開發。在重點的 AI for Science 領網域,昇思聯合頂級科研機構和夥伴打造了 AI 生物計算套件,包含蛋白質結構預測、生成等 20 多個 SOTA 模型,加速相關領網域的科學創新。
從訓練到推理,再到一系列開發套件的更新,昇思持續深耕 AI 技術,讓 AI 基礎能力穩固發展。
只有基礎軟體技術能夠源源不斷提供養分,才能實現 AI 應用發芽,AI 生态開花。
產學應用之芽
以昇思構築 AI for Science 新範式
夯實了 AI 底座技術之後,需要将技術能力與應用場景進行深入結合。尤其是在復雜、關鍵的領網域,比如 AI for Science 當中,更需要 AI 技術與科研工作進行跨越式探索,以此讓 AI 框架在無數個行業,無數個領網域發芽生長。
在峰會當中,我們可以看到昇思如何與氣動外形設計這一關鍵領網域進行結合,打通了 AI for Science 的新範式。所謂氣動外形設計,是指飛機、船舶、汽車等交通工具的氣動外形設計。這一領網域事關國計民生,并且研究、驗證的成本巨大。非常适合 AI 大模型作為新研究工具的加入。在此前,我們經常看到 AI 大模型在蛋白質折疊、材料分析相關研究領網域的應用,昇思與氣動外形設計的結合,又一次拓寬了 AI for Science 的邊界。
中國科學院院士、中國空氣動力學會理事長唐志共表示:基于昇思 MindSpore,生成式氣動設計大模型平台打破傳統設計範式,設計時長由月級縮短到分鍾級,滿足概念設計要求。未來該平台将擴展到航空、航天、船舶、高鐵、能源、汽車等多個氣動領網域的行業,引領大型工業裝備的設計和制造能力跨越式發展。
據了解,生成式氣動設計大模型平台基于昇思 AI 框架完成了自主創新開發。在模型開發階段,昇思框架和流體力學套件 MindSpore Flow 提供全面的科學計算算法庫和模型通用接口,提升模型開發效率。在模型的訓練階段,使用 MindSpore 多維分布式并行接口,基于成都智算中心算力支撐,模型和數據得以高效擴展。在模型部署階段,使用昇思大模型套件,可以将專業知識融入氣動設計大模型平台。
通過串聯大語言模型、氣動外形設計模型、氣動預測模型和風雷軟體等非 AI 工具,氣動設計大模型平台可以支撐多種氣動外形設計場景,為一系列關鍵領網域提供基礎科研支撐。
在各個行業,各個科研領網域,都可以看到昇思的 AI 技術上,長出了 AI 應用的新芽。假以時日,這些新芽會變成參天大樹。
AI 技術也就由此開花結果,潤澤四方。
生态發展之花
全面賦能學術與生态
從產學應用這層再向上看,AI 技術的未來發展,有賴于廣袤而繁榮的開發者生态。這就需要 AI 框架與產學各界積極合作,不斷強化人才培養與生态賦能等工作。在這一領網域,昇思采取了全面賦能學術與生态的策略,通過多管齊下的方式,讓昇思的技術能力融入開發者需求,助力 AI 人才培養。
峰會當中,昇思 MindSpore 開源社區理事長丁誠公布了昇思賦能學術與生态的四項行動。
其中包括,昇思和中國人工智能學會、鵬城實驗室合作的學術論文基金 2.0,将在未來 3 年内攜手 50 多家全球 AI 學者,在學術領網域不斷探索;昇思開發板應用創新行動,基于香橙派開發板,提供系統化的案例、教程與支持,幫助開發者快速上手、快速入門、快速打造個性化應用;昇思加速原生大模型孵化,通過激勵、專項技術支持和市場聯合推廣,支持更多夥伴從昇思遷移适配走向原生開發;昇思開源社區實習活動,通過代碼實踐,讓開發者真正地實踐成長。
2023 年以來,基于昇思框架發表的頂級會議論文數量超過 1200 篇,在所有 AI 框架中排名中國第一,全球第二,已成為國内最具創新活力的 AI 開源社區。Gitee 是國内第一大開源代碼托管平台,根據 Gitee 指數 2.0 , MindSpore 在各類指标中表現優異,成為 Gitee-AI 領網域分類下全品類指數 NO.1。由此,昇思 MindSpore 成為 "Gitee 中國最佳開源貢獻項目 ",被開源中國董事長馬越譽為 "Gitee 珍視的瑰寶 "。
怒放的生态之花,開源之花,印證了昇思 AI 之路已經全線貫通。從 AI 基礎技術到各個行業應用,再到萬千開發者的信任,昇思已經構建出了全方位、立體化的 AI 開發底座。
在 AI 技術的時代浪潮裡,社會經濟希望智能化能力能夠兼容高效與穩定,既好又快發展。
昇思的 AI 之路,是讓技術更加扎實,應用茁壯發芽,生态向上開花。以此為基礎,AI 才能生長為參天大樹,變為棟梁之材。也只有如此,時代對智能的呼喚才能變為現實,AI 技術才能夠新質生產力的源泉。