今天小編分享的互聯網經驗:中國AI深度學習框架加速追趕美國,昇思開源4年份額達30%,歡迎閱讀。
圖片系 AI 生成
在 AI 技術體系中,深度學習框架處于 " 承上啟下 " 的位置,南向使能多樣化算力,北向孵化各類算法模型,是大模型產業必不可少的環節。在全球層面,TensorFlow 和 PyTorch 占據先發優勢,中國市場也不例外,但是華為推出的昇思 MindSpore 和百度推出的飛槳 PaddlePaddle 等國產力量正在加速追趕。
在 12 月 14 日舉辦的昇思人工智能框架峰會上,18 家部門發布基于昇思的原生開發大模型成果,據預測,中國 AI 框架 2024 年新增市場昇思份額将達 30%。
華為 ICT 戰略與業務發展部總裁彭紅華表示,人工智能框架是 AI 時代的作業系統與軟體底座,領先的 AI 框架需要同時具備 " 更高效、更敏捷、更開放 " 的技術與生态能力,未來華為将持續投入昇思 MindSpore,堅持以開源的方式,促進中國人工智能框架生态健康、高速發展。
大模型如何改變深度學習框架
智譜 AI CEO 張鵬在會上表示,去年大家談得更多的是需要卡、需要算力、需要的是硬體,今年算力問題有所緩解,其中尤其是華為昇騰的努力。現在有了硬體資源,如何把動辄價值千萬元人民币的硬體資源用好,主要依靠 AI 大模型訓練的框架和 infra(基礎設施)。
現階段最關鍵的是提升大模型的訓練性能,這是整個行業的優先考慮事項,需要深度學習框架的不斷改進,讓軟體更好地适配硬體和上層算法。
" 相比于國外發展了十年,甚至更長時間的框架,昇思做了很多工作,智譜也配合增強了分布式并行的能力,增強從訓練到推理的一致性和部署可用性。最重要的是我們把核心技術終于從 0 到 1 突破了,掌握在自己的手裡,能夠實現全棧自主創新持續的演進和創新。" 張鵬說道。
他還在現場透露,智譜從 2020 年就開始和眾多國產生态進行合作,其中包括昇騰系列硬體,結合昇思 MindSpore 做完全自主創新的國產大模型訓練。
智譜 AI 的明星產品 CodeGeeX 誕生于在疫情期間,智譜和華為各自投入了幾十人團隊,分布式協作完成算法調優、集群穩定性的維護工作、inference 的構建。發展到今天,CodeGeeX 已經更新迭代了四代模型。
昇思 MindSpore 開源社區理事長丁誠也提到,大模型技術還在跨越式演進,昇思 MindSpore 重點關注兩點。
第一,大模型的參數量、序列長度和模态結構繼續以指數級速度演進。對此深度學習框架要解決異構模型帶來的計算不均衡問題,超長序列帶來的内存爆炸問題和模型并行出現的流水線空炮問題。
第二,Open AI 發布了 o1,使得計算過程從單任務、單模型走向了多任務、多模型,深度學習和強化學習相融合的方式,對此深度學習框架需要解決多模型協同互動下的復雜編程問題,推理和強化學習任務的混合部署和調度問題,訓推權重的在線轉換,并行策略的動态調整問題。
開源 4 年份額達 30%,昇思成為發展最快 AI 框架
開源是昇思快速追趕先進框架的主要策略,典型如大模型爆發帶來了新的需求,昇思從社區論壇收集到 3700 多個技術問題,再針對性做技術預研和規劃。中國工程院院士何友表示,昇思作為自主創新的 AI 框架,在大模型時代的開源實踐尤為重要,甚至有些指标可以和國際媲美。
彭紅華提到,未來昇思主要面向三個層面演進,在開發者編程體驗方面,昇思兼容業界主流生态,提供一致開發體驗,持續降低遷移學習成本;
在大模型訓練方面,提供更豐富的分布式并行策略,結合自動搜索仿真調優,為大模型訓練節約端到端成本;
面向最新類 o1 模型帶來的技術挑戰,完善多模型多任務調度、訓推無縫轉換能力,強化學習親和架構,加速類 o1 模型演進更新;面向 AI for Science 場景,昇思持續更新底層函數式編程體驗,并打造高性能 AI for Science 使能套件,聯合行業用戶、科研機構、學術專家共同加速科研創新,推動科技進步。
現場公布的數據顯示,昇思 MindSpore 自 2020 年開源以來,目前已孵化、支持 50 多個國内外主流大模型;開源版本已累計獲得 1100 萬次下載,覆蓋全球 130 多個國家和地區的 2400 多個城市;3.7 萬多名開發者參與社區貢獻。
此外,昇思與 360 多所高校科研院所展開教學及科研合作,聯合 1700 多位生态夥伴,打造超過 2000+ 解決方案;PaperwithCode 網站顯示,支持基于昇思原創論文發表累計超過 1700 篇,位列全球第二、中國第一。據預測,中國 AI 框架 2024 年新增市場昇思份額将達 30%。(本文首發于钛媒體 APP,作者 | 張帥,編輯 | 蓋虹達)