今天小編分享的科技經驗:百度飛槳框架 3.0 正式版發布,五大特性專為大模型設計,歡迎閱讀。
IT 之家 4 月 3 日消息,百度本月發布飛槳框架 3.0 正式版,五大特性專為大模型設計。
作為大模型時代的 Infra" 基礎設施 ",深度學習框架的重要性愈發凸顯,大模型訓練、推理等任務都離不開深度學習框架的優化與支撐。
飛槳框架 3.0 号稱從設計理念上實現了從底層硬體适配到頂層開發體驗的全面進化,IT 之家附具體介紹如下:
飛槳提出的 " 動靜統一自動并行 " 技術,大幅降低大模型開發訓練成本,讓算法創新回歸核心價值創造;
" 訓推一體 " 設計理念打破了訓練與推理的割裂狀态,通過全方位深度優化,飛槳框架 3.0 能夠支持眾多開源大模型進行高性能推理,并在 DeepSeek V3 / R1 上取得了突出的性能表現。目前,飛槳框架 3.0 支持文心 4.5、文心 X1 等多款主流大模型,DeepSeek-R1 滿血版單機部署吞吐提升一倍。通過技術算法創新,飛槳讓低時延、高吞吐、低算力成本的推理服務成為了現實;
在科學智能領網域,飛槳框架 3.0 錨定科學前沿探索需要,提升微分方程求解速度。通過高階自動微分和神經網絡編譯器技術,加速微分方程求解,速度比 PyTorch 開啟編譯器優化後的 2.6 版本平均快 115%。飛槳還對 DeepXDE、Modulus 等主流開源科學計算工具進行了廣泛适配,并成為 DeepXDE 的默認推薦後端。其展現的科學智能潛力在氣象預測、生命科學、航空航天等領網域具有廣泛的應用價值;
在運算速度上,借助創新研制的神經網絡編譯器 CINN,實現性能的顯著提升,在 A100 平台上 RMSNorm 算子進行性能測試,相較于采用 Python 開發接口組合實現的方式,經過編譯優化後的算子運行速度提升了 4 倍;使用超過 60 個模型進行實驗,使用 CINN 編譯器後超 60% 模型有顯著性能提升,平均提升達 27.4%;
在硬體适配方面,飛槳框架 3.0 推出了多芯片統一适配方案,構建 " 一次開發,全棧部署 " 的生态體系。目前已适配超過 60 個芯片系列,覆蓋訓練集群、自動駕駛、智能終端等場景,開發者只需編寫一份代碼,就可以讓程式在不同芯片上順暢運行,輕松實現業務的跨芯片遷移。
截至 2024 年 10 月,飛槳文心生态已凝聚 1808 萬開發者,服務了 43 萬家企事業部門,創建了 101 萬個模型。
飛槳框架 3.0 正式版本已面向開發者開放,并且兼容 2.0 版本的開發接口。