字節對MoE模型訓練成本再砍一刀 成本可節省40%

今天小編分享的科技經驗：字節對MoE模型訓練成本再砍一刀 成本可節省40%，歡迎閲讀。

财聯社 3 月 10 日電，字節豆包大模型團隊官宣開源一項針對 MoE 架構的關鍵優化技術，可将大模型訓練效率提升 1.7 倍，成本節省 40%。據悉，該技術已實際應用于字節的萬卡集群訓練，累計幫助節省了數百萬 GPU 小時訓練算力。