中信建投：零一萬物發布Yi-Lightning，國產大模型迭代加速

今天小編分享的互聯網經驗：中信建投：零一萬物發布Yi-Lightning，國產大模型迭代加速，歡迎閱讀。

36 氪獲悉，中信建投研報表示，零一萬物正式對外發布新旗艦模型—— Yi-Lightning。Yi-Lightning 的訓練過程中，采用 MoE 混合專家模型架構，同時改進了單階段訓練，使用了多階段的訓練模式，并且采用了混合注意力機制。在保持模型性能接近最優的同時，盡可能減少激活參數的數量以降低訓推成本，提高推理速度。在大模型競技場上，Yi-Lightning 性能直衝總榜單并列第 6，數學分榜并列第 3，代碼等其它分榜也名列前茅。