今天小编分享的互联网经验:中信建投:零一万物发布Yi-Lightning,国产大模型迭代加速,欢迎阅读。
36 氪获悉,中信建投研报表示,零一万物正式对外发布新旗舰模型—— Yi-Lightning。Yi-Lightning 的训练过程中,采用 MoE 混合专家模型架构,同时改进了单阶段训练,使用了多阶段的训练模式,并且采用了混合注意力机制。在保持模型性能接近最优的同时,尽可能减少激活参数的数量以降低训推成本,提高推理速度。在大模型竞技场上,Yi-Lightning 性能直冲总榜单并列第 6,数学分榜并列第 3,代码等其它分榜也名列前茅。