今天小编分享的互联网经验：昇思MindSpore 2.3全新发布，提供20多个开箱即用的业界主流训练模型，欢迎阅读。
3 月 22 日，在昇思人工智能框架峰会 2024 上，昇思 MindSpore 2.3 正式发布。华为公司 ICT Marketing 总裁周军表示，华为将从三方面推动昇思 MindSpore 的发展，首先是聚焦根技术支持伙伴孵化原生大模型，其次是面向行业场景加速大模型应用落地，最后是使能开发者成长成功，打造开源社区。
大模型已经成为了通用人工智能的关键路径，参数达到了万亿级别，华为预计，未来几年大模型参数会达到百万级别，真正达到通用人工智能的程度。
但是受摩尔定律的限制，算力的增长非常缓慢，与大模型的需求形成了鸿沟，严重制约了大模型的快速发展，人工智能框架的并行计算能力、简洁编程能力、便捷部署能力等，逐渐成为大模型训练的关键成功要素。
大模型训推挑战
昇思 MindSpore 技术总经理于璠在会上提到，目前大模型分布式训推的过程当中，主要存在几个关键挑战，开发效率、训练性能以及推理运行成本。
他表示，在使用万卡集群训练的时候，系统之间需要频繁通信，导致计算利用率急剧下降，当前业界平均水平也就达到了 40%。此外，在千亿参数模型训练的过程中，大概 18-19 个小时就会有一次故障，故障恢复大概要耗时 3-4 个小时。
有观点认为，未来万卡集群、十万卡集群的训练中，故障频率可能会进一步提高，可能接近小时级，算力真正有效的时间不足四分之一，这是极大的浪费。
当大模型训练好之后到生产环境做推理，转换过程也要耗费海量成本，如果用以前的技术手段，把大模型导出再部署到端侧、边侧的设备上，有经验的工程师需要以月为周期的时间完成，严重拖累大模型的部署。
大模型在推理侧依然要面临成本问题，于璠透露，SORA 刚刚发布时，华为使用 SORA 进行一次推理的时候，大概 60 秒的视频推理时间要 1 个小时，花费几十美金。
此外，在性能和成本之外，大模型的开发也面临着一些新的挑战。科学家或者开发者既要懂算法，又要懂并行技术，而且在调试过程中每次训练的时间也非常长，开发侧的隐形成本非常高，目前业内很难实现快速大模型快速落地。
昇思 MindSpore 2.3 发布
华为于 2020 年 3 月 28 日开源了昇思 MindSpore 框架，开源后访问量数千万，社区核心贡献者超过 2.5 万，社区贡献比例超过 20%，MindSpore 社区开源 500 多种模型，支持伙伴孵化，适配 50 多个大模型。
从 2020 年发布 1.0 版本到 2023 年发布 2.2 版本，昇思 MindSpore 从支持端、边、云，全场景，到原生支持大模型分布式训练，到部署的全流程，并成为业界首个原生支持科学智能的人工智能融合框架，超过 687 万用户下载安装使用。
大模型技术快速迭代演进，业界主流模型也从千亿的稠密走向万亿的稀疏模型，昇思 MindSpore 2.3 的更新也对应这些需求。
周军表示，昇思 MindSpore 提供开源开放的训推全流程的开发套件，支持伙伴基于昇思孵化原生大模型，在模型开发阶段提供 20 多个开箱即用的业界主流训练模型，模型开发的周期缩短 30%
昇思 MindSpore 通过原创的多副本、多流水交织等 8 种并行技术，使集群线性度达到 90%（业界不足 60%），通过整图优化及下沉执行等，使得算力利用率达到 55%（业界不足 40%）；针对集群故障率高，恢复时间长的普遍问题，通过编译快照，确定性 CKPT 技术实现 20 分钟完成故障恢复。
为了帮助行业场景加速大模型应用落地，昇思 MindSpore 人工智能框架作为算法应用和硬體算力之间的桥梁，推出训推一体解决方案。
在大模型部署方面，昇思通过训推一体的架构更新实现脚本、分布式策略，运行时的统一，Baichuan2-13B 的推理部署只需 1 天。在大模型推理上，通过 LLM Serving 实现推理吞吐提升 2 倍多；更新模型压缩工具金箍棒 2.0 实现千亿大模型压缩至十倍。
为降低开发门槛，昇思持续更新 MindSpore TransFormers 大模型套件，并提供 MindSpore One 生成式套件，全流程开箱即用，一周即可完成大模型全流程的开发。
在 AI for Science 方面，MindSpore 已在 AI 生物计算探索多年，联合顶级科研机构和伙伴打造了 AI 生物计算套件，包含蛋白质结构预测、生成等 20 多个 SOTA 模型，加速相关领網域创新。
从行业维度观测，企业和开发者选择开源框架主要关注模型整体的丰富度以及训练的速度，与此前的 AI 开发者相比，大模型和 AIGC 开发者还会关心基于框架算法的领先性，部署性价比、落地效果以及芯片的适配度，这也将成为未来一段时间人工智能框架发展的主线。
（本文首发钛媒体 APP 作者｜张帅，欢迎添加作者 mr3right 爆料、交流）
