今天小编分享的科学经验:昇思之路,从AI基础軟體到生态繁花,欢迎阅读。
在今年两会政府工作报告中,明确提出了深化大数据、人工智能等研发应用,开展 " 人工智能 +" 行动,打造具有国际竞争力的数字产业集群。伴随着 " 人工智能 +" 首次被写入政府工作报告,各个行业、各个领網域竞相展开了对 AI 技术的探索与追寻,AI 技术的发展热情达到了全新高度。
在目前阶段,AI 技术是发展新质生产力的重要引擎,已经成为社会各界的高度共识。而如何让 AI 技术源源不断导入各个生产场景,成为产业界、学术界的发展源动力,也就成为最受关注的话题。
这里我们必须看到,任何技术的普遍发展都离不开技术的茁壮成长。比如 " 互联网 +" 时代的到来,离不开 IP 网络等技术,以及社会化的网络基础设施建设。" 人工智能 +" 行动的开展,也有赖于多种新型 AI 基础设施的建设。其中在軟體层面,最为重要的一项就是 AI 框架。
AI 框架是大模型的軟體底座,是各行业、各领網域接触人工智能技术、开发大模型的第一站,也是推动产业智能化发展的核心力量。AI 框架如何面向新时代,新任务长足发展?如何将框架的技术能力转化为产学应用的行动力、生态发展的凝聚力?这些问题在今天都迫切需要答案。
近日,以 " 为智而昇,思创之源 " 为主题的昇思人工智能框架峰会 2024 在北京国家会议中心举办。会上公布了全新更新的昇思 MindSpore 2.3 版本,并展示了昇思在产学应用,生态赋能多方面的最新进展。
如何打通一条从技术领先,到深入产学应用,赋能生态加速发展的 AI 之路?
在这场峰会中,昇思已经给出了自己的答案。
降本增效筑通道
如何提升 AI 源动力?
所谓 AI 之路,应该是一条将底层技术高效引申到上层应用、开发生态当中,从而让社会经济各个层面从基础技术中汲取营养的道路。只有这条路通畅、便捷、低成本,AI 技术才能全面开花结果," 人工智能 +" 行动才能够价值最大化。
而在目前阶段,想要实现这样的 AI 之路还面临着一系列挑战。技术与产业经济、学术研究、开发者生态之间还存在卡点和堵点。比如大模型开发成本大,难度高,各行业、各领網域还难以完全掌握,再比如一些专业性强,较为复杂的领網域还无法实现技术的深层渗透。总体而言,想要将 AI 技术变为社会经济发展的源动力,需要从三个层面来进行更新:
1. 底座层。需要实现大模型训练效率更高,推理部署成本更低且全面提升开发易用性,实现训推能力全面更新,开发效率全面提升。而这尤其需要深度学习开发框架的更新与发展,在训练、推理与开发工具等方面实现持续进化。
2. 应用层。AI 技术需要与行业场景、科研领網域进行深刻互动,实现人工智能技术与行业专精知识的立体结合,使能行业智能化更新,从而拓展 AI 技术的应用边界,提升场景化复制能力。尤其在 AI for Science 等关键领網域,需要 AI 技术与基础学科研究者紧密配合、共同探索。
3. 生态层。AI 技术就像其他軟體技术一样,没有生态不成规模,生态繁荣能达到技术越用越好的效果。而生态发展需要技术平台与产学研用各界以及无数开发者的有效互动,持续赋能。
由此可见,AI 技术成为社会经济发展的源动力,需要构筑一条从底层技术到产学应用,再到生态赋能的完整通道。而这,也正是昇思正在践行的 AI 之路。
AI 框架
昇思 MindSpore 2.3 全新更新
首先一个问题,是如何让 AI 技术持续创新,满足产学各界对 AI 基础軟體的期待和要求。
在这方面,昇思不断精进。在训练、推理以及模型开发等方面实现立体化、协同化的能力更新。这一思路充分体现在了最新发布的昇思 MindSpore 2.3 版本当中。通过一系列更新,昇思让大模型开发训练更简、更稳、更高效。
在训练方面,昇思可以支撑大模型实现原生高效训练。通过原创的多副本、多流水交织等 8 种并行技术,使集群线性度达到 90%,远远超过了业界不足 60% 的平均水平;通过整图优化及下沉执行等,使得算力利用率达到 55%,大幅超越了业界不足 40% 的平均水准;针对集群故障率高,恢复时间长的普遍问题,通过编译快照,昇思通过确定性 CKPT 技术实现 20 分钟完成故障恢复。
在今天的大模型时代,大规模集群化的模型训练已经成了业界的最大痛点。昇思通过一系列基础能力的更新,全方位破解了集群线性度、AI 算力利用效率、训练故障恢复等核心难题,让大模型训练不再充满挑战。
而在部署方面,昇思通过训推一体的架构更新脚本、分布式策略,以及运行时的统一,让 Baichuan2-13B 推理部署在 1 天内就可以完成;在大模型推理上,通过 LLM Serving 实现推理吞吐提升 2 倍多;通过更新模型压缩工具金箍棒 2.0,实现千亿大模型压缩至十倍。这些能力确保了 AI 大模型不仅可训练,还能够顺利推理应用,打通了 AI 落地的最后一公里。
除此之外,昇思还通过持续更新 MindSpore TransFormers 大模型套件,提供 MindSpore One 生成式套件等方式,全面提升开发者效率,让开发者一周即可完成大模型全流程的开发。在重点的 AI for Science 领網域,昇思联合顶级科研机构和伙伴打造了 AI 生物计算套件,包含蛋白质结构预测、生成等 20 多个 SOTA 模型,加速相关领網域的科学创新。
从训练到推理,再到一系列开发套件的更新,昇思持续深耕 AI 技术,让 AI 基础能力稳固发展。
只有基础軟體技术能够源源不断提供养分,才能实现 AI 应用发芽,AI 生态开花。
产学应用之芽
以昇思构筑 AI for Science 新范式
夯实了 AI 底座技术之后,需要将技术能力与应用场景进行深入结合。尤其是在复杂、关键的领網域,比如 AI for Science 当中,更需要 AI 技术与科研工作进行跨越式探索,以此让 AI 框架在无数个行业,无数个领網域发芽生长。
在峰会当中,我们可以看到昇思如何与气动外形设计这一关键领網域进行结合,打通了 AI for Science 的新范式。所谓气动外形设计,是指飞机、船舶、汽车等交通工具的气动外形设计。这一领網域事关国计民生,并且研究、验证的成本巨大。非常适合 AI 大模型作为新研究工具的加入。在此前,我们经常看到 AI 大模型在蛋白质折叠、材料分析相关研究领網域的应用,昇思与气动外形设计的结合,又一次拓宽了 AI for Science 的边界。
中国科学院院士、中国空气动力学会理事长唐志共表示:基于昇思 MindSpore,生成式气动设计大模型平台打破传统设计范式,设计时长由月级缩短到分钟级,满足概念设计要求。未来该平台将扩展到航空、航天、船舶、高铁、能源、汽车等多个气动领網域的行业,引领大型工业装备的设计和制造能力跨越式发展。
据了解,生成式气动设计大模型平台基于昇思 AI 框架完成了自主创新开发。在模型开发阶段,昇思框架和流体力学套件 MindSpore Flow 提供全面的科学计算算法库和模型通用接口,提升模型开发效率。在模型的训练阶段,使用 MindSpore 多维分布式并行接口,基于成都智算中心算力支撑,模型和数据得以高效扩展。在模型部署阶段,使用昇思大模型套件,可以将专业知识融入气动设计大模型平台。
通过串联大语言模型、气动外形设计模型、气动预测模型和风雷軟體等非 AI 工具,气动设计大模型平台可以支撑多种气动外形设计场景,为一系列关键领網域提供基础科研支撑。
在各个行业,各个科研领網域,都可以看到昇思的 AI 技术上,长出了 AI 应用的新芽。假以时日,这些新芽会变成参天大树。
AI 技术也就由此开花结果,润泽四方。
生态发展之花
全面赋能学术与生态
从产学应用这层再向上看,AI 技术的未来发展,有赖于广袤而繁荣的开发者生态。这就需要 AI 框架与产学各界积极合作,不断强化人才培养与生态赋能等工作。在这一领網域,昇思采取了全面赋能学术与生态的策略,通过多管齐下的方式,让昇思的技术能力融入开发者需求,助力 AI 人才培养。
峰会当中,昇思 MindSpore 开源社区理事长丁诚公布了昇思赋能学术与生态的四项行动。
其中包括,昇思和中国人工智能学会、鹏城实验室合作的学术论文基金 2.0,将在未来 3 年内携手 50 多家全球 AI 学者,在学术领網域不断探索;昇思开发板应用创新行动,基于香橙派开发板,提供系统化的案例、教程与支持,帮助开发者快速上手、快速入门、快速打造个性化应用;昇思加速原生大模型孵化,通过激励、专项技术支持和市场联合推广,支持更多伙伴从昇思迁移适配走向原生开发;昇思开源社区实习活动,通过代码实践,让开发者真正地实践成长。
2023 年以来,基于昇思框架发表的顶级会议论文数量超过 1200 篇,在所有 AI 框架中排名中国第一,全球第二,已成为国内最具创新活力的 AI 开源社区。Gitee 是国内第一大开源代码托管平台,根据 Gitee 指数 2.0 , MindSpore 在各类指标中表现优异,成为 Gitee-AI 领網域分类下全品类指数 NO.1。由此,昇思 MindSpore 成为 "Gitee 中国最佳开源贡献项目 ",被开源中国董事长马越誉为 "Gitee 珍视的瑰宝 "。
怒放的生态之花,开源之花,印证了昇思 AI 之路已经全线贯通。从 AI 基础技术到各个行业应用,再到万千开发者的信任,昇思已经构建出了全方位、立体化的 AI 开发底座。
在 AI 技术的时代浪潮里,社会经济希望智能化能力能够兼容高效与稳定,既好又快发展。
昇思的 AI 之路,是让技术更加扎实,应用茁壮发芽,生态向上开花。以此为基础,AI 才能生长为参天大树,变为栋梁之材。也只有如此,时代对智能的呼唤才能变为现实,AI 技术才能够新质生产力的源泉。