今天小编分享的互联网经验:昇腾助力DeepSeek,开启大模型新时代,欢迎阅读。
2024 年 12 月 26 日,国内一支成立仅一年多的 AI 团队推出了名为 DeepSeek V3 的模型,它在 14.8 万亿高质量 token 上进行预训练,还通过监督微调和强化学习进一步提升性能。
相较于其五个月前发布的版本,此次采用了多头潜在注意力 ( MLA ) 和 MoE 架构,引入无辅助损失的负载均衡策略和多 token 预测训练目标,实现了高效推理和低成本训练。
仅仅一个月后,该团队又发布了新模型 DeepSeek R1,它仅用相当于 OpenAI o1 三十分之一的成本却达到了比肩其性能,并且以开源形式公开思维链,这一下子让 DeepSeek 火爆全球。
DeepSeek 的变革力量
就好像平静的水面突然被投入了一块石头,DeepSeek R1 的出现打破了基座大模型市场原本向头部 AI 玩家聚集的格局。在它发布后,整个市场竞争和创新的速度就像被按下了加速键。OpenAI 宣布未来几个月要推出免费版的 GPT - 5;阿里推出了 Qwen 2.5 - Max,谷歌也发布了 Gemini 2.0 系列模型。那些头部的 AI 玩家为了保持领先优势,纷纷加大技术投入,像 Meta 创始人扎克伯格预计 2025 年在 AI 领網域至少投入 600 - 650 亿美元,而谷歌的 AI 投资也会从 525 亿美元增加到 750 亿美元。
从国内四大云厂商和三大运营商积极接入 DeepSeek,到 B 端市场众多企业的加快接入,我们能看到一幅热闹的场景。据数据显示,自 DeepSeek R1 发布后,短短 20 天内,国内外就已有 160 多家企业接入,华为、荣耀、OPPO、vivo 等手机厂商也纷纷在手机助手中上线 DeepSeek 智能体,这表明 DeepSeek 推动了更多大模型应用在各个行业中涌现,加速了应用创新的脚步。
DeepSeek 在用户数量上的增长就像火箭升空一样迅速。2 月 1 日,它的日活跃用户数突破 3000 万大关,刷新全球最快达成 3000 万日活用户的榜单。到了 2 月 8 日,全球日活用户总量达到 1.19 亿,让它成为大模型在消费市场普及的又一关键轉捩點,加速了大模型在普通消费者中的广泛应用。
而这一系列变革的背后,是 DeepSeek 通过在模型结构、计算通信、后训练和推理等方面进行极致的工程优化,提高了算力利用率,使得模型训练效率提升了 2~3 倍,推理效率提升了 5~7 倍,而且整体训练成本降低 60% 的同时,模型性能还提升了 20%。
昇腾—— DeepSeek 的最优伙伴
其实在 2024 年,昇腾团队就在研究并行解码技术,这和 DeepSeek V3/R1 的多头潜在注意力机制正好契合。在 Deepseek - V3 上线开源后,昇腾、硅基流动与 DeepSeek 团队多次交流探讨联合创新。
随后,昇腾成为业界首个适配完成 DeepSeek 核心算法,支持 DeepSeek 全系模型预训练及微调的国内 AI 训练平台,也是唯一一个从预训练到微调全流程适配的平台。
目前已有 80 多家企业基于昇腾快速适配并上线了 DeepSeek 系列模型,还有 20 多家正在适配测试,预计未来两周全部完成上线,国内约 70% 的企业选择基于昇腾快速上线 DeepSeek。
昇腾联合伙伴 / 客户,推出形态丰富的产品和解决方案(如:一体机、云服务、硬體 + 开源社区等)帮助企业快速部署,已覆盖互联网、金融、运营商、政务、教育等多个行业。其中,昇腾 DS 一体机超大系统吞吐,超高多用户并发,30+ 软硬體伙伴选择昇腾推出一体机方案。
在训练方面,昇腾超节点可以完美支持 DeepSeek 全系模型的预训练和微调。它支持 DualPipe、跨节点 All2All 等 DeepSeek 核心优化技术,其超大带宽通信網域与 DeepSeek 的流水线并行算法及冗余专家等能力非常匹配,对于 DeepSeek R1 这种强化学习 RL 模型来说,昇腾超节点是绝佳的解决方案。
推理上,DeepSeek 小专家创新架构在带来便利的同时,也会产生通信耗时和专家负载不均等挑战,但昇腾平台通过并行推理优化技术和专家负载均衡能力,让 DeepSeek 模型推理吞吐性能提升 30% 以上。它采用伪 EP 混合并行算法使通信优化性能提升 30% 以上,运用稀疏路由稠密化算法让访存性能提升 20% 以上,把专家不均衡度降低,让推理吞吐性能提高了 20%~35%。
昇腾是一个开放的 AI 基础软硬體平台,有一套完备的全栈产品体系,包括 Atlas 系列硬體、异构计算架构 CANN、全场景 AI 框架昇思 MindSpore、昇腾应用使能以及一站式开发平台 ModelArts 等。到 2024 年 12 月 31 日,昇腾已经有超过 60 家硬體合作伙伴、330 多万开发者、2500 多家行业合作伙伴,一起孵化了 150 多个昇腾原生硬體产品和超过 5800 个解决方案。
而且,已有 30 多家软硬體伙伴基于昇腾推出 DeepSeek 一体机方案,昇腾一体机是支持 DeepSeek 系列模型快速上线和支撑客户生产系统的 " 最优选择 "。同时,昇腾还在助力 20 多个省、25 个城市的公共算力服务平台部署 DeepSeek 系列模型,让全国超 70% 的区網域能获得本地支持。
ChatGPT 曾是大模型从技术研发走向产业应用的轉捩點,而如今 DeepSeek 则成为了第二个重要的拐点。
在 2025 年,我们将见证大模型技术竞争更加白热化,并且会有更多精彩的大模型应用在产业和消费市场不断涌现,而昇腾也将凭借与 DeepSeek 的完美结合,在这场人工智能的浪潮中发挥重要作用。