今天小编分享的科学经验:AI时代,存强则强,欢迎阅读。
2024 年,全球各个国家、地区,乃至千行万业都迎来了对 AI 技术空前高涨的热情与关注。在中国,两会政府工作报告中首次提出了 " 人工智能 + 行动 ";在欧盟,欧洲会议通过了具有里程碑意义的《人工智能法案》;在中东地区,迪拜通过了最新的人工智能战略,希望打造全球 AI 中心,沙特建立了数据和人工智能管理局(SDAIA),负责领导国家的 AI 战略。
今天,AI 时代已经真正来临。与此同时,全球各方,产学各界也意识到一个问题:AI 绝不仅仅是模型和算法的问题,而是对整个数字化基础设施的全新考验,是一场算力、存力、运力的综合比拼。
其中,存储是一个无法被 AI 时代忽视的支点。AI 大模型对存储提出了哪些需求?什么样的存储,才能够称为 AI 存储?存储产业如何在新时代找到新路径?
(华为数据存储产品线总裁周跃峰)
带着这些问题,我们来到了华为中国合作伙伴大会 2024,与华为数据存储产品线副总裁樊杰进行深度交流,了解华为存储走进 AI 时代的思考与行动。
在本届大会中,华为提出了 " 以存强算、以存强训、以存强安 " 的理念,希望为业界打造领先数据基础设施,推进全场景闪存化。在这个节点,回顾华为存储一路走来的战略布局,会发现它的每一步都与 AI 时代的脉搏紧密相连,提前预判产业走势,最终以极高的效率对大模型训推、数据觉醒等需求给出了精准回应。
当存储产业,面向 AI 时代的漫漫旷野时,华为存储已经率先实现了 AI ready。
我们可以将其定义为一次拓路,帮助存储产业拓开 AI 之路,帮助全球用户拓开存力之路。
不妨一起来回顾一下,华为存储的 AI 拓路是如何完成的。通过这个过程,我们能够共同推导出一个结论:AI 时代,存强则强。
AI 时代,存强则强
在以深度学习为基底的本次 AI 复兴中,智能与数据间的联接价值达到了史无前例的高度。主流 AI 技术的工作机理,无不建立在算法对数据进行充分学习的基础上。因此,数据的规模庞大、质量高、流动效率强,对 AI 技术的发展起到了决定性的意义,而数据的保管、流动、安全水平,都建立在存储能力的基础上。
从这个逻辑出发,我们可以发现目前 AI 技术涉及的各个阶段,都出现了存弱则 AI 弱,存强则 AI 强的现象。
首先是在 AI 模型最基本的训练阶段。
可以看到,随着 AI 大模型的兴起,大规模集群化训练已经成为主流。而在 AI 训练集群场景下,任何一个瓶颈点都会影响到整个集群的效率,其中存储的表现尤为关键。比如说,GPU 大量时间都在加载数据,如果期间出现加载失败,就需要中断后进行断点重新录入,耗费大量时间。传统的存储解决方案没有适配 AI 训练的存力加持,会因为存储表现不佳全面拖慢整个 AI 训练集群的表现。
因此,越来越多的专家与企业认为,AI 训练需要专用的存储。比如说,英伟达官方提供的 AI 训推 IT 参考架构,就专门强调了大模型训练需要使用外置的专业高性能共享存储,以此来提升训练过程的效率与可靠性。这是因为在万卡集群这样的大规模训练场景下,传统的存储模式会导致单个盘的故障,拖累整体数据传输效率,并且定位故障需要耗费较长的时间,导致训练工作频繁暂停。而让 AI 算力直通存储的新模式,则可以大幅提升 AI 训练集群的数据读取效率,进而缩短模型训练时间。要知道,在今天的情况下,AI 大模型的训练效率就是千行万业的产业效率。除此之外,适配 AI 训练的存储,最好还可以实现更高效的数据管理,更简便的数据清洗,以此来全方位强化 AI 训练工作。
其次,是在企业数据的保存与流通阶段。
伴随着 AI 技术的崛起,企业的数据价值愈发宝贵,而企业所需要存储的数据量在指数级增长。且原本只需要存放的冷数据,也因为 AI 技术的加入而变成了温数据,甚至热数据,需要随时参与数据流动。与此同时,在数据资产化的浪潮下,企业也希望数据具有更强的流通能力,从而真正发挥资产价值。在一系列 AI 技术带来的衍生场景中,企业都需要更强的存储能力来筑牢数据资产,实现数据资产的可流通属性。
再次,是中小企业数字化进程中的数据成本问题。
在 AI 技术的发展进程中,我们希望智能化的价值是普惠多元的。但客观来看,中小企业想要获得同等的 AI 竞争力,需要付出更大的数字化基础设施建设成本。如何实现中小企业的存储更新普惠,尤其是完成全闪存的更迭,也是存储行业面临的挑战。
最后,是数据安全风险加剧的问题。
在数据资产价值不断更新,且 AI 大模型需要高频次调动数据的新阶段,企业面临着以勒索病毒为代表的更深刻、更具体的数据安全问题。数据保护需要从被动保护向主动安全跃迁。
从以上种种不难看出,在智能化体系中,数据存在居于底座地位,并且牵一发动全身。适配 AI 时代的存储,不仅是单一存储技术的更新,更是对经济智能化所产生综合存储更新的回应。
存强则 AI 强,存强则数据强,已经成为 AI 时代真实而深刻的风向。
智能大势,筑基为先
在这样的智能化大势下,存储产业应该如何回应?如何抓住重点,破局谋篇?
华为存储的选择,是首先为 AI 大模型建立起存力底座,让 AI 技术所涉及的各类非结构化数据都能统一入湖。有了基础底座,向上的一切架构延展、功能添加才不会变成空中楼阁。
面对智能化的大势所趋,华为存储选择先筑牢基础。在不久之前的 MWC 2024 期间,华为存储发布了 AI 数据湖、全场景数据保护和 DCS 全栈数据中心三大解决方案。AI 数据湖,就是构建华为存储为 AI 时代构建的存力底座。
具体而言,华为 AI 数据湖解决方案,具备数据管理 DME、一站式知识生成工具链 eDataMate、数据编织 Data Fabric,以及 OceanStor A800/A310 等全新 AI 存储底座。其中新一代高性能 NAS 存储 OceanStor A800,可以通过数控分离架构、OceanFS 高性能并行檔案系统、双向灵活扩展等能力,支撑大规模 AI 训练集群的实时调度,成为 AI 大模型的存力底座。
AI 数据湖对 AI 时代能够起到哪些层面的加持与支撑?我们可以分三个层面来分析。
首先,AI 训练必须使用大量非结构化数据,尤其是图形类数据。AI 数据湖具有强大的数据收集能力,可以确保所有数据种类都能入湖,从而使能 AI 训练场景下,数据的全局可视、可管、可用,让训练数据归集、预处理和训练的效率倍增,进而全面提升大模型训练效率,缩短训练时间。
其次,AI 数据湖具有数据清洗能力,从而可以通过先清洗再进行训练,缩短 AI 训练的等待时间。数据清洗能力的加入,让存储能力与 AI 训练场景的适配度进一步提升。
此外,OceanStor A800/A310 等全新 AI 存储产品,具备 TB 级的带宽,能够实现极强的数据加载能力,可以全面提升数据的加载速度,从而兼容到分钟级别的数据加载。通过数据加载能力的更新,AI 训练可以更加高效准确,让宝贵的 AI 算力得到更高的使用效率。
整体而言,面向突然爆火的 AI 大模型,华为存储基于长时间对 AI 存储的理解与布局,用最快速度给出了回应。AI 数据湖就是这种回应的集中表现,其通过软硬體结合搭建起了完整的 AI 存储体系。这一体系架构具备强大的 AI 训推效率,以及优秀的可扩展性,能够满足未来几年的持续演进,与 AI 大模型技术发展并轨发展。
筑牢基础,是破局一个新趋势、新需求的关键。AI 数据湖,就是华为存储为 AI 时代筑下的基础。
它会成为一把钥匙,一个枢纽,容纳华为存储的多元发展思路,进而打开企业存储更新的多种可能性。
三流合一,存以致用
面向 AI 时代,存储产业的需求是非常多元复杂的。其中容纳了 AI 大模型的训练推理需求,也有中小企业的普惠发展需求,以及贯穿全行业的存储安全需求等。因此,华为存储也执行了面向多元需求的发展策略。
我们可以将这种策略归纳为存力更新的 " 三流合一 "。
第一条支流,AI ready。
我们前文所重点讨论的 AI 存储能力,已经成为华为存储的核心差异化竞争力。可以说,通过具有前瞻性的布局与产品打造,华为存储在行业内率先实现了 AI ready。未来,面向 AI 场景的存储能力将愈发重要。AI 相关布局也会持续融合为华为存储的差异化竞争力。
第二条支流,全场景数据安全。
在 AI 技术爆发式发展,数据价值不断提升的今天,也要看到安全隐忧也被同步放大。从近两年的情况看,勒索病毒持续泛滥,并且已经真实危害到了金融、电力等涉及国计民生的核心产业。面向存储的高安全需求,华为首创了存储与网络协同的多层联动勒索攻击防护(MRP)解决方案。通过 2 道防线,6 层防护来构建全场景的数据安全能力。这一能力已经美国权威机构 Tolly 认证,可以 100% 实现防勒索病毒有效。随着安全能力在数字化体系中的价值占比不断提升,存储原生安全将成为新的行业战略高点。
第三条支流,全场景闪存普惠。
伴随着各行业对数据存储综合能力需求的提升,越来越多中小企业希望进行全闪存更新。面对这一需求,华为在业界率先提出了闪存普惠理念,并且在目前阶段,发布了含 OceanStor Dorado 2100、OceanProtect X3000 等全闪存系列产品,可以为企业带来性能十倍,更好能耗比,且综合成本没有显著变化的全闪存产品,助力中小企业的数字化更新。
为应对 AI 时代带来的一系列变化,满足 AI 训推、闪存普惠、全场景安全等核心需求,华为打造了综合性的全场景数据存储产品与解决方案。其中富含的战略目标,用华为自己的总结可以归纳为——以存强算,以存强训,以存强安。
在华为存储 " 三流合一 " 的发展节奏背后,核心是应对时代变化、需求变化的 " 存以致用 "。只有给出准确的技术更新与产品打造,才能让不同需求、不同行业、不同发展阶段的企业,都能够用存储强健自身的智能化选择。
企业有了更有用,更好用的存储能力,AI 时代才能够从旷野变成航道。
拓路旷野,设立航标
AI ready、全闪存普惠,以及全场景安全等能力的构建,不仅强化了华为存储自身的市场价值,更对整个存储产业起到了积极的影响。
在今天的存储产业眼中,AI 时代还是一片朦胧的旷野。业界对于 AI 需要适配的存储产品具有宏观上的共识,但缺乏具体的可执行方案。
从眺望旷野到抵达目标,行业需要一条路。需要先进的产品作为发展导向,需要强大的技术能力作为发展标准,需要丰富的客户实践作为发展依据。这种情况下,华为存储做的事情其实就是拓路,通过在全新的 AI 旷野踏出一条路,华为为全球存储产业设立了航标。
面向 AI 时代的航标,具有两重价值。首先从横向的客户价值层面看,华为存储的 AI ready 让全球客户有了面向 AI 时代的数据底座选择,同时也有了全力智能化发展的底气与信心。
一家新加坡的 TOP 级银行,基于华为存储提供的相关能力构建了金融智能化能力。东南亚的 TOP 级电商,在华为存储的帮助下搭建了千卡级别的 AI 数据湖底座。在中国市场,科大讯飞与华为存储合作,用 AI 数据湖搭配 400G 网络,大幅提升了星火大模型的训练效率。
丰富的客户实践表明,华为存储在 AI 时代展现出了更强的竞争力,不仅其性能好、可靠性高的产品优势得到进一步释放,更以对 AI 场景的理解获得了新的机会。
在全球市场上,华为存储已经是当之无愧的第一梯队。根据 3 月 4 日 Gartner 发布的《2024 年 Gartner Peer Insights 主記憶體储客户之声》报告,华为存储在全球厂商中脱颖而出,独家获得了全球 " 客户之选 "。
本次评选共有业界主流的 21 家厂商参与,华为 OceanStor 存储收到来自亚太、欧洲、中东等区網域的数百个客户评价,覆盖运营商、金融、教育、医疗、能源、制造等行业。客户一致认为华为存储最符合自身期待,提供了全球最佳的使用体验。这一幕对于中国存储产业来说可谓是前所未有。
而从行业纵向发展的角度看,华为存储率先打造了符合 AI 时代需求的技术架构与产品体系,让行业有了向前发展的航标。
比如说,可以看到华为在业界率先提出了 AI 数据湖概念,已经起到了引领市场的作用。全球各大厂商都在加强对 AI 存储的研发投入,从而带来整个 AI 时代的进一步增长,实现存算之间更加平衡的适配。
总结来看,通过洞察 AI 时代的存力需求,打造 AI 存储基础设施,推进 " 三流合一 " 的发展策略,华为存储一步步实现了面向 AI 旷野的拓路。
在其努力下,存力不再是滞后与缓慢发展的一环,AI 时代的基础设施巨变有了齐头发展的可行性。
AI 时代,存强则强。换言之,我们可以以存力强 AI,以存力强时代。