今天小編分享的科學經驗:AI時代,存強則強,歡迎閱讀。
2024 年,全球各個國家、地區,乃至千行萬業都迎來了對 AI 技術空前高漲的熱情與關注。在中國,兩會政府工作報告中首次提出了 " 人工智能 + 行動 ";在歐盟,歐洲會議通過了具有裡程碑意義的《人工智能法案》;在中東地區,迪拜通過了最新的人工智能戰略,希望打造全球 AI 中心,沙特建立了數據和人工智能管理局(SDAIA),負責領導國家的 AI 戰略。
今天,AI 時代已經真正來臨。與此同時,全球各方,產學各界也意識到一個問題:AI 絕不僅僅是模型和算法的問題,而是對整個數字化基礎設施的全新考驗,是一場算力、存力、運力的綜合比拼。
其中,存儲是一個無法被 AI 時代忽視的支點。AI 大模型對存儲提出了哪些需求?什麼樣的存儲,才能夠稱為 AI 存儲?存儲產業如何在新時代找到新路徑?
(華為數據存儲產品線總裁周躍峰)
帶着這些問題,我們來到了華為中國合作夥伴大會 2024,與華為數據存儲產品線副總裁樊傑進行深度交流,了解華為存儲走進 AI 時代的思考與行動。
在本屆大會中,華為提出了 " 以存強算、以存強訓、以存強安 " 的理念,希望為業界打造領先數據基礎設施,推進全場景閃存化。在這個節點,回顧華為存儲一路走來的戰略布局,會發現它的每一步都與 AI 時代的脈搏緊密相連,提前預判產業走勢,最終以極高的效率對大模型訓推、數據覺醒等需求給出了精準回應。
當存儲產業,面向 AI 時代的漫漫曠野時,華為存儲已經率先實現了 AI ready。
我們可以将其定義為一次拓路,幫助存儲產業拓開 AI 之路,幫助全球用戶拓開存力之路。
不妨一起來回顧一下,華為存儲的 AI 拓路是如何完成的。通過這個過程,我們能夠共同推導出一個結論:AI 時代,存強則強。
AI 時代,存強則強
在以深度學習為基底的本次 AI 復興中,智能與數據間的聯接價值達到了史無前例的高度。主流 AI 技術的工作機理,無不建立在算法對數據進行充分學習的基礎上。因此,數據的規模龐大、質量高、流動效率強,對 AI 技術的發展起到了決定性的意義,而數據的保管、流動、安全水平,都建立在存儲能力的基礎上。
從這個邏輯出發,我們可以發現目前 AI 技術涉及的各個階段,都出現了存弱則 AI 弱,存強則 AI 強的現象。
首先是在 AI 模型最基本的訓練階段。
可以看到,随着 AI 大模型的興起,大規模集群化訓練已經成為主流。而在 AI 訓練集群場景下,任何一個瓶頸點都會影響到整個集群的效率,其中存儲的表現尤為關鍵。比如說,GPU 大量時間都在加載數據,如果期間出現加載失敗,就需要中斷後進行斷點重新錄入,耗費大量時間。傳統的存儲解決方案沒有适配 AI 訓練的存力加持,會因為存儲表現不佳全面拖慢整個 AI 訓練集群的表現。
因此,越來越多的專家與企業認為,AI 訓練需要專用的存儲。比如說,英偉達官方提供的 AI 訓推 IT 參考架構,就專門強調了大模型訓練需要使用外置的專業高性能共享存儲,以此來提升訓練過程的效率與可靠性。這是因為在萬卡集群這樣的大規模訓練場景下,傳統的存儲模式會導致單個盤的故障,拖累整體數據傳輸效率,并且定位故障需要耗費較長的時間,導致訓練工作頻繁暫停。而讓 AI 算力直通存儲的新模式,則可以大幅提升 AI 訓練集群的數據讀取效率,進而縮短模型訓練時間。要知道,在今天的情況下,AI 大模型的訓練效率就是千行萬業的產業效率。除此之外,适配 AI 訓練的存儲,最好還可以實現更高效的數據管理,更簡便的數據清洗,以此來全方位強化 AI 訓練工作。
其次,是在企業數據的保存與流通階段。
伴随着 AI 技術的崛起,企業的數據價值愈發寶貴,而企業所需要存儲的數據量在指數級增長。且原本只需要存放的冷數據,也因為 AI 技術的加入而變成了溫數據,甚至熱數據,需要随時參與數據流動。與此同時,在數據資產化的浪潮下,企業也希望數據具有更強的流通能力,從而真正發揮資產價值。在一系列 AI 技術帶來的衍生場景中,企業都需要更強的存儲能力來築牢數據資產,實現數據資產的可流通屬性。
再次,是中小企業數字化進程中的數據成本問題。
在 AI 技術的發展進程中,我們希望智能化的價值是普惠多元的。但客觀來看,中小企業想要獲得同等的 AI 競争力,需要付出更大的數字化基礎設施建設成本。如何實現中小企業的存儲更新普惠,尤其是完成全閃存的更迭,也是存儲行業面臨的挑戰。
最後,是數據安全風險加劇的問題。
在數據資產價值不斷更新,且 AI 大模型需要高頻次調動數據的新階段,企業面臨着以勒索病毒為代表的更深刻、更具體的數據安全問題。數據保護需要從被動保護向主動安全躍遷。
從以上種種不難看出,在智能化體系中,數據存在居于底座地位,并且牽一發動全身。适配 AI 時代的存儲,不僅是單一存儲技術的更新,更是對經濟智能化所產生綜合存儲更新的回應。
存強則 AI 強,存強則數據強,已經成為 AI 時代真實而深刻的風向。
智能大勢,築基為先
在這樣的智能化大勢下,存儲產業應該如何回應?如何抓住重點,破局謀篇?
華為存儲的選擇,是首先為 AI 大模型建立起存力底座,讓 AI 技術所涉及的各類非結構化數據都能統一入湖。有了基礎底座,向上的一切架構延展、功能添加才不會變成空中樓閣。
面對智能化的大勢所趨,華為存儲選擇先築牢基礎。在不久之前的 MWC 2024 期間,華為存儲發布了 AI 數據湖、全場景數據保護和 DCS 全棧數據中心三大解決方案。AI 數據湖,就是構建華為存儲為 AI 時代構建的存力底座。
具體而言,華為 AI 數據湖解決方案,具備數據管理 DME、一站式知識生成工具鏈 eDataMate、數據編織 Data Fabric,以及 OceanStor A800/A310 等全新 AI 存儲底座。其中新一代高性能 NAS 存儲 OceanStor A800,可以通過數控分離架構、OceanFS 高性能并行檔案系統、雙向靈活擴展等能力,支撐大規模 AI 訓練集群的實時調度,成為 AI 大模型的存力底座。
AI 數據湖對 AI 時代能夠起到哪些層面的加持與支撐?我們可以分三個層面來分析。
首先,AI 訓練必須使用大量非結構化數據,尤其是圖形類數據。AI 數據湖具有強大的數據收集能力,可以确保所有數據種類都能入湖,從而使能 AI 訓練場景下,數據的全局可視、可管、可用,讓訓練數據歸集、預處理和訓練的效率倍增,進而全面提升大模型訓練效率,縮短訓練時間。
其次,AI 數據湖具有數據清洗能力,從而可以通過先清洗再進行訓練,縮短 AI 訓練的等待時間。數據清洗能力的加入,讓存儲能力與 AI 訓練場景的适配度進一步提升。
此外,OceanStor A800/A310 等全新 AI 存儲產品,具備 TB 級的帶寬,能夠實現極強的數據加載能力,可以全面提升數據的加載速度,從而兼容到分鍾級别的數據加載。通過數據加載能力的更新,AI 訓練可以更加高效準确,讓寶貴的 AI 算力得到更高的使用效率。
整體而言,面向突然爆火的 AI 大模型,華為存儲基于長時間對 AI 存儲的理解與布局,用最快速度給出了回應。AI 數據湖就是這種回應的集中表現,其通過軟硬體結合搭建起了完整的 AI 存儲體系。這一體系架構具備強大的 AI 訓推效率,以及優秀的可擴展性,能夠滿足未來幾年的持續演進,與 AI 大模型技術發展并軌發展。
築牢基礎,是破局一個新趨勢、新需求的關鍵。AI 數據湖,就是華為存儲為 AI 時代築下的基礎。
它會成為一把鑰匙,一個樞紐,容納華為存儲的多元發展思路,進而打開企業存儲更新的多種可能性。
三流合一,存以致用
面向 AI 時代,存儲產業的需求是非常多元復雜的。其中容納了 AI 大模型的訓練推理需求,也有中小企業的普惠發展需求,以及貫穿全行業的存儲安全需求等。因此,華為存儲也執行了面向多元需求的發展策略。
我們可以将這種策略歸納為存力更新的 " 三流合一 "。
第一條支流,AI ready。
我們前文所重點讨論的 AI 存儲能力,已經成為華為存儲的核心差異化競争力。可以說,通過具有前瞻性的布局與產品打造,華為存儲在行業内率先實現了 AI ready。未來,面向 AI 場景的存儲能力将愈發重要。AI 相關布局也會持續融合為華為存儲的差異化競争力。
第二條支流,全場景數據安全。
在 AI 技術爆發式發展,數據價值不斷提升的今天,也要看到安全隐憂也被同步放大。從近兩年的情況看,勒索病毒持續泛濫,并且已經真實危害到了金融、電力等涉及國計民生的核心產業。面向存儲的高安全需求,華為首創了存儲與網絡協同的多層聯動勒索攻擊防護(MRP)解決方案。通過 2 道防線,6 層防護來構建全場景的數據安全能力。這一能力已經美國權威機構 Tolly 認證,可以 100% 實現防勒索病毒有效。随着安全能力在數字化體系中的價值占比不斷提升,存儲原生安全将成為新的行業戰略高點。
第三條支流,全場景閃存普惠。
伴随着各行業對數據存儲綜合能力需求的提升,越來越多中小企業希望進行全閃存更新。面對這一需求,華為在業界率先提出了閃存普惠理念,并且在目前階段,發布了含 OceanStor Dorado 2100、OceanProtect X3000 等全閃存系列產品,可以為企業帶來性能十倍,更好能耗比,且綜合成本沒有顯著變化的全閃存產品,助力中小企業的數字化更新。
為應對 AI 時代帶來的一系列變化,滿足 AI 訓推、閃存普惠、全場景安全等核心需求,華為打造了綜合性的全場景數據存儲產品與解決方案。其中富含的戰略目标,用華為自己的總結可以歸納為——以存強算,以存強訓,以存強安。
在華為存儲 " 三流合一 " 的發展節奏背後,核心是應對時代變化、需求變化的 " 存以致用 "。只有給出準确的技術更新與產品打造,才能讓不同需求、不同行業、不同發展階段的企業,都能夠用存儲強健自身的智能化選擇。
企業有了更有用,更好用的存儲能力,AI 時代才能夠從曠野變成航道。
拓路曠野,設立航标
AI ready、全閃存普惠,以及全場景安全等能力的構建,不僅強化了華為存儲自身的市場價值,更對整個存儲產業起到了積極的影響。
在今天的存儲產業眼中,AI 時代還是一片朦胧的曠野。業界對于 AI 需要适配的存儲產品具有宏觀上的共識,但缺乏具體的可執行方案。
從眺望曠野到抵達目标,行業需要一條路。需要先進的產品作為發展導向,需要強大的技術能力作為發展标準,需要豐富的客戶實踐作為發展依據。這種情況下,華為存儲做的事情其實就是拓路,通過在全新的 AI 曠野踏出一條路,華為為全球存儲產業設立了航标。
面向 AI 時代的航标,具有兩重價值。首先從橫向的客戶價值層面看,華為存儲的 AI ready 讓全球客戶有了面向 AI 時代的數據底座選擇,同時也有了全力智能化發展的底氣與信心。
一家新加坡的 TOP 級銀行,基于華為存儲提供的相關能力構建了金融智能化能力。東南亞的 TOP 級電商,在華為存儲的幫助下搭建了千卡級别的 AI 數據湖底座。在中國市場,科大訊飛與華為存儲合作,用 AI 數據湖搭配 400G 網絡,大幅提升了星火大模型的訓練效率。
豐富的客戶實踐表明,華為存儲在 AI 時代展現出了更強的競争力,不僅其性能好、可靠性高的產品優勢得到進一步釋放,更以對 AI 場景的理解獲得了新的機會。
在全球市場上,華為存儲已經是當之無愧的第一梯隊。根據 3 月 4 日 Gartner 發布的《2024 年 Gartner Peer Insights 主記憶體儲客戶之聲》報告,華為存儲在全球廠商中脫穎而出,獨家獲得了全球 " 客戶之選 "。
本次評選共有業界主流的 21 家廠商參與,華為 OceanStor 存儲收到來自亞太、歐洲、中東等區網域的數百個客戶評價,覆蓋運營商、金融、教育、醫療、能源、制造等行業。客戶一致認為華為存儲最符合自身期待,提供了全球最佳的使用體驗。這一幕對于中國存儲產業來說可謂是前所未有。
而從行業縱向發展的角度看,華為存儲率先打造了符合 AI 時代需求的技術架構與產品體系,讓行業有了向前發展的航标。
比如說,可以看到華為在業界率先提出了 AI 數據湖概念,已經起到了引領市場的作用。全球各大廠商都在加強對 AI 存儲的研發投入,從而帶來整個 AI 時代的進一步增長,實現存算之間更加平衡的适配。
總結來看,通過洞察 AI 時代的存力需求,打造 AI 存儲基礎設施,推進 " 三流合一 " 的發展策略,華為存儲一步步實現了面向 AI 曠野的拓路。
在其努力下,存力不再是滞後與緩慢發展的一環,AI 時代的基礎設施巨變有了齊頭發展的可行性。
AI 時代,存強則強。換言之,我們可以以存力強 AI,以存力強時代。