今天小編分享的科學經驗：AI狂飙突進，存力需作先鋒，歡迎閲讀。
5 月 30 日，在 2023 中關村論壇成果發布會上，《北京市加快建設具有全球影響力的人工智能創新策源地實施方案（2023-2025 年）》正式發布。《實施方案》要求，支持創新主體重點突破分布式高效深度學習框架、大模型新型基礎架構等技術，着力推動大模型相關技術創新。
這被業界視為中國将強力推動大模型發展的又一力證。事實上，近期從中央各部委到地方省、市，對于發展 AI 技術，把握大模型機遇的政策傾斜度不斷上升，無論是政策出台密度還是整體戰略高度，都達到了驚人的水平。
有理由相信，中國将實現一場以大模型為突破點的 AI 狂飙突進。自 2017 年開啓新一代人工智能發展戰略以來，中國将在目前機遇視窗中得到再發展，推動 AI 產業全面爆發。
我們都知道，抓住 AI 發展機遇，需要以技術突破與基礎設施建設為基礎，而提到 AI 產業的基礎設施，普遍會提到 AI 芯片、深度學習框架、預訓練大模型，卻經常會忽略另一個關鍵問題：大模型将帶來巨大的數據壓力，數據存儲也是 AI 發展進程中的支柱。
ChatGPT 是這一輪 AI 爆發的引線，而接下來大模型規模化應用帶來的數據難題，其實也早已寫在了 ChatGPT 當中。
面對這種即将到來的壓力，中國存力準備好了嗎？
從 ChatGPT
看 AI 崛起帶來的數據挑戰
從 2018 年谷歌發布 BERT，業界開啓了預訓練大模型之路。大模型的特點是訓練數據規模與模型參數龐大，這将給存儲帶來嚴峻考驗，這一點在 ChaGPT 中也展現無疑。
預訓練大模型所謂的 " 大 "，體現在模型的深度學習網絡層數多、鏈接多、參數復雜，以及訓練所用數據集種類更復雜，數據數量更豐富。在深度學習算法剛剛誕生時，主流模型只有幾百萬參數，而 BERT 發布時模型參數就已經過億，将深度學習推進到了大模型階段。到了 ChatGPT 這個階段，主流模型已經有幾千億參數，甚至業界已經開始規劃萬億模型。幾年時間裏，AI 模型的參數提升幾千倍，如此龐大的數據與模型都需要進行存儲，這就成了 AI 爆發給存儲的第一大考驗。
此外，大家目前會廣泛提到 AI 大模型采用了全新的模型結構，因此對非結構化數據會有更好的吸收效果與魯棒性，這對于 AI 最終效果非常重要，但也帶來一個衍生問題：我們需要妥善處理存儲和調用海量的非結構化數據。比如説，ChatGPT 在更新後加入了識圖等多模态能力，因此其訓練數據也需要在文本基礎上加入大量圖片，再比如自動駕駛車輛，每天要将大量實地測試視頻存儲起來作為模型訓練依據。這些非結構化數據，帶來了 AI 相關數據的海量增長，也帶來了存儲和處理這些數據的難題。
據統計，當前全球新增數據有 80% 都是非結構化數據，年復合增長率達到 38%，應對多元化的數據激增，已經成為大模型時代必須克服的困難。
還有一個問題，大模型往往需要頻繁讀取和調用數據。ChatGPT 的數據訪問使用量達到單月 17.6 億次，平均響應速度在 10 秒以内，并且 AI 模型的工作流程包括采集、準備、訓練、推理四部分，每個階段需要讀寫不同類型的數據。因此，大模型對存儲性能也帶來了要求。
此外，圍繞 ChatGPT 展開的一系列數據主權、數據保護争議，也提醒我們 AI 大模型帶來了數據安全方面新的風險。試想一下，如果不法分子攻擊數據庫，從而令大語言模型生成錯誤信息欺騙用户，其危害結果既嚴重且隐蔽。
綜合來看，ChatGPT 雖好，但其對數據存儲的規模、性能、安全等方面都提出了挑戰。當我們致力于發展大模型和類 ChatGPT 應用的時候，存儲這關不得不過。
中國存力，準備好了嗎？
最近幾年，我們都在説算力就是生產力。但有算就要有存，存力的極限，也決定了數字化生產力發展的上限。
那麼，在接下來必然出現的中國大模型狂飙突進中，中國存力是否已經做好準備了呢？很遺憾，從幾個方面來看，今天中國存力的準備依舊不充分，需要進一步更新和發展。我們可以一同來關注一下中國存力存在的幾個問題，看看他們是否對應了大模型帶來的數據壓力。
1. 存力規模不足，限制 AI 產業發展上限
大模型将帶來海量數據，那麼第一要務就是将這些數據進行妥善存儲。但在目前階段，中國依舊有着存力不夠，大量數據甚至無法進入存儲階段的問題。從 2022 年數據來看，中國數據生產量已經達到了驚人的 8.1ZB，位居全球第二。但中國存力規模只有 1000EB 左右，這意味着數據可存儲率僅為 12%，絕大多數數據無法得到有效保存。當中國已經明确數據作為第五生產要素的地位，智能化發展需要依靠數據、充分利用數據，卻有海量數據難以完成保存，這之間的問題不可謂不嚴重。中國仍然需要保持高速、大規模的存力增長，才能把握大模型帶來的 AI 技術發展機遇。
2. 海量數據衝擊下，管理效率和存取效率低
上文讨論過，AI 大模型帶來的主要數據挑戰，是海量數據的管理效率和處理存取效率低。提升存取效率，要求數據以高效率、低能耗的方式完成存寫，但目前在中國仍然有 75% 的數據在使用機械硬碟。相對于閃存盤，機械硬碟容量密度低、數據讀取慢、能耗高、可靠性差，相對來説，全閃存具有高密度、低能耗、高性能、高可靠的一系列優點，但中國全閃存替換依舊有較長的一段路要走。
3. 多重數據隐憂，導致存儲安全形勢嚴峻
數據安全問題，已經成為 AI 公司乃至 AI 產業迫切關注的問題。在 2020 年美國的 Clearview AI 公司發生數據安全事故，造成 2000 多家客户的 30 億條數據泄露。這個案例向我們展現了 AI 產業的數據安全形勢十分嚴峻，我們必須從數據存儲階段開始重視安全。尤其當 AI 大模型在國計民生中扮演的角色愈發重要，就更需要存儲提升安全能力，以應對各種可能存在的風險。
客觀來看，中國存力已經保持了較高的發展速度，但在整體規模、全閃存占比以及技術創新能力上，依舊具有一定程度的不足。一場面向產業智能化需求與 AI 大規模落地的存儲更新已經時不我待。
面向智能時代
存儲產業的機遇與方向
結合 ChatGPT 所代表的 AI 大模型帶給存儲的壓力，以及中國存力本身的發展現狀，我們可以很清晰得出一個結論：中國存儲必須支撐 AI 崛起，完成大規模的更新。
我們可以清晰看到存儲產業的發展方向，這些方向的急迫性與廣闊空間，構成了存儲產業的重大機遇。
首先，需要擴大存力規模，加速全閃存建設。
全閃存替換機械硬碟的 " 硅進磁退 "，是存儲產業多年來的整體發展趨勢。面對 AI 崛起的產業機會，中國存儲產業需要加快全閃存替代的實施與落地，最大化發揮出全閃存高性能、高可靠等優勢，以應對 AI 大模型帶來的數據存用需求。
此外，還必須注意的一點是全閃存化分布式存儲的機會正在加大。随着 AI 大模型的崛起，非結構化數據的爆發，數據重要性正在顯著提升，同時 AI 已經深入到大型政企的生產核心，更多企業用户傾向進行本地化的 AI 訓練，并且采用基于檔案協定的數據存儲，而不是數據放到公有雲平台，這就導致分布式存儲的需求得到提升和加強。
二者結合，持續快速推動存儲產業的全閃化落地，就成為了中國存儲產業發展的核心賽道。
其次，需要提升存儲技術創新，适配 AI 模型的發展需求。
上文提到，AI 帶來的數據考驗不僅僅是數據規模大，更是數據復雜性與應用流程多樣性的挑戰，因此存儲的先進性必須得到進一步提升。比如説，為了應對 AI 頻繁的數據訪問需求，存儲的讀寫帶寬和訪問效率都需要進行更新。為了配合 AI 大模型的數據需求，存儲產業需要進行全方位的技術更新。
在數據存儲格式方面，傳統的數據格式，比如 " 檔案 "" 對象 "，最初的設計意圖并不是匹配 AI 模型的訓練需求，并且非結構化數據的數據格式不統一，使得在 AI 模型調用數據的過程中，會產生大量對檔案格式進行重新理解、對齊的工作，進而造成模型運行效率下降，訓練算力消耗增多。
為此，就需要在存儲側形成新的 " 數據範式（Data Paradigm）"。以自動駕駛訓練為例，不同類型的數據都參與到了數據訓練的進程當中，如果在存儲側采用了新的數據範式，就可以幫助各種數據統一起來，更好地适配到 AI 模型訓練當中，從而加速自動駕駛車輛的訓練工作。打個比方，如果把 AI 想象為一種新的動物，它需要吃一種新的飼料，如果把傳統格式的數據喂給它，就會產生消化不良的問題，而新數據範式，就是在存儲側構築完全适合 AI 的數據，從而讓 " 喂養 AI" 的過程絲滑順暢。
在 AI 開發工作中，數據管理的工作量占比巨大，不同數據集之間還會存在數據孤島問題，而數據編織技術能夠效應對這些問題。通過數據編織，可以讓存儲内置數據分析能力，把物理邏輯上散布的數據整合起來，形成全局視圖化的數據調度和流動能力，從而有效管理 AI 帶來的海量數據，達成數據利用效率的提升。
這些存儲側的技術創新，可以讓數據存力與 AI 發展形成更加緊密的契合關系。
此外，需要将安全能力納入存儲本身，強化主動安全能力。
伴随着 AI 發揮的價值越來越大，數據安全問題帶給企業用户的損失也更多。因此，企業必須提升數據安全能力。其中最重要的一點是要提升數據韌性，讓存儲本身具有安全能力，從源頭上守護數據安全。接下來，更多數據韌性能力将被内嵌到數據存儲產品中，例如勒索檢測、數據加密、安全快照和 AirGap 隔離區恢復特征等。
值得注意的是，目前業界已經有了面向 AI 大模型崛起，進行存儲全面更新的探索與嘗試。華為存儲通過高質量的全閃存產品，融合先進的存儲技術、内嵌的安全能力，實現了存儲創新與 AI 發展的緊密契合，相向而行。
整體而言，存儲產業的發展與中國存力的進步，對于 AI 大模型的落地，乃至千行百業的智能化更新，都有着舉足輕重的意義。脱離了存儲的發展，AI 帶來的數據洪潮将難以妥善化解，AI 技術甚至可能由于缺乏數據支撐，變成無本之源，無根之木。
智能時代的機遇與責任，恰好同時擺在了存儲產業面前。在華為等優秀品牌的存力探索下，中國存儲正迎來史無前例的機會，也在承擔時代給予的責任。
很多業界專家認為，大語言模型是 AI 歷史上的 "iPhone 時刻 "，那麼 AI 技術帶來的存力更新潮，或許也将成為中國存儲產業的裏程碑時刻，成為一個黃金年代的序章。
>
