今天小編分享的科技經驗：輕型機車逐單于，大雪滿弓刀：華為分布式存儲的一騎絕塵，歡迎閱讀。
唐代詩人盧綸，有一首脍炙人口的《和張仆射塞下曲》，" 月黑雁飛高，單于夜遁逃。欲将輕型機車逐，大雪滿弓刀。" 詩中的慷慨激昂，熱血炙烈，千年來讓無數國人心魂激蕩。
時代變遷，歲月遷移，今天我們所期望聽到的熱血故事或許不在現實世界，而是在數字山野的輕型機車追逐中，在核心科技的發展競賽裡。
《數字中國建設整體布局規劃》中，明确提出了構築自立自強的數字技術創新體系，為關鍵核心技術突破發展指明了方向。在核心科技自立自強中，越來越多的 " 欲将輕型機車逐，大雪滿弓刀 " 的故事正上演着。
5 月 24 日，在德國漢堡舉辦的 ISC 2023（國際超算大會）期間，更新了最新一期的 IO500 榜單，這是國際最權威的存儲性能排行榜。在 IO500 極為重要的 10 節點榜單中，華為 OceanStor Pacific 分布式存儲全面刷新了世界紀錄。尤其驚人的是，華為 OceanStor Pacific 的總得分超過了 13 萬分，是上屆冠軍得分的 15 倍之多。
在世界紀錄背後，在華為 OceanStor Pacific 分布式存儲霸榜背後，蘊藏着存儲鎮守數字經濟大國重器的支柱意義，也蘊藏着中國存儲從跟随走向領先的全球化趨勢。
一紙榜單背後，是一份對數字山河的守候，是一場輕型機車絕塵的突圍。
數字時代，半壁江山
想要講清這個故事，首先需要了解一個背景：HPDA 為什麼重要？以及面向 HPDA 場景的分布式存儲為什麼價值非凡？
首先 HPDA 是由 HPC（High Performance Computing 高性能計算）發展而來。HPC 是一種數據分析的應用場景。其通過聚合大量的計算和存儲單元對數據進行分析，從而解決復雜問題。從基因測序到芯片制造，從油氣勘探到航空航天，再到我們生活中的天氣預報、影視特效渲染，都離不開 HPC 作為計算底座。
總之一句話，HPC 是現代社會發展的計算基石。所以有人笑稱，《三體》裡的外星人要想遏制人類科技，其實不用那麼麻煩，不讓人類用 HPC 就行了。
随着 HPC 性能與技術的不斷進步，人類能夠在固定時間内分析更多數據 , 與之相伴的，我們也會保存更多數據給 HPC 場景，用來挖掘數據背後的價值。
随着相關數據量的指數級增長，HPC 領網域逐漸認識到提升數據分析能力、革新數據分析機制的重要性。将 AI、大數據等技術分析手段與 HPC 結合，是更高效實現數據價值的新形式，即 HPC、AI、大數據融合而成的 HPDA（High Performance Data Analytics）。
根據相關數據，2017 到 2023 年間，HPDA 類應用的年增長速度達到了 15.4%，HPC-based AI 類應用的年化增速更将達到 29.5%，遠高于傳統 HPC 的 7.8%。由于 HPDA 事關國計民生，與國家的科技創新能力、科技自立自強水平緊密相關，HPDA 已在全球範圍内被認為是未來科技發展的戰略高地，被稱為占據數字時代的半壁江山。
一項技術的快速增長，往往會給配套設施帶來挑戰。HPDA 的快速發展，就給存儲產業帶來了巨大的更新需求。随着數據量從 PB 級向 EB 級演進，存儲成本日益增高。高性能計算量的持續增加，以及大數據、AI 能力的加入，又對海量數據的多次提取、流轉、讀寫、存儲能力提出了更高的要求。
因此面向 HPDA 的分布式存儲，正在承載越來越多的目光和聲量。有人認為，誰掌握了 HPDA 存儲，誰就能掌握尖端科研的未來。
但現實情況是，中國在發展适配 HPDA 場景的分布式存儲過程中，正遇到一系列問題。
比如說，中國目前仍然有 75% 的數據存納于機械硬碟之中。相對于閃存盤，機械硬碟容量密度低，數據讀取慢，能耗高，可靠性差。相對來說，閃存介質幾乎沒有缺陷，尤其更适合 HPDA 場景這種對性能與時延異常敏感的工作負載。
在目前階段，" 磁退矽進 " 已經成為存儲產業發展的核心趨勢。比如全國人大代表、華中科技大學計算機科學與技術學院院長馮丹教授就提出，需要加快發展中國技術創新的，以半導體全閃存技術為核心的下一代存儲技術标準體系。為此，要抓住全球存儲介質更新、存儲架構跨代演進視窗期，盡快完善中國自身的數據存儲、數據保護、安全評測等關鍵标準體系建設。
在各個企業級存儲相關領網域中，以 HPC、HPDA 場景為代表的分布式存儲全閃存替換任務更加急迫。好在，華為分布式存儲已經開始行動，推進面向全閃存的一系列改造。比如說，本次 IO500 霸榜的華為 OceanStor Pacific 分布式存儲，就是采用了全閃存機型。未來分布式存儲的全閃化已經是确定性的產業走向，面向這個趨勢，從產業側到應用側都應該加速分布式全閃的替換進程。
一件毋庸置疑的事就是，即便前路漫長，中國分布式存儲全閃存替換是大勢所趨，發展全閃分布式存儲已經刻不容緩。
再者，适配高性能計算的 Lustre 分布式檔案系統已經明顯落後。Lustre 1.0 早在 2003 年發布，随後得到了一系列歐美 IT 企業與美國能源部的認可，逐漸形成了談起 HPC，就無法繞開 Lustre 的局面。但事實上，Lustre 在适配 HPDA 的過程中已經展現出了架構落後、磁盤碎片化問題嚴重、性能瓶頸明顯、安全能力不足等短板。
在受目前外部環境未知的幹擾下，對于存儲這樣承載着科技明珠 HPDA 的關鍵基礎設施，逐漸實現自主可控也是當務之急。
綜合來看，占據數字時代半壁江山的 HPDA，亟需自主創新、實力絕群的存儲力量來加持。
十分幸運的是，它來了，伴着 " 地表最強 " 的稱号走來了。
定海神針，霸榜之路
IO500 是 HPC 領網域最具影響力的世界級存儲排行榜，被稱為 " 存儲界的諾貝爾 "。其主要針對存儲系統的性能進行評測與排名，綜合考察了帶寬性能 ( GiB/s ) 和元數據性能 ( kIOP/ s ) 兩大部分。其中 10 節點榜單統一了計算規模，把基準性能測試的計算節點限制至 10 個，能夠更全面、更準确地反映出存儲在日常應用中的實際表現，備受全球 HPDA 領網域用戶關注。
綜合來看，IO500 在目前階段就是最具公允性與說服力的存儲性能榜單。一方面，經過多年發展，其頒布結果和行業價值已經得到了全球數字化產業的承認。另一方面，IO500 榜單的測試非常客觀、科學，其提供了嚴苛的标準化性能測試套件，确保結果可信。值得一提的是，IO500 榜單有着公允的測試人員配置與學術監督機制，避免了不少榜單受地緣因素影響，惡意打壓他國產品技術等現象。
在這樣的存儲領網域最高舞台上，華為 OceanStor Pacific 分布式存儲以一騎絕塵的姿态，完美刷新了紀錄。其通過模拟不同的 I/O 應用模型，歷經 12 項苛刻的場景測試，整體達到了 2400 GiB/s 的帶寬與 770 萬 kIOP/ s 的元數據性能。打破 IO500 紀錄十數倍的霸榜行為背後，可以仰望到華為 OceanStor Pacific 的技術成果在業界鑄就了又一座豐碑。這座豐碑像一枚定海神針，在數字山河蕩氣回腸。
十年磨一劍，一朝試鋒芒。成功霸榜之前，華為分布式存儲已經用了十年時間深耕細作，累積深厚技術，不斷創新。從這次 IO500 總覽星圖中就可以看到，從總體得分、帶寬性能、元數據性能等五個維度來看，華為 OceanStor Pacific 全面實現了 " 五邊形戰士 " 的成就，沒有一處短板，沒留下任何空缺。難怪有人說，這次 IO500 出爐，讓全球看到了華為存儲藏不住的王者實力，看到了中國存儲崛起的必然性。
快馬加鞭，實力斐然
那麼我們自然有必要刨根問底，看看華為 OceanStor Pacific 究竟是如何實現這些成績的？
俗話說，天下武功，唯快不破，對于存儲來說也是如此，快就意味着性能優勢，意味着提升了 HPDA 的工作效率與數據分析能力。為了追求這個快，華為采取了不斷精進的四層加速架構，這也被稱為華為存儲獨有的 " 多維度加速 " 體系：
1. 應用加速：面向 HPDA 為代表的數據密集型應用，華為分布式存儲業界唯一的應用感知 DataTurbo 加速引擎，通過融合數據格式、近數據處理和特征處理算子解除安裝加速等技術，實現了 HPDA 生态應用性能的倍增，提升了應用處理效率。
尤其針對 HPDA 愈發密集、愈發不可或缺的大數據環節，華為統一了數據湖和數倉内的檔案格式，并優化了元數據結構，創新性地在存儲側為計算引擎開啟緩存能力，實現了效率 60 倍的提升，讓數百 PB 數據的查詢時間縮減至 10 秒。
2. 算法加速：通過獨創的 SmartBalance 全均衡設計，華為可以實現對數據類型和 I/O 流的智能感知，從而能夠提升 HPDA 業務混合負載的處理效率。這不僅兼顧了 CPU 算力不足或調用堆棧深度等軟體問題引起的 IOPS 瓶頸，更解決了 HPC 多流程跨系統的數據遷移、數據膨脹問題。
3. 網存加速：華為 OceanStor Pacific 通過自主創新的網絡芯片支持 RoCE，同時支持 RDMA 和 IP 的訪問能力。在同時支持帶寬、IOPS 等不同類型的業務時，可以智能調整網絡的相關參數，大幅降低不同存儲節點間的數據交換時延。
4. 架構加速：與陳舊的 Lustre 開源分布式檔案系統架構相比，華為分布式存儲帶來了全對稱式分布式架構。據測評，Lustre 的非對稱設計會導致在 7 對 MDS 時出現性能瓶頸，并且網元部件眾多而導致 IO 路徑漫長。與此不同的是，華為 OceanStor Pacific 的全對稱架構打破了元數據瓶頸，性能可以随容量實現絕對的線性增長。
此外，與 Lustre 對負載的單一路徑讀寫、覆蓋寫模式不同，華為 OceanStor Pacific 采用智能 IO 路徑選擇與 Append-Only 模式，避免長時間運行導致的磁盤碎片化問題，實現動态混合 IOPS 性能提升 20%。
不僅如此，相比 Lustre 自身無冗餘保護，純粹依賴底層 SAN 陣列的 RAID 保護的安全模式，華為 OceanStor Pacific 憑借軟硬一體的穩定深度可信協同，滿足跨節點冗餘保護，支持最大 4 節點故障業務不中斷。
通過四大維度的全面技術創新，華為實現了分布式存儲的 " 快馬還需一鞭 "，比想象中更快一步。這些技術創新點的疊加產生了一種化學反應，讓華為 OceanStor Pacific 的性能遠超業界競品，做到了這樣一句武俠小說裡的形容——真正的強大，是沒有對手的。
龍城飛将，家國守候
與大家想象的不同，華為分布式存儲并非遠在天邊，其所帶來的價值就在我們的城市中，就在我們的生活裡，就在科技自立自強的披星戴月中。
比如說，山東的朋友應該都對濟南超算非常了解。國家超級計算濟南中心，是科技部批準成立的千萬億次國際超級計算中心之一，目的是為打造超級計算的高性能數據分析 HPDA 平台，從而支撐學術攻堅，賦能透明海洋、類腦計劃、基因組學、人工智能、新藥創新等領網域的大科學計劃、大科學工程的實施。
這樣一個重要的平台，在存儲資源搭建過程中卻也遇到了一系列問題。比如說以檔案存儲為主的 HPC 平台、AI 平台，與以對象存儲為主的雲平台，存在嚴重的數據孤島，最大的難題是不同平台間的數據流動。并且，存儲資源的相互搶占，會導致原本充沛的算力無法發揮，整體系統效率不高。
峰回路轉，華為 OceanStor Pacific 分布式存儲有效地解決了這些問題。通過結合數據流動軟體，華為分布式存儲幫助濟南超算打造了超算領網域首個最大規模的數據流動平台，其可支持打通數據流動，促進數據跨網域創新，助力濟南超算中心打造數據密集型超算。在我們為濟南超算、中國超算自豪時，似乎也應該記得軍功章有華為 OceanStor Pacific 的一份。
華西醫院，是四川朋友非常了解的一家醫療機構。除了強大的醫療能力，華西還肩負着科研探索、引領西南地區生物醫藥事業發展的重任。其中，華西生物醫學大數據中心是華西醫院的健康醫療大數據研究與應用開放共享平台，其推進的大規模全基因組分析，以及臨床成果轉化，是華西生物醫學大數據中心的重要探索方向。
想要滿足華西在基因領網域的數據存用，也有着一系列挑戰。基因測序產生的數據容量普遍達到了 TB 級别，對數據存儲提出了挑戰。華為 OceanStor Pacific 分布式存儲，為華西醫院提供了更高性能的存儲底座，實現了 200 倍存儲性能提升，全基因組分析流程時間從傳統的 24 小時縮短到了 7 分鍾。
都說 21 世紀是基因的世紀，在認識我們自己前，首先需要妥善的存儲作為探秘基因工程的起點，華為 OceanStor Pacific 分布式存儲再次守護成功。
由此不難看出，華為 OceanStor Pacific 既是數字中國的守護者，也是數字中國的加速器。它默默守護着科技創新、前沿探索，幫助每一座城市在超算的時代裡熠熠生輝。
目前階段，華為分布式存儲在歐洲、中東、拉美和亞太的關鍵業務場景均實現了大規模突破，達到了 2022 年全球二級存儲收入排名第二的成績，在總份額中占比 25%，并保持着 18% 的增速。從國内來看，華為分布式存儲連續六年市場第一，占比高達 48.2%，同時在海外，華為分布式存儲也受到廣泛認可，份額達到 25%，在檔案與對象存儲上的收入增速高達 50.8%。
未來，我們應該會看到華為存儲出現在更多的榜單上，欲将輕型機車逐，大雪滿弓刀，越來越多的數據中心、實驗室、工廠、農田裡，将上演以存儲定未來的故事。
尤其在這個時代，華為 OceanStor Pacific 折桂 IO500 還有一重獨特的意味。這重意味，可以用一句邊塞詩來表達：但使龍城飛将在，不教胡馬度陰山。
>
