今天小編分享的科學經驗:曙光存儲的“引力彈弓”,讓AI向產業宇宙加速狂奔,歡迎閲讀。
《流浪地球》中,科學家利用木星的 " 引力彈弓 " 效應,為地球加速,成功脱離危機,是整部電影最激動人心的高潮段落。
加速,不僅在科幻電影中揪人心弦,對 AI 行業也十分重要。比如説,千億級大模型必須寫容錯點 checkpoint,一旦數據存儲發生災難性故障,導致 AI 訓練中斷,對于一些着急上線的企業來説,時間就是生命線,可能造成難以彌補的損失。所以説,确保 AI 快速穩定地進行,是產業智能化的必要條件。
為 AI 加速,存儲也可以起到 " 引力彈弓 " 效應。
試想一下,當你正在滑滑板,有一個速度很快的人從你旁邊經過,拉了你一把,就如同彈弓弓弦一樣,給了你一個加速前進的力。存力之于 AI,就起到了類似的作用。存力和算力互相協同,通過存力來縮短數據讀寫時間,減少算力的空轉等待時間,可以有效提升 AI 大模型的訓練效率。
不過,想充分釋放存力的 " 引力彈弓 " 效應,傳統存儲的性能、可靠性等,就有些力不從心了。鍛造一張最适合 AI 的 " 引力彈弓 ",曙光存儲出手了。
此前,曙光推出的智存產品搭載五級加速方案,已經在政務、科研、金融、醫療等行業場景,相繼落地。就在近期,又宣布與智元機器人合作,成為具身智能領網域的存力夥伴。
在曙光存儲的存力底座上,越來越多的 AI 模型 / 能力,正加速奔向產業宇宙。我們就跟随這張 " 引力彈弓 " 的發射方向,來一場奔赴星辰大海的 AI 之旅吧。
" 引力彈弓 " 效應,利用了宇宙中天體的引力,當航天器進入引力影響範圍時,被拉了一把,行程就會開始加速。
對 AI 來説,存儲也自帶加速 " 引力 " 嗎?答案是肯定的。
至少從四個方面,存儲可以 " 拉 "AI 一把:
首先是性能。計算越復雜,對存儲性能和帶寬的要求越高,存儲必須足夠快,才能匹配上 GPU 或 AI 芯片,否則就會導致算力空載、空轉或等待。在模型訓練中斷時從 checkpoint 快速寫回,也可以提高 AI 計算效率。
其次是質量。"garbage in,garbage out(垃圾進,垃圾出)",存儲承載的數據質量,直接影響到大模型訓練的效果,随着大模型需要 " 咀嚼 " 的數據規模、類型越來越多,AI 存儲必須具備對海量規模、異構等數據的高效吞吐和處理能力。
第三是安全。存儲系統的管理審計、權限管理等,從數據 I/O 通路上保證用户數據的安全可靠,不會有篡改、不可追溯等問題,也是 AI 用户十分看重的。
第四是優化。存儲可以結合用户業務,進行一些個性化的微調與适配,比如了解到業務數據中的大檔案多還是小檔案多,随機訪問多還是順序訪問多,在此基礎上進行參數調整,可以針對性優化,提升業務體驗。
因此,存儲在 AI 基礎設施中的優先級不斷提高。
去年大模型爆火初期,AI 行業用户一開始只關注存儲產品的容量,後續則慢慢意識到存儲的性能、開放兼容性、AI 應用适配性等更多維度指标的重要性。
從能用到智用,存儲之于 AI 的 " 引力 " 正越來越大,起到了越來越重要的加速作用。
AI 存儲對行業用户的吸引力,越來越大,但動辄萬億參數、萬卡集群的 AI 大模型,對存儲的要求也指數級上升。
市面上是否有超強 AI 存力的產品,像木星推動地球一樣,發揮出強大天體才具備的 " 引力彈弓效應 " 呢?曙光決定來打造一個。
曙光 ParaStor 分布式全閃存儲,作為最懂 AI 的存儲產品,核心特點就是一個字:快。
可以将 AI 整體表現提升 20 倍以上,讓數據無需等待,AI 也就快人一步。具體是怎麼做到的?曙光存儲運營總監石靜向我們解密。
這張最适合 AI 的 " 引力彈弓 ",有兩大核心:一是最強的數據底座,二是最佳的 AI 應用加速套件。
可以這樣理解,數據底座就像是天體本身的引力足夠大、足夠強。
曙光存儲的 ParaStor 分布式全閃存儲,在整個硬體層面進行提升,可以發揮出極致性能。帶寬倍數提升,單個節點可以做到最高 150GB/s 帶寬,一秒鍾提供 150G 的數據吞吐。IOPS 十倍提升,一秒鍾可以處理 320 萬個 I/O 請求,實現高效吞吐。
而應用套件,就像是在原有引力基礎上再造一個加速引擎,推動 AI 走得更快。
ParaStor 分布式全閃存儲采用了業内獨家的 " 五級加速方案 ",盡可能地縮短整個 I/O 流程,讓數據更加靠近計算,分别實現了本地内存、Burst Buffer 加速層、網絡層(RDMA-Based)、存儲節點高速層( NVMe 磁碟-Based )、應用層(存儲直達 GPU)的五層加速。
最強數據底座 + 五級加速的最佳 AI 應用加速套件,成為一張強有力的 " 引力彈弓 ",讓 AI 表現提升 20 倍,可以去往更廣闊的產業天地。
利用 " 引力彈弓效應 ",人造航空器 " 旅行者 1 号 " 飛出了太陽系,進入了太陽系外更廣闊的宇宙空間。曙光存儲可以讓 AI 走得更快,那麼能推動 AI 走得更遠嗎?
目前來看,答案是确定的。
作為分布式存儲市場領導者象限中排名第一的廠商,曙光也在 AI 賽道上起到了引領作用。曙光存儲走向行業的足迹,連起來,就是 AI 邁向產業的 " 軌迹 "。
為 AI 築底座。曙光存儲與中國移動合作,為其新型智算中心提供存儲底座,助力萬卡甚至超萬卡集群的建設,算力網絡 AI 注智賦能,有望為各行各業提供澎湃的智能算力。泉州智慧城市大腦,借助新一代曙光存儲的異構融合能力,實現海量異構數據資源的融合,打造更堅實的 " 數字底座 "。
為 AI 謀效率。在與某 AI 大模型廠商的合作中,曙光存儲的 ParaStor 分布式全閃存儲,單節點 150GB/s 帶寬和 320 萬 IOPS,整體訓練效率提升 50% 以上,有了高效率的支撐大模型廠商更快推出產品來滿足市場需求。
為 AI 降成本。目前,曙光存儲實現了國内外雙棧技術生态全兼容(CPU/GPU/OS/DB/Cloud),可以應對 AI 算力多元異構的技術挑戰,支持國内外不同廠商、不同架構、不同版本的算卡,以及多樣的大模型,幫助行業客户在智能化過程中,實現成本均衡。更合理的成本,也可以加速 AI 的產業化進程。
為 AI 謀新篇。在具身智能等新興領網域,曙光存儲深入了解行業痛點,針對具身智能機器人低時延、高性能、絲滑體驗等剛需,憑借快訓練、快歸檔和合理成本等優勢,為智元機器人打造堅實存儲底座,讓智元機器人可以實時、高效、絲滑地運行,及時處理故障,保持在最佳狀态,加速商用進程,開啓具身智能的新紀元。
不難看到,一張強大存儲的 " 引力彈弓 ",正推動 AI 走得又快又穩又遠,走向廣袤的產業宇宙。
可能有人會問,為什麼最适配 AI 的存儲,會率先誕生在中國、在曙光?
首先,曙光與國内 AI 的距離最近。可以針對性地滿足國內 AI 廠商的定制化開發需求,這是海外廠商很難具備的。
此外,曙光自主研發實力很強。有國產化要求、擔心海外供應鏈風險、追求完全自研的廠商,曙光存儲有極強的吸引力。
而 AI 新技術,也要求存儲廠商需要更多地跟介質廠商、網絡廠商互動,共同探索全新的方案。以及在存儲系統中納入 AI 的能力,在算法上面有更多的積澱。因此,對存儲廠商的綜合能力、生态合作等,也都提出了新的要求。
從這個角度講,曙光存儲在 AI 領網域的 " 引力彈弓 " 效應,也将進一步推動國產存儲廠商的跟進與更新。
當越來越多的國產先進存儲,為 AI 提供加速引力,一定會将 AI 推向更廣闊的產業地帶。那時,我們将看到一個更加遼闊璀璨的智能中國。