今天小編分享的科學經驗:中國企業數字化:如果能重來,我要學李白,歡迎閲讀。
一位北漂創業的朋友,看過《長安三萬裏》之後,被感動得淚流滿面。在他看來,自己和李白一樣,都是被繁榮的盛唐氣象所吸引,為了追逐 " 心中的長安 " 而一往無前。
一代人有一代人的 " 長安 ",都渴望站到時代最核心的舞台上,實現理想、建功立業。數字經濟,應該是我們這一代人,所擁有的黃金機會。
今年以來,大模型這樣火爆的創新方向,以及由此而生的巨大機會,就像光輝萬丈的長安一樣,代表着增長、繁華,以及無限可能性,吸引着無數企業和創業者,想要投身其中。
然而," 夢到長安三萬裏,海風吹斷碛西頭 ",長安是理想,和現實之間,隔着三萬裏路,并不容易抵達。
很多企業入局研發或應用大模型,卻沒有做好技術、成本、基礎設施等一系列準備,就盲目踏上了旅程,其中的首要考驗,就是存儲。
IDC 的《數據時代 2025》報告顯示,全球數據規模呈現井噴式增長,中國将成為全球最大數據源。海量數據中,語音、圖片、視頻等非結構化數據約占 80%,與結構化數據相比,非結構化數據增長迅速、管理困難。存儲降本,成為企業 IT 基礎設施建設的重要議題。
舉個例子,互聯網企業 / 金融機構等普遍開展的數字化業務,有大量的音視頻檔案存儲需求,需要龐大的存儲資源。政府電子檔案要求保存周期為 5 年甚至更長,公檢法司數據要求保存周期至少 30 年以上……這些數據普遍處于 10PB 以上規模,假設歸檔存儲按 0.001 元 /GB/ 年計費,則用户 30 年存儲成本将超過 1 億元。
根據專家訪談,考慮行業及規模差異,企業存儲成本約占 IT 基礎設施整體成本的 5%~30%,随着數據規模持續擴大,這一比例也将進一步加劇,帶來的存儲成本也不可小觑。
AIGC、大模型等智能化應用,海量非結構化數據對存儲的極致成本效益提出了挑戰,CPU、内存、磁盤三種資源的動态配比常常顧此失彼,存在浪費現象,日積月累形成了不小的成本壓力。
這樣看來,數據大爆炸的背景下,降低存儲成本,已經成為各行各業數字化轉型、智能化更新的前置條件。
這時候,京東雲的真實業務實踐和技術累積優勢,就顯現了出來。京東用二十年時間走過了數字化之路,已經構築了支撐大規模業務的存儲基礎設施,并大規模應用于京東的各類業務之中。京東雲既解決了存儲基礎設施方面的技術難題,也對存儲成本進行了極致優化,讓存儲降本成為現實。
因此,數字經濟的《存儲三萬裏》該怎麼跨越?我們不妨通過京東雲自研分布式統一存儲平台—— " 雲海 ",來一探究竟。
數字盛世,存儲關山
試想一下,如果李白帶着幾大車沉重的行李,可能還沒走到長安,就已經被行李負擔拖慢了速度,被盜匪劫走了财物,為雇人保護行裝而花光儲蓄……而被勸退了。" 銀鞍照白馬,飒沓如流星 ",輕裝上路,才有了詩仙的肆意飛揚、浪漫灑脱。
對數字化企業 / 政府來説,最寶貴的資產就是數據。而以 SAN、NAS 等集中式存儲為代表的傳統存儲,就像馬馱肩扛的行囊一樣,在保存騰挪數據資產時,顯得愈發捉襟見肘。
不僅會帶來高昂的建設和維護成本,一旦遭遇外部威脅或故障,就容易影響業務的連續性,損傷用户體驗,增加了運維復雜度和數據丢失風險。而且其擴展能力有限,無法很好支撐大模型這類大容量、高并發、高性能的應用場景。
所以,更加快速安全、敏捷靈活的分布式存儲,成為一種強烈的需求,演化為存儲的 " 今日之選 "。
與傳統集中式存儲相比,分布式存儲采用松耦合的系統架構,每個存儲伺服器節點都承擔數據存儲的功能,可以橫向擴展、性能和容量随節點數量擴展線性提升,支持全冗餘部署,保障業務連續性和數據安全性。
相當于李白們從西網域到長安,不用全程将行囊背在身上,可以把沿途的多個城市當作站點,分别設成各自獨立的存儲節點,用統一的賬冊(軟體系統)進行調度管理,省去了全程保存看守維護遷移的開銷和人力成本。即使途中出現了意外,也可以通過其他站點快速解決,不影響後續的行程(業務),将損失降到最低。
在此基礎上," 存算分離 " 技術應運而生。存算一體的架構下,計算和存儲中只要有一個達到瓶頸,都會影響整體性能,導致業務應用停滞,存在大量的資源浪費,同時運維復雜、擴展受限、更新困難。而依托雲平台的分布式存儲,采用 " 存算分離 ",可以将數據通過雲上數據湖 / 倉庫基礎設施來存儲,由微服務直接訪問存取,無論是應用 / 數據哪個環節出了問題,都可以依托雲平台的彈性和可擴展能力,快速解決。
可以簡單理解為,将行李(數據存儲)和用途(應用計算)分開,單獨按需配置。這樣就可以避免行李多用不完(資源浪費)或者行李少不夠用(資源不足),優化計算資源利用率,旅客的綜合成本就減少了,這是前往長安(數字化轉型)成本最優的存儲方案。
但是,實現存算分離的分布式存儲架構,并非易事。主要面臨以下問題:
1. 性能損失。
存算分離有兩種實現方式:一是自建機房,另一種是上雲。自行部署存儲系統,初始投資成本高,需要購買的硬體設備和該有的冗餘副本一個也不能少。所以,絕大多數企業都選擇交給雲廠商,在雲上構建存算分離架構,用户只需要按量付費。
但傳統的雲上分布式存儲性能低下,讀寫慢、性能低于本地盤 50%-70%,對于智能汽車、遊戲等性能敏感型行業,延遲、卡頓問題十分明顯,強行做存算分離,性能無法滿足業務正常需求,所以企業不敢用、也用不了。
2. 降本不明顯。
自建機房中的存算分離架構,即使釋放了計算節點,也無法收回成本,動态縮容是沒有意義的,動态擴容又受到機房容量的影響,如果事先按照業務高峰規劃了資源,那麼在谷底時即使釋放了計算節點,資源浪費的現象也依然存在。此外,分布式存儲各集群的管理要求有差異,運維難度随之上升,風險預警難,故障定位慢,需要投入非常高的運維成本。
相比之下,雲上的存算分離架構,這些條件由雲服務商保障,在釋放計算節點後,雲廠商可以将這部分資源銷售給其他客户,通過龐大的客户群将高昂成本進行攤銷,對用户來説,是成本更低的方案。這就要求雲存儲服務商在用户規模、成本優勢上,拉開顯著差距。
3. 可靠性存疑。
分布式存儲分為開源和自研兩條路線,目前主流的開源技術如 Ceph、Swift、HDFS、GlusterFS、Lustre,均為國外技術并托管在國外開源社區,存在一定的供應鏈風險。在大規模部署時,開源存儲產品的穩定性和安全性存在一定挑戰。作為數據基礎設施的存儲,進行國產化替代,尤其需要注重自研能力,廠商對存儲系統的性能、穩定性、安全性具備完全控制權,保證產品的性能和穩定性,最大化降低用户應用風險。對廠商的資金實力、研發能力、產品迭代優化等,提出了較高的要求。
可以看到,數據大爆發的時代背景下,存算分離架構會越來越有優勢。
從集中式存儲到分布式存儲只是第一步,第二次更新是做到真正的存算分離,才能支撐大模型、AIGC、自動駕駛等高質量存儲訴求,推動存儲產品向更先進的存算分離架構演進,急需實力絕群、自主創新的技術力量帶來改變。
先進存儲,雲海為橋
李白在《關山月》中寫道:明月出天山,蒼茫雲海間。長風幾萬裏,吹度玉門關。橫亘在李白們和長安之間的迢迢路途,有沒有一條 " 捷徑 " 呢?
2012 年,率先踏上數字化行程的京東,正式開啓自研存儲產品的研發,經過十餘年的發展,這些關于存儲的經驗,都凝結為京東雲的思考,以及自研分布式統一存儲平台 " 雲海 " 的核心能力。
具體來説,傳統分布式存儲像是地上的路,而 " 雲海 " 更像是一座直達的橋,跨越了重重關卡,更快抵達先進存儲的目的地。
第一,性能關。
零售電商高并發的業務特點以及金融對安全穩定的剛性需求,深刻影響着京東雲對存儲穩定性的理解及要求。在京東 618 奇迹的背後,離不開的極致性能與堅如磐石的穩定性支撐。
性能,對于電商直播、遊戲、AI 訓練、自動駕駛等高性能計算場景是必備剛需。以 AI 訓練為例,大模型參數規模已向萬億級邁進,數據的讀寫速度、搬運速度與吞吐量,會直接影響到模型訓練效率。要縮短業務模型的訓練迭代周期,底層存儲必須具備極高的性能指标和并發能力。
作為京東雲十年磨一劍的分布式存儲產品,雲海支持全冗餘部署、多機房災備,并不斷融入無 leader 非仲裁協定、智能流控、智能化運維等技術,持續突破穩定性的能力極限。
同時,通過架構的革新,雲海實現了跨越式的性能提升,在這兩年的京東 618 中,基于雲海的存算分離系統架構,使得原本由于性能問題很難全面實施的存算分離得以落地,面對吞吐量 TB/s、IOPS 上億級的壓力,依然能夠提供順滑的存儲體驗。
極致性能和穩定性支撐,讓 " 雲海 " 能夠滿足新興復雜應用和井噴數據規模的存儲需求。
第二,成本關。
無論業務規模大或小,IT 基礎設施的降本是企業永恒的追求。以京東為例,截至 2023 年 Q2,京東在自營商品 SKU 達到千萬級的基礎上,庫存周轉天數繼續保持着 31.7 天的全球領先水平,運營着超 1600 個物流倉庫,超過 56 萬名員工。如此龐大復雜體系的高效運轉,每天產生着海量的數據,如何以最低的成本來存儲,成為雲海必須要解決的問題。
雲海通過高性能支撐上層應用存算分離、EC 超低冗餘技術等,大幅提升磁盤物理使用率、得盤率與存儲密度,全面優化存儲成本。
今天,雲海已實現 1.1x 級别副本的超低冗餘存儲,以及行業内最大規模 QLC-磁碟 的落地,成本技術指标領跑行業,為數字經濟的長期可持續發展奠定了基礎。
第三,自主關。
京東完全掌握雲海底層架構設計和核心代碼主動權,核心技術自主可控,并就開源框架常見性能、穩定問題,進行了針對性優化。與所有主流國產化平台兼容互認,包括作業系統、數據庫、中間件、伺服器、CPU、主機板、網卡、磁盤等,助力政企客户實現全面國產可控。
因此," 雲海 " 可以在全面自主的基礎上,保證存儲性能,做到真替真用,打消了國產化替代的後顧之憂,全面滿足政府客户、企業客户信創需求。
" 雲海 " 為橋,讓存算分離的分布式存儲不再遙遠。那麼,這股先進技術的 " 春風 ",能否從京東内部實踐吹向千行百業,抵達產業深處呢?
逐夢長安
接地氣的技術理想主義
數字經濟的繁榮,不僅需要李白的驚才絕豔,也需要高适的腳踏實地,将其一點一滴地踐行。
作為數字新基建的先進存儲,要結合各行業對雲盤的具體業務訴求,真正落地并降本增效,是不能懸浮在天上的,要幹苦活、累活。
《長安三萬裏》中,高适對李白説:你是谪仙人,要回天上。我是世間人,我在世間盤桓。
和現實中的產業站在一起,正是京東雲腳踏實地、關注現實的一面。
京東集團技術委員會主席、京東雲事業部總裁曹鵬曾提到,我們一直相信,技術進步來自產業實踐,又反哺于產業發展。在 " 雲海 " 存儲身上,解決產業中實際而具體的存儲問題,将存算分離的分布式存儲真正落地,更将 " 高适 " 的那一面顯現了出來。
為了讓雲海更适配產業訴求,京東雲還做了大量工作:
首先是務實。自己的降落傘自己先跳,京東雲基于京東集團内部豐富的存儲應用場景,以及對降本提效的極致追求,推動雲海實現由實際業務推動的高速迭代,驗證雲海的技術先進性、有效性、可靠性。
此外,京東雲堅持讓客户説話,讓市場説話。" 雲海 " 與真實產業、現實場景結合的案例正在不斷激增,在各行業顯現出先進存儲的真實價值:真省錢,京東雲存儲助力某大型消費金融公司打造存算分離大數據分析系統,實現有效降本;真可靠,京東雲存儲助力某政府部門建設穩定安全的國民養老保險平台,數據的安全合規存儲,是項目首要需求;真可用,某自動駕駛公司依托京東雲存儲,構建高性能自動駕駛模型訓練平台,大幅提高訓練效率。這些真實的案例,幫助企業在數字化轉型中,更加笃定地踏上先進存儲這條必然之路。
另外,為了匹配中國企業的差異化特點和不同部署需求,京東雲帶來了更懂中國市場的多元化交付模式。全新發布了雲海一體機,可同時支持純軟授權或軟硬一體機形式獨立交付,也可作為存儲标準化產品,以純軟或軟硬一體機的形式集成在解決方案中輸出,讓客户有更靈活的選擇。
用李白的逸興飛揚,展技術壯志;用高适的腳踏實地,向產業落地。雲海的一體兩面,正是數字中國所需要的技術理想主義。
在先進存儲的底座上,掘金數字時代,是我們這一代人的盛唐,是值得追逐的《長安三萬裏》。
和雲夥伴一同前行,這條數字化之路就不再孤單,也終将抵達。
>