今天小編分享的互聯網經驗:“多寫多讀集群”被攻克,中國數據庫產業“越過山丘”,歡迎閲讀。
當存算一體架構被越來越多人诟病,數據傳輸性能的短板被填補後,存算分離的架構再度被推向台前。
撰文|張賀飛
編輯|沈菲菲
2020 年全國兩會期間,合肥工業大學應用數學研究所所長檀結慶在媒體采訪中提到:" 國產數據庫只占據不到 7% 的市場份額,尤其在數據庫最核心的交易業務中,鮮有能跟甲骨文同台競争并實現替換的產品。"
彼時 " 去 IOE" 浪潮已經興起十多年的時間,但囿于性能、穩定性等客觀因素,銀行、能源、電信等傳統業務,對國產數據庫依然是 " 不敢用、不願用、不想用 " 的态度,無形中為國產數據庫產業制造了一個天花板。
現在,這樣的景象正在成為過去式。
華為數據存儲與優炫軟體日前聯合發布 " 數據庫存算分離聯合解決方案 ",同時推出了高可靠、高性能共享存儲多寫多讀集群數據庫解決方案,旨在通過先進的存儲技術和創新的設計,滿足金融、運營商、能源、制造、政務等傳統業務場景下的數據庫替代需求。
放在數智化轉型的語境下,這樣的合作到底意味着什麼,能否打破國產數據庫產業的天花板?
01
國產數據庫:百花齊放,多而不強
和作業系統、中間件等基礎軟體相比,數據庫是國產替代最為迅猛的市場。然而外界對國產數據庫的印象,看起來并不太樂觀,用一句話來形容的話:數量上百花齊放,市場競争力卻只能説 " 多而不強 "。
為何會出現這樣的局面?外界的讨論有很多,并產生了兩種主流觀點。
一種説法是國產數據庫的起點比較晚。
早在 1978 年,Oracle 就推出了第一版數據庫,那時候中國的信息化轉型進程還無從談起。2000 年前後,國内出現了第一批數據庫企業,但全球數據庫產業已經走完了競争、并購、退出的過程,形成了典型的 IOE 格局,I 是指伺服器提供商 IBM,O 是指數據庫軟體提供商 Oracle,E 則是指存儲設備提供商 EMC。
2014 年後,在政策和市場紅利的驅動下,國產數據庫產業百花齊放,卻未能改變 Oracle、IBM 等主導市場的格局,國產數據庫只能占領一些縫隙市場。國產數據庫的數量越來越多,結果卻是高度的碎片化。
圖:2023 年墨天輪中國數據庫排行榜每月收錄數量
按照信通院與墨天輪的統計,目前國内有 280 多個數據庫產品。可稍微再深挖一些,超過 60% 的國產數據庫廠商不足 100 人,超過 500 人的企業不到 10%,再加上協同合作的不足,原本就相對薄弱的研發能力無法形成合力,難以進入金融、能源等 " 穩定性大于天 " 的業務場景,生存環境一直比較艱難。
另一種解釋是國產數據庫的架構問題。
2008 年左右,在阿裏等互聯網巨頭的倡導下," 去 IOE" 浪潮如火如荼。當時中國互聯網已經進入到高速增長期,出現了雙 11 購物節等數據量和用户量激增的場景,而 IOE 架構欠缺橫向擴展能力,無法滿足激增的性能訴求和靈活擴容訴求,一些企業開始使用通用伺服器打造靈活易擴展的分布式數據庫。
在數據庫的架構上,為了消除不必要的數據搬移延遲和功耗,看似提高效率并降低了成本的存算一體架構,逐漸被互聯網企業所追捧。存算一體的優勢很明顯,短板也同樣明顯。為了實現高可靠,通常采用一主多從的架構,多個從節點大部分時間都處于閒置狀态,導致 CPU 資源利用率極低。而且伺服器出現故障後,無法自動切換,需投入大量人力和時間手工恢復數據。
即使達夢、南大通用等老牌國產數據庫廠商,仍在堅持存算分離架構,可當整個市場的注意力轉向時,一兩家企業無法左右行業的風向。像銀行這樣對穩定性要求苛刻的傳統業務,由于國產化數據庫無法滿足需求,不得不把訂單交給國外廠商。
當存算一體架構被越來越多人诟病,數據傳輸性能的短板被填補後,存算分離的架構再度被推向台前。華為數據存儲與優炫軟體的合作,就是新背景下的叙事,試圖用軟硬結合的方式闖出一條新路。
02
多寫多讀集群:難題背後的新解法
存算分離的概念不難理解,簡單地説就是分别構建計算資源池和存儲資源池,全局共享一份數據,一些不必要的消耗可以被避免,進一步提升了數據庫的性能,即使某個伺服器出現了故障,也不會導致數據丢失。
在存算分離的架構下,華為數據存儲與優炫軟體共同發布了 " 數據庫存算分離聯合解決方案 ",主要包含三個子方案:
一是主備集群部署方案,采用數據庫一主一從架構,保證業務高可用,并具備易部署、易管理等特點,适用于 OA、門户、郵箱、訂單管理等業務系統;
二是讀寫分離集群部署方案,采用一主多從架構,通過存算分離+主從數據強一致性技術确保從節點可讀,具有高性能、易擴展、高可靠等優勢,适用于金融賬務系統、ERP 系統、CRM 系統、生產制造、研發系統等中大型關鍵交易應用;
三是多寫多讀集群部署方案,采用多主架構,通過共享存儲+SRAC 技術确保全局節點數據讀寫強一致性,并達成多寫多讀、負載均衡、腦裂控制等效果,具備極高的可靠性與性能擴展潛力,适用于金融、電信、能源、交通、财税、生產制造等行業中對可用性、性能要求極高的大型核心交易系統。
三個子方案對應着不同的業務場景,其中最為矚目的正是多寫多讀集群部署方案,在很大程度上關系着國產數據庫能否在最核心的交易業務中實現對 Oracle RAC 的替代。
以一個常見的支付場景為例:當銀行拒絕用户的支付請求時,需要快速查詢用户過往的支付習慣,判斷支付請求是否有風險,同時以彈窗的方式進行風險提示。這就需要數據庫有很高的處理復雜事務的能力,業務的連續性要求高、絕對的高可用性、業務和數據的一致性,以及一定的可擴展性。
國内對 RAC 的替代由來已久,大多采用三種方式:中間件模拟、分布式數據庫以及類似 RAC 的技術路線。優炫軟體的 " 多寫多讀集群部署方案 ",采用的就是 RAC 的路線,可以直接進行國產替代。
除了優炫軟體持續 10 年時間的高壓投入,存儲性能在攻克多寫多讀集群的難題中扮演了至關重要的角色。
想要實現多寫多讀集群,存儲環節面臨着多個節點并發讀寫、極高的并發吞吐量、高可靠性等挑戰,華為 OceanStor Dorado 全閃存存儲 50 μ s 的極致時延、2100 萬 IOPS 和極致穩定的 SmartMatrix 全互聯架構,讓整體性能比同等配置的普通存儲提升了 30%,可滿足不同類型的交易型業務訴求。
數據庫系統遵循 " 木桶理論 ",硬體和軟體任何一環存在短板,都将制約數據庫的發展。華為數據存儲和優炫軟體的合作,無疑為整個數據庫行業提供了新的解題思路:優炫數據庫的軟體優勢和華為 OceanStor 閃存存儲的硬體優勢融合後,原先橫亘在國產數據庫頭上的 " 魔咒 " 悄然被解除。
03
越過山丘:行業已經形成了新共識
如果説十幾年前的 " 去 IOE" 浪潮中,過于聚焦互聯網業務的需求,選擇性忽略了傳統業務的訴求。華為數據存儲和一眾數據庫廠商的聯合創新,目的正是為了關鍵行業的核心系統上,不斷縮小與國際領先梯隊在性能、可靠性上的差距,提升國產數據庫的綜合競争力。
特别是在 " 存算分離 " 架構上,不只是優炫軟體,華為數據存儲已經和不少數據庫廠商推出聯合解決方案,在不少領網域實現了跨越式更新。
比如萬裏數據庫與華為數據存儲聯合發布的 " 存算分離 & 多主架構聯合創新方案,突破了數據庫多讀多寫的業界難題,大幅提升了數據庫性能,同時降低系統的建設成本。以性能為例,通過數據庫跨節點緩存池化技術,實現了全局表并發讀寫、事務并發處理能力,相比于傳統的主備數據庫和分片數據庫,性能在不同場景下可提升 10 倍。
再比如華為數據存儲與南大通用共同發布的 " 金融核心級數據庫高可用解決方案 ",基于存算分離 + 共享存儲架構,聯合 GBase 南大通用數據庫和華為 OceanStor 閃存存儲,提供了滿足金融核心系統要求的高性能、高可用數據庫解決方案。
其中一個不可小觑的創新是雙重容災機制,在應用層實現了基于邏輯復制的數據庫容災、備庫可讀,在存儲層依托 OceanStor 閃存存儲 HyperMetro A-A 雙活能力,确保數據高效、完整復制到容災站點,且不影響工作站點性能,确保 RPO=0,确保數據不丢失、業務快速恢復,滿足金融核心系統的業務要求。
國產數據庫以往被頻頻诟病各自為戰,對比 IOE 這樣的 " 黃金組合 ",國内數據庫市場可謂一盤散沙。不同廠商間缺少密切的合作,無法構建一個良性生态系統,無法脱離國外品牌為主導的生态圈,導致多而不強的市場格局。
優炫軟體、萬裏數據庫、南大通用、海量數據……華為數據存儲就像是一條紐帶,把不同數據庫廠商凝聚在了一起,也許現階段的生态協作還不是特别緊密,但 " 存算分離 + 共享存儲架構 " 已經是一種行業共識。
借用一位數據庫從業者的説法:國内數據庫行業并不缺少優秀的工程師,重要的是找到正确的問題與正确的方向去發力。
沿循這樣的邏輯,随着越來越多的數據庫廠商選擇華為作為夥伴,和華為數據存儲進行聯合方案創新,一個有利于國產數據庫產業崛起的良性生态,已經初具雛形。在自主創新的道路上默默苦行了十幾年的中國數據庫產業,正在越過山丘,等待他們的,将是一個繁榮的數據庫生态。
04
寫在最後
市場咨詢機構 Gartner 曾在 2022 年發布的《數據庫中國市場指南報告》中預測:到 2025 年,中國分析型數據庫市場來自海外廠商的将只剩下 30%,交易型數據庫市場海外廠商市場也只會剩下 50% 左右。
可能在一年多以前,不少人還會對 Gartner 的預測數據表示懷疑,畢竟 IOE 在交易型數據庫市場還是不可替代的存在。伴随着 " 存算分離 + 共享存儲架構 " 的不斷創新、突圍,Gartner 的預測離現實已經越來越近。