今天小編分享的互聯網經驗:信創基礎軟體強勢崛起,群雄逐鹿百億市場,歡迎閲讀。
文 / 盛佳瑩
随着數據應用需求不斷深化,大數據平台架構持續演進,湖倉一體作為新的技術範式受到了高度關注,2020 年,湖倉一體概念一經提出便成為大數據平台的主流架構。
兩年時間過去,中國湖倉一體平台軟體市場發展迅速,湧現出一批代表廠商,越來越多的企業也将湖倉一體視作數字化轉型的重要基礎設施。
近日,愛分析發布了《2022 年中國湖倉一體平台市場研究報告》(以下簡稱報告),從多角度對湖倉一體平台市場進行了深度剖析,詳細梳理了湖倉一體平台的實現路線,研究分析了湖倉一體平台市場規模以及產業落地。
市場高速增長,湖倉一體優勢明顯
代表更先進技術能力的湖倉一體将迎來高速發展期,據報告測算,未來三年湖倉一體市場復合增長率達 86%,預計 2025 年國内市場規模将達到近 100 億元。随着技術發展的不斷成熟,中國湖倉一體市場格局初顯,各大廠商群雄逐鹿,場面火熱。在《2022 年中國湖倉一體平台市場研究報告》中可以看到,在早期就布局湖倉一體技術的新鋭企業科傑科技以 11.1% 的市場占有率排名第一。
事實上,湖倉一體的崛起絕非偶然,而是順應了大型組織數字化轉型的發展趨勢。
過去,在不同的歷史階段,行業采用數據倉庫和數據湖架構。但随着時代發展,企業的數據量級持續擴展,數據類型多元化,以及數字化轉型深入企業數據應用場景變得日益復雜。
這要求企業使用一套可以實現海量異構數據的低成本存儲和高效分析的架構。
而湖倉一體可以實現海量異構數據的統一存儲、計算、開發、管理和服務,支持多種高級分析引擎,為企業打破數據孤島、提高數據應用價值。
目前行業内主要有兩條技術路徑來實現湖倉一體。
一是湖上建倉,即多源異構數據先統一 ETL 至數據湖中進行集成、存儲,再被 ETL 到數據倉庫中,支持數據分析;同時也支持數據科學、數據挖掘、機器學習、深度學習等多種計算分析引擎訪問。但湖上建倉沒有完全解決數據一致性、數據冗餘等問題,沒有真正實現數據統一管理,而且從數據湖 ETL 數據到數據倉庫的形式,也帶來了 ETL 的復雜性。
第二種路徑是湖倉融合。将數據湖多類型數據低成本存儲優勢與數據倉庫高效分析能力融合,通過事務層實現元數據統一,徹底消除數據孤島、數據冗餘,以一套數據實時、準确地支持多種工作負載,加速數據共享流動和價值挖掘。
湖倉融合架構能夠很好的支持存算分離和批流一體實現,針對企業目前存在多架構混合現狀,能夠實現多架構的統一納管和數據資產的統一管理。
在數字化轉型時代,湖倉融合無疑更能有效滿足企業對多元應用場景的復雜需求,也是如今湖倉一體架構的主流技術路線。
湖倉一體廠商湧現,新鋭企業科傑科技成為領跑者
究其原因,科傑科技能夠在湖倉一體市場拔得頭籌離不開其選擇的技術路徑,更源于企業保持專注且善于做減法,科傑科技致力于提供復雜場景下大數據基礎軟體產品服務,其核心產品湖倉一體數據智能平台 KeenData Lakehouse 是基于雲原生技術自主研發的數據底座產品,提供端到端的一站式大數據基礎軟體解決方案,幫助企業實現 IT 到 DT 的轉型。產品應用了包括 Data Fabric、Active Metadata Management、Data Mesh 等在内的多項領先技術,融合了 DataOps 和 Observability 理念,将數據開發 IDE 化、流程化、協作化和自動化,同時產品工程化能力和治理能力相融合的設計能極大降低 IT 技術人員和半 IT 技術人員工程的難度,提高企業自治理能力。
值得一提的是科傑科技始終對技術的持續精進,将創新技術投入體現在其產品的完善程度和服務的每一個客户中,科傑科技湖倉一體數據智能平台 KeenData Lakehouse 在服務某世界 500 強綜合零售客户中與海外知名廠商同台競技,最終 KeenData Lakehouse 在技術性能、功能、穩定性的測試中勝出,獲得海外客户認可并赢得項目。
國内湖倉一體廠商,相較國外企業的垂直技術能力,平台屬性更明顯。但不同在廠商在實現湖倉一體的路徑和行業布局上有較明顯區别。科傑科技在實現湖倉一體路徑上采用湖倉融合的技術架構:
科傑科技湖倉一體數據智能平台 KeenData Lakehouse 技術架構圖 圖片來源:愛分析
一方面,可以面向上遊兼容納管數據庫、數據倉庫、數據湖等多源異構系統;另一方面,面向下遊提供完善的基礎平台能力,如基于 DataOps 理念的數據工程體系支持數據低代碼開發;數據治理與數據工程融合可實現主動元數據探查、基于 AI 增強的數據血緣分析等主動實時的數據治理;以及基于數據虛拟化提供智能指标、智能标籤等數據業務表達能力。
湖倉一體在步入創新深化期被廣泛應用于多個行業。目前,科傑科技的服務範圍輻射國内以及亞太地區,覆蓋金融、工業、能源、汽車、零售等眾多行業頭部客户,如中國聯通、中國石化、中國一汽、國家電網、吉利汽車、中金公司、永旺集團等公司。
新興技術的發展正在加速數字中國構建,數字經濟與實體深度融合成為諸多行業必行之路。
基于湖倉一體平台軟體構建的數據底座正在成為越來越多的大型企業夯實數據根基的選擇。當下,一些優質的企業已經形成了市場規模和示範效應,當一個行業從野蠻成長、跑馬圈地的階段向上發展為逐漸清晰的產業格局,誰會成為下一個獨角獸?我們拭目以待!