今天小編分享的互聯網經驗:騰訊雲數據庫TDSQL再破世界紀錄,實現“雙榜第一”,歡迎閲讀。
國產數據庫再破世界紀錄!
10 月 22 日,據國際事務處理性能委員會官網信息,在數據庫 " 決策支持類 " 性能測試 TPC-DS 中,騰訊雲數據庫 TDSQL 以 7260 萬分、37.52 元同時刷新性能和性價比紀錄,登頂世界第一。
TPC 針對數據庫各項性能推出的基準測試,被譽為數據庫界的 " 奧林匹克 "。去年,騰訊雲 TDSQL 已經在數據庫 " 事務處理類 " 性能測試 TPC-C 中刷新世界紀錄。這标志着在數據庫最核心的兩個應用場景下,騰訊雲 TDSQL 都取得了世界最佳性能紀錄,成為 " 雙榜 " 第一。
中國工程院院士鄭緯民對此表示,國產數據庫多次打破性能瓶頸,體現了國内基礎軟體持續打磨内功的決心,以及穩定輸出技術能力的底藴。
原國家科技部秘書長、黨組成員、國際歐亞科學院院士張景安表示,數據庫作為信息技術的基石,其性能與穩定性直接關系到各行各業的數字化轉型進程。我國軟體企業在兩項國際标準測試中屢破紀錄,标志着中國在數據庫這一核心軟體技術領網域正邁向國際先進水平,有助于增強我國的國際科技競争力。
計算性能飙升 3.8 倍,刷新性能與性價比紀錄
TPC-DS 是一個針對數據庫管理系統分析性能的基準測試。它模拟一個大型零售商銷售數據的在線數據分析(OLAP)場景,通過 99 個不同類型的分析任務,考察底層數據庫的處理耗時、并發性能和導數性能等指标,是數據庫產品分析處理能力和技術先進性的金标準。
騰訊雲數據庫研發總經理潘安群介紹,此次騰訊雲參與打榜的 TPC-DS 測試數據量級達 10TB,相當于 10 億頁電子書,包含銷售紀錄、退貨記錄、時間信息等 17 項維度的 24 張表格。其中,最大的一張表高達 288 億行數據。
在海量數據中,騰訊雲 TDSQL 需要歷經數據導入、單任務計算、多任務并行計算、數據變更等多項測試,關聯十幾個 " 億級 " 表格,聯合計算出例如 " 銷量排名前十的商品從何時開始網店銷量超過門店 " 等信息。在這個過程中,TPC 甚至還會在數據變更時随機銷毀數據增加難度。
結果顯示,騰訊雲 TDSQL 項測試耗時均大幅領先榜單其他廠商,99 個復雜分析任務單任務平均耗時 4 秒以内,領先榜單第二名一倍;多任務并行計算平均耗時 8 秒以内,領先兩倍,以 7260 萬分的性能評分,将決策支持類榜單紀錄提升 3.8 倍。
在復雜任務處理能力大幅提升的基礎上,TDSQL 将每 1000 評分的價格相比同類產品減少 1/3,同時刷新 TPC-DS 性能與性價比紀錄。
三大自研技術能力,突破性能瓶頸
聯機分析處理(OLAP)場景下,如何充分發揮每個算力單元的極致潛力,以及确保每個任務之間不等待和阻塞,一直是數據庫領網域的重點突破瓶頸方向。
潘安群介紹,騰訊雲 TDSQL 在分布式互動、并行計算、單核極致性能三個方向深度自研,保障了計算從多核到多進程再到多節點,能充分并行無阻塞運行,實現了性能的大幅提升。
TDSQL 通過自研 MPP 執行框架,優化了主流 OLAP 數據庫應用 "pull" 模型存在的數據傳輸 " 擁堵 " 瓶頸,保證所有計算任務全速順暢運行,通用性能提升 40%。
而在性能無法線性跟随 CPU 核數增加的業界難題上,TDSQL 通過自研并行執行框架,徹底去除并行進程間阻塞依賴,CPU 利用率提高至 95% 以上,能充分利用多核資源。
對于單核計算效率,TDSQL 團隊也有着極致追求。在以上并行框架的基礎上,TDSQL 自研了列式存儲和向量化執行引擎,在算法、結構、新一代 CPU 結合等方面深度優化單核任務執行效率,實現單核效率提升 1 倍以上。
雙榜第一,為產業發展築牢底座
數據庫世界性能榜單第一的每次易主,都标志着數據處理技術的向前推進。
去年,騰訊雲數據庫 TDSQL 順利通過 TPC-C 基準測試,性能達到每分鍾 8.14 億筆交易(tpmC),打破世界紀錄。期間,TDSQL 持續穩定運行這一超大規模集群,實現 8 小時無抖動,保障了超過 8600 億總事務、4 萬億條訂單詳細信息不出錯。
"TPC-C 的特點是多、穩、快、高頻小任務,考驗的是高并發場景下數據庫的極致性能和穩定性;TPC-DS 特點則是少、快、大、低頻大任務,考驗的是復雜任務場景下數據庫的綜合能力。在兩個核心場景下,騰訊雲 TDSQL 都實現了性能紀錄的極大突破。" 潘安群説。
雙榜第一也為產業發展築牢了更強的基座。據騰訊雲數據庫總經理王義成介紹,騰訊雲數據庫 TDSQL 已形成了金融級分布式、雲原生、分析型等多引擎融合的完整數據庫產品體系,能高效應對 OLTP、OLAP、HTAP 等多樣化的計算場景,滿足企業多樣化的國產數據管理需求。
在騰訊雲 TDSQL 的助力下,數字廣東粵省事實現流程再造和決策優化,實現民眾少跑路,數據多跑路;" 第七次全國人口普查 " 以 "OLTP+OLAP" 技術融合架構支持了十億級用户數據、七百萬個終端和百萬級峰值 TPS。
除此之外,這些優化能力還應用在了騰訊雲大數據 TChouse(雲數據倉庫)上,與芯片、伺服器、作業系統、雲底座一同構建起核心領網域自研產品體系,已具備軟硬一體的全棧融合創新能力。
雷峰網