騰訊安全發布雲原生安全數據湖，高性能數據分析助力企業邁向智能安全

今天小編分享的互聯網經驗：騰訊安全發布雲原生安全數據湖，高性能數據分析助力企業邁向智能安全，歡迎閱讀。

安全日志記錄着企業伺服器、雲基礎設施、應用程式等的全部執行過程，對日志數據進行追溯分析，可以準确清晰地了解企業 IT 設施狀況、排查安全隐患、檢索故障源頭等。

随着企業規模增長、數字化程度加深和安全設備的增加，安全日志數量呈指數級增長，而企業現行的日志處理平台在應對今天動辄 PB 級别的安全日志時，要麼是需要支付非常高昂的授權費和專業人力成本，要麼是性能瓶頸無法支撐 PB 級别體量的日志處理。

如何采用一套新的架構，能支撐企業在 PB 級别的數據裡實現秒級查詢，同時成本又可控？

9 月 20 日，騰訊安全發布全新一代雲原生安全數據湖，專注海量日志數據分析，助力企業構建一體化雲原生數據湖平台，邁向主動安全。據悉，在同等數據規模下，該產品的硬體成本僅為同類開源軟體的 1/10，此外在查詢性能特别是聚合查詢性能方面有了成倍的提升，能實現 PB 級日志的秒級查詢。

" 目前企業的日志處理平台普通使用開源大數據 ELK 等組件快速搭建，以收集告警數據為主，分析數據不全，而且執行長周期數據查詢需要分鍾級甚至小時級等待，而網絡安全是實時對抗的，任何以‘小時’為部門的數據分析產品肯定都不适用。" 騰訊安全大數據實驗室高級研究員楊浚宇表示。

兩年前，騰訊安全在服務客戶過程中發現，客戶普遍反應遇到日志存儲成本攀升、查詢效率低下的問題，因此騰訊安全大數據實驗室基于多年的大數據分析處理能力，前後花費兩年時間自主研發了一款面向雲原生的安全數據湖產品。

騰訊雲原生安全數據湖是基于雲原生的自研數據分析平台，利用日志數據無需修改、大量資料欄重復、有時間戳等特性進行了幾大創新：

· 架構領先：MPP 架構，采用 Rust 語言開發，針對日志及安全場景進行專項優化

· 極致降本：使用列存儲實現極致壓縮比，無索引架構避免索引開銷

·  一體化引擎：通過原子能力實現數據處理、查詢、存儲、分析一體化

· 插件式擴展：通過 SQL/SPL 語句支持不同分析場景，支持 " 插件式 " 擴容

· 易運維：面向雲原生架構實現存算分離、讀寫分離、從而實現一鍵彈性擴容，故障秒級切換

依托上述技術創新，騰訊雲原生安全數據湖實現了極致的壓縮比和數據處理效率，能将企業的安全運營存儲成本降低 90%；在底層架構上面向雲原生設計，支撐多實例、多用戶，能根據企業的實際需求實現彈性擴容。

此外，騰訊雲原生安全數據湖支持泛安全數據接入、加工、存儲、分析、告警、可視化等服務，還具備 " 插件化 " 應用開發能力，企業用戶可根據需求定制上層應用，并通過平台 +APP+ 合作夥伴構建完整的日志應用生态體系，全面賦能各類安全場景。

目前，該數據湖已經集成在騰訊安全 SOC+ 產品下，為企業安全運營管理提供基座。未來，騰訊安全還會對外提供獨立產品，助力企業構建雲原生數據湖平台。 

面向智能化時代，安全運營與管理是企業的安全免疫中樞系統，而安全大數據的智能分析能力将成為企業邁向智能安全的基礎。騰訊安全的安全運營產品矩陣始終圍繞一件事情，就是如何為客戶創造價值。未來，騰訊安全将持續開放技術原子能力，把騰訊領先的技術融合在企業現有的安全能力中，為千行百業的安全實踐注入數字安全免疫力。