今天小編分享的科技經驗:全球首個GPU加速向量數據庫誕生 這家中國公司聯手英偉達推出,歡迎閲讀。
《科創板日報》3 月 22 日訊(編輯 宋子喬) 向量數據庫開拓者與 GUP 王者聯手會擦出什麼樣的火花?
在 GTC2024 大會上,英偉達宣布全球首個 GPU 加速向量數據庫誕生——中國公司 Zilliz 與英偉達攜手發布了 Milvus2.4 版本。
向量數據庫是一種專門用于處理向量數據的數據庫系統,這類數據通常用于機器學習和人工智能應用中,如推薦系統、影像識别和自然語言處理等。GPU(圖形處理單元)因其并行處理能力而成為加速復雜計算任務的理想選擇,尤其是在處理大量數據時。
英偉達在 GPU 領網域的地位不用多説,Zilliz 的全稱是上海徐毓智能科技有限公司,是誕生于中國本土的初創公司,成立于 2016 年,總部位于上海。在向量數據庫系統領網域,Zilliz 是開拓者,研發了面向 AI 生產系統的向量數據庫系統。其技術和產品已經被全球超過 1000 家企業采用。
Milvus 是 Zilliz 的主要產品,它提供了一個易于使用的界面,允許開發者和數據科學家快速部署和擴展向量搜索服務。該產品以其高性能和可擴展性而聞名,能夠處理海量的向量數據,并提供毫秒級的查詢響應時間,還支持多種編程語言的 API,包括 Python、Java、Go 和 C++。
Milvus2.4 版本向量數據庫的創新點在于,利用 GPU 的高速計算特性,能夠快速執行向量相似性搜索和分析,支持更高的并發用户請求,同時降低延遲,提供更快的響應時間,使其成為支持實時決策和復雜數據分析的理想工具。
據介紹,它在業界首次采用了英偉達 GPU 的高效并行處理能力和 RAPIDS cuVS 庫中新推出的 CAGRA(CUDA-Accelerated Graph Index for Vector Retrieval)技術,提供基于 GPU 的向量索引和搜索加速能力。基準測試顯示,與目前市面上最先進的基于 CPU 處理器的索引技術相比,新版 GPU 加速 Milvus 能提供高達 50 倍的向量搜索性能提升。
▌向量數據庫——開發 AI 大模型的必備軟體
向量數據庫是專門用于存儲和管理向量數據,其具備的快速檢索、混合存儲、向量嵌入等能力很好的解決了 AI 大模型技術中普遍存在的知識時效性低、輸入能力有限、回答問題準确度低等問題,因此被視作開發和應用 AI 大模型過程中的必備的軟體基礎設施。
從實際應用案例來看,向量數據庫在 AI 大模型的訓練和推理過程中降本增效的效果已有所顯現。ChatGPT Plugins 外接向量數據庫,不僅大大拓展了 AI 大模型互動信息的範圍,還保護了用户隐私。Qdrant 向量數據庫與 Pienso 合作,已經實現在開源 AI 大模型的基礎上開發私網域大模型。
廣發證券認為,在過去 AI 模型訓練的數據量較小、數據類型單一的情況下,向量數據庫可應用的場景較小。自 2017 年 Transformer 模型推出後,各科技廠商開始大語言模型的探索,對于向量數據庫的需求才開始形成規模。随着微軟 365Copilot 以及 ChatGPT 企業版等标杆產品的落地,AI 應用的發展正逐步由點擴散到面,未來随着生成式 AI 大模型開發量和使用量的增長,向量數據庫的應用有望快速增長。
目前在商業化方面,向量數據庫行業還處于市場培育期,Zilliz、Pinecone 和騰訊雲均推出免費版本的產品給用户試用。以華為雲和星環科技為代表的廠商在非結構化數據處理具有一定技術積累的基礎上,也相繼推出了向量數據庫產品。
其中,星環科技是國内第一批進入向量數據庫領網域的公司,已經與英特爾聯合發布向量數據庫解決方案。