今天小编分享的科技经验:全球首个GPU加速向量数据库诞生 这家中国公司联手英伟达推出,欢迎阅读。
《科创板日报》3 月 22 日讯(编辑 宋子乔) 向量数据库开拓者与 GUP 王者联手会擦出什么样的火花?
在 GTC2024 大会上,英伟达宣布全球首个 GPU 加速向量数据库诞生——中国公司 Zilliz 与英伟达携手发布了 Milvus2.4 版本。
向量数据库是一种专门用于处理向量数据的数据库系统,这类数据通常用于机器学习和人工智能应用中,如推荐系统、影像识别和自然语言处理等。GPU(图形处理单元)因其并行处理能力而成为加速复杂计算任务的理想选择,尤其是在处理大量数据时。
英伟达在 GPU 领網域的地位不用多说,Zilliz 的全称是上海徐毓智能科技有限公司,是诞生于中国本土的初创公司,成立于 2016 年,总部位于上海。在向量数据库系统领網域,Zilliz 是开拓者,研发了面向 AI 生产系统的向量数据库系统。其技术和产品已经被全球超过 1000 家企业采用。
Milvus 是 Zilliz 的主要产品,它提供了一个易于使用的界面,允许开发者和数据科学家快速部署和扩展向量搜索服务。该产品以其高性能和可扩展性而闻名,能够处理海量的向量数据,并提供毫秒级的查询响应时间,还支持多种编程语言的 API,包括 Python、Java、Go 和 C++。
Milvus2.4 版本向量数据库的创新点在于,利用 GPU 的高速计算特性,能够快速执行向量相似性搜索和分析,支持更高的并发用户请求,同时降低延迟,提供更快的响应时间,使其成为支持实时决策和复杂数据分析的理想工具。
据介绍,它在业界首次采用了英伟达 GPU 的高效并行处理能力和 RAPIDS cuVS 库中新推出的 CAGRA(CUDA-Accelerated Graph Index for Vector Retrieval)技术,提供基于 GPU 的向量索引和搜索加速能力。基准测试显示,与目前市面上最先进的基于 CPU 处理器的索引技术相比,新版 GPU 加速 Milvus 能提供高达 50 倍的向量搜索性能提升。
▌向量数据库——开发 AI 大模型的必备軟體
向量数据库是专门用于存储和管理向量数据,其具备的快速检索、混合存储、向量嵌入等能力很好的解决了 AI 大模型技术中普遍存在的知识时效性低、输入能力有限、回答问题准确度低等问题,因此被视作开发和应用 AI 大模型过程中的必备的軟體基础设施。
从实际应用案例来看,向量数据库在 AI 大模型的训练和推理过程中降本增效的效果已有所显现。ChatGPT Plugins 外接向量数据库,不仅大大拓展了 AI 大模型互動信息的范围,还保护了用户隐私。Qdrant 向量数据库与 Pienso 合作,已经实现在开源 AI 大模型的基础上开发私網域大模型。
广发证券认为,在过去 AI 模型训练的数据量较小、数据类型单一的情况下,向量数据库可应用的场景较小。自 2017 年 Transformer 模型推出后,各科技厂商开始大语言模型的探索,对于向量数据库的需求才开始形成规模。随着微软 365Copilot 以及 ChatGPT 企业版等标杆产品的落地,AI 应用的发展正逐步由点扩散到面,未来随着生成式 AI 大模型开发量和使用量的增长,向量数据库的应用有望快速增长。
目前在商业化方面,向量数据库行业还处于市场培育期,Zilliz、Pinecone 和腾讯云均推出免费版本的产品给用户试用。以华为云和星环科技为代表的厂商在非结构化数据处理具有一定技术积累的基础上,也相继推出了向量数据库产品。
其中,星环科技是国内第一批进入向量数据库领網域的公司,已经与英特尔联合发布向量数据库解决方案。