仅1/70的数据量，多模态检索效果却更优! 智源发布BGE-VL，合成数据立大功

今天小编分享的科学经验：仅1/70的数据量，多模态检索效果却更优! 智源发布BGE-VL，合成数据立大功，欢迎阅读。

BGE 系列模型自发布以来广受社区好评。近日，智源研究院联合多所高校开发了多模态向量模型 BGE-VL，进一步扩充了原有生态体系。

BGE-VL 在图文检索、组合影像检索等主要多模态检索任务中均取得了最佳效果。BGE-VL 借助大规模合成数据 MegaPairs 训练而成。

这一设计具备以下两大核心优势 :

优异的可扩展性：MegaPairs 结合多模态表征模型、多模态大模型和大语言模型，在海量图文语料库中高效挖掘多模态三元组数据。其算法能够以极低成本持续生成多样化且高质量的多模态三元组。本次发布的版本涵盖 2600 万条样本，为多模态检索模型的训练提供了大规模、高价值的数据支持。

卓越的数据质量：相较于传统多模态数据，MegaPairs 仅需 1/70 的数据量即可实现更优的训练效果。利用该合成数据，智源训练了多模态检索模型 BGE-VL，显著提升了多个主流多模态检索基准的性能。

BGE-VL 的技术报告已发布，相关数据、模型及代码资源将陆续向社区全面开放。

MegaPairs 构造

在大模型时代，信息检索需要满足人们日益多样化的需求，这种需求不仅体现在用户的多模态查询输入上，也体现在对多模态信息的需求上。例如，用户可能拍摄一张汽车外观图，并希望获取该款汽车的指定信息。在这种情况下，多模态检索器需要综合理解用户的影像和文本指令，并从多种模态的信息中检索出最相关的内容。

然而，现有的多模态检索模型通常基于单一形式的跨模态配对数据（如影像 - 文本对）进行训练，这使得它们难以处理复杂的组合模态输入。近年来，指令微调技术在文本检索和大语言模型等领網域已经证明了其增强多任务能力的有效性。然而，以往的多模态检索指令数据集大多依赖人工标注，限制了大规模多样化数据的获取。

为解决这一限制，智源 BGE 团队创新性地提出了MegaPairs 数据合成方法。该方法通过从现有大规模影像数据集中挖掘多样的关联影像对，并利用开源多模态大模型和大语言模型进行自动化指令生成，从而构建出高质量、可扩展、泛化性强的多模态检索指令微调数据集。团队基于 MegaPairs 的高质量数据，训练并开源多模态向量模型 BGE-VL 系列，实现了当前最佳的多模态检索能力。

MegaPairs 提出从现有大规模图文语料库中挖掘并构造大规模、高质量多模态检索指令数据集。

具体地，MegaPairs 的构造主要分为两个关键步骤：

（1）使用多种相似度模型从影像数据集中挖掘多样的影像对；

（2）使用开源的多模态大模型和大语言模型合成开放網域检索指令。

以下图为例，MegaPairs 首先从大规模影像数据集中采样一对影像 - 文本数据作为查询数据。然后，利用多种影像和文本相似度模型，挖掘出多组关联影像对（例如：同款汽车的外饰与内饰、同款汽车不同涂装、同品牌汽车未来概念图等）。接着，针对这些挖掘出的影像对，MegaPairs 采用两阶段标注方法：首先使用多模态大语言模型（MLLM）总结两张图片之间的关联关系，然后使用大语言模型（LLM）撰写最终的开放網域检索指令。

值得注意的是，MegaPairs 完全基于开源数据集和开源模型进行自动化构建和标注。通过引入多个相似度模型和两阶段标注方法，MegaPairs 能够在无需人工参与的情况下，扩展性地生成大规模、高质量且多样化的多模态检索指令数据集。

△MegaPairs 多模态三元数据构造流程

基于上述流水线，MegaPairs 合成了超过 2600 万条（查询影像 , 查询语句 , 目标影像）三元数据对。此外，鉴于 " 难负例 " 在训练检索模型的重要性，MegaPairs 对于每组挖掘的影像对数据都选取了其他相似图片作为难负例。

BGE-VL 模型

基于 MegaPairs 合成的大规模多模态检索指令数据集，智源 BGE 团队训练出了 3 款不同尺寸的多模态检索模型。包括基于 CLIP 架构的 BGE-VL-Base 和 BGE-VL-Large，以及基于多模态大模型架构的 BGE-VL-MLLM。团队发现，仅仅使用 MegaPairs 三元组数据训练，模型就在多个任务上实现了远超以往方法的的领先性能优势。

综合多模态嵌入任务性能表现

团队首先在 Massive Multimodal Embedding Benchmark（MMEB）上验证了 BGE-VL 模型的性能。MMEB 是一个综合性基准测试，涵盖了 4 大类共计 36 个不同多模态嵌入评测任务：分类（Classification）、视觉问答（Visual Question Answering）、检索（Retrieval）和视觉定位（Visual Grounding）。

△MMEB 评测任务示例图

在零样本性能表现方面，BGE-VL 在 MMEB 的多个任务类型和整体评分均实现了最优性能。更令人兴奋的是，MegaPairs 并未包含 MMEB 中的绝大部分任务类型数据（例如 Classification、VQA，Grounding），却能够实现良好的任务泛化能力。

根据 MMEB 的設定，团队进一步在 MMEB 的分布内（IND）集合（包含 36 个评测任务中的 20 个任务）上对 BGE-VL 进行了有监督微调。实验结果显示，BGE-VL 的平均性能指标相比直接在 MMEB 上微调的 VLM2Vec ( LLaVA-1.6 ) 模型高出 9.1 个百分点。同时，在分布外（OOD）数据集上的平均表现也比两版 VLM2Vec 分别高出 11.6% 和 7.1%。这些结果证明了 MegaPairs 数据的高质量和泛化能力。

组合影像检索性能

传统影像检索通常采用 " 文搜图 " 或 " 图搜图 " 的方式。近年来，组合影像检索作为一种新兴的影像搜索范式，允许用户同时输入影像和搜索指令，实现更精准的影像检索效果。这一方法被谷歌称为 " 下一代影像搜索范式 "。

在当前主流的组合影像检索评测集 CIRCO 上，BGE-VL 在不同模型尺寸上均显著刷新了现有基准。大幅超越包括谷歌的 MagicLens 系列和英伟达的 MM-Embed 等对比基线。具体而言，BGE-VL-MLLM 较之前的 SOTA 模型提升了 8.1 个百分点。此外，BGE-VL-Base 模型以不到 1/50 的参数量超越了如 MM-Embed 和 E5-V 等大模型底座的多模态检索器。这些实验结果有力展示了 MegaPairs 数据的有效性。