今天小编分享的科学经验：阿里多模态检索智能体，自带o1式思考过程！复杂问题逐步拆解，动态调整下一步检索策略，欢迎阅读。
多模态检索增强生成（mRAG）也有 o1 思考推理那味儿了！
阿里通义实验室新研究推出自适应规划的多模态检索智能体。
名叫OmniSearch，它能模拟人类解决问题的思维方式，将复杂问题逐步拆解进行智能检索规划。
直接看效果：
随便上传一张图，询问任何问题，OmniSearch 都会进行一段 " 思考过程 "，不仅会将复杂问题拆解检索，而且会根据当前检索结果和问题情境动态调整下一步检索策略。
相比传统 mRAG 受制于其静态的检索策略，这种设计不仅提高了检索效率，也显著增强了模型生成内容的准确性。
为评估 OmniSearch，研究团队构建了全新Dyn-VQA 数据集。
在一系列基准数据集上的实验中，OmniSearch 展现了显著的性能优势。特别是在处理需要多步推理、多模态知识和快速变化答案的问题时，OmniSearch 相较于现有的 mRAG 方法表现更为优异。
目前 OmniSearch 在魔搭社区还有 demo 可玩。
动态检索规划框架，打破传统 mRAG 局限
传统 mRAG 方法遵循固定的检索流程，典型的步骤如下：
输入转化：接收多模态输入（例如影像 + 文本问题），将影像转化为描述性文本（例如通过 image caption 模型）。
单一模态检索：将问题或描述性文本作为检索查询，向知识库发送单一模态检索请求（通常是文本检索）。
固定生成流程：将检索到的信息与原始问题结合，交由 MLLM 生成答案。
OmniSearch 旨在解决传统 mRAG 方法的以下痛点：
静态检索策略的局限：传统方法采用固定的两步检索流程，无法根据问题和检索内容动态调整检索路径，导致信息获取效率低下。
检索查询过载：单一检索查询往往包含了多个查询意图，反而会引入大量无关信息，干扰模型的推理过程。
为克服上述局限，OmniSearch 引入了一种动态检索规划框架。
OmniSearch 的核心架构包括：
规划智能体（Planning Agent）：负责对原始问题进行逐步拆解，根据每个检索步骤的反馈决定下一步的子问题及检索策略。
检索器（Retriever）：执行实际的检索任务，支持影像检索、文本检索以及跨模态检索。
子问题求解器（Sub-question Solver）：对检索到的信息进行总结和解答，具备高度的可扩展性，可以与不同大小的多模态大语言模型集成。
迭代推理与检索（Iterative Reasoning and Retrieval）：通过递归式的检索与推理流程，逐步接近问题的最终答案。
多模态特征的互動：有效处理文本、影像等多模态信息，灵活调整检索策略。
反馈循环机制（Feedback Loop）：在每一步检索和推理后，反思当前的检索结果并决定下一步行动，以提高检索的精确度和有效性。
构建新数据集进行实验评估
为了更好地评估 OmniSearch 和其它 mRAG 方法的性能，研究团队构建了全新的 Dyn-VQA 数据集。Dyn-VQA 包含 1452 个动态问题，涵盖了以下三种类型：
答案快速变化的问题：这类问题的背景知识不断更新，需要模型具备动态的再检索能力。例如，询问某位明星的最新电影票房，答案会随着时间的推移而发生变化。
多模态知识需求的问题：问题需要同时从多模态信息（如影像、文本等）中获取知识。例如，识别一张图片中的球员，并回答他的球队圖示是什么。
多跳问题：问题需要多个推理步骤，要求模型在检索后进行多步推理。
这些类型的问题相比传统的 VQA 数据集需要更复杂的检索流程，更考验多模态检索方法对复杂检索的规划能力。
在 Dyn-VQA 数据集上的表现
答案更新频率：对于答案快速变化的问题，OmniSearch 的表现显著优于 GPT-4V 结合启发式 mRAG 方法，准确率提升了近 88%。
多模态知识需求：OmniSearch 能够有效地结合影像和文本进行检索，其在需要额外视觉知识的复杂问题上的表现远超现有模型，准确率提高了 35% 以上。
多跳推理问题：OmniSearch 通过多次检索和动态规划，能够精确解决需要多步推理的问题，实验结果表明其在这类问题上的表现优于当前最先进的多模态模型，准确率提升了约 35%。
在其它数据集上的表现
接近人类级别表现：
OmniSearch 在大多数 VQA 任务上达到了接近人类水平的表现。例如，在 VQAv2 和 A-OKVQA 数据集中，OmniSearch 的准确率分别达到了 70.34 和 84.12，显著超越了传统 mRAG 方法。
复杂问题处理能力：
在更具挑战性的 Dyn-VQA 数据集上，OmniSearch 通过多步检索策略显著提升了模型的表现，达到了 50.03 的 F1-Recall 评分，相比基于 GPT-4V 的传统两步检索方法提升了近 14 分。
模块化能力与可扩展性
OmniSearch 可以灵活集成不同规模和类型的多模态大语言模型（MLLM）作为子问题求解器。
无论是开源模型（如 Qwen-VL-Chat）还是闭源模型（如 GPT-4V），OmniSearch 都能通过动态规划与这些模型协作完成复杂问题的解决。
它的模块化设计允许根据任务需求选择最合适的模型，甚至在不同阶段调用不同大小的 MLLM，以在性能和计算成本之间实现灵活平衡。
下面是 OmniSearch 和不同模型配合的实验结果：
Paper：https://arxiv.org/abs/2411.02937
Github：https://github.com/Alibaba-NLP/OmniSearch
ModelScope Demo: https://modelscope.cn/studios/iic/OmniSearch/summary?header=default&fullWidth=false
— 完 —
投稿请发邮件到：
标题注明【投稿】，告诉我们：
你是谁，从哪来，投稿内容
附上论文 / 项目主页链接，以及联系方式哦
我们会（尽量）及时回复你
点这里关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>
