今天小编分享的科学经验：AI理解27分钟长视频超越GPT-4o，港理工新国立开源新框架：角色化推理+链式LoRA，欢迎阅读。
AI 能像人类一样理解长视频。
港理工、新加坡国立团队推出 VideoMind 框架，核心创新在于角色化推理（Role-based Reasoning）和链式 LoRA（Chain-of-LoRA）策略。
相关论文已上传 arXiv，代码和数据全部开源。
随着视频数据量的激增，如何理解和推理长视频中的复杂场景和事件成为了多模态人工智能研究的热点。不同于静态影像，视频不仅包含视觉信息，还包含时间维度上的动态变化，这要求模型在理解视频时不仅要识别画面中的物体和场景，还要理解这些物体和场景如何随时间变化和相互作用。
传统的基于文本和影像的推理模型（如 OpenAI o1， DeepSeek R1 等）往往无法应对这种复杂的时间维度推理任务。
VideoMind 框架
区别于文本和图片，长视频理解难以用传统的单次感知 + 纯文字推理实现。
相比之下，人类在理解长视频（如教学视频、故事类视频）时往往会寻找相关片段并反复观看，以此获取更可靠的结论。
受该现象启发，作者根据视频理解所需要的 4 种核心能力（制定计划、搜索片段、验证片段、回答问题），为 VideoMind 定义了 4 个角色，并构建了一个角色化的工作流，有效地解决了长视频中的时序推理问题。
规划者（Planner）
根据问题动态制定计划，决定如何调用其他角色（如先定位，再验证，最后回答问题）;
定位器（Grounder）
根据给定的问题或查询，精确定位与之相关的视频片段 ;
验证器（Verifier）
对定位得到的多个时间片段进行验证，确保其准确性 ;
回答者（Answerer）
基于选定的视频片段进行理解，生成最终答案。
△图 1：传统纯文字推理和 VideoMind 的角色化推理
为了高效整合以上角色，作者进一步提出了链式 LoRA（Chain-of-LoRA）策略，在一个统一的 Base 模型（如 Qwen2-VL）上同时加载多个轻量的 LoRA Adapter，并在推理时根据需要进行动态切换，以实现不同角色间的转换。该策略仅需要在 Base 模型上添加少量可学习参数，即可实现多个角色 / 功能间的无缝切换，既获得了比单一模型显著更优的性能，也避免了多模型并行带来的计算开销，从而在确保性能的同时大幅提高了计算效率。
△图 2： VideoMind 的整体架构和推理流程 VideoMind 推理流程
如图 2 所示，模型接收一个视频和一个用户提出的问题作为输入，通过切换多个角色来推理出最终答案。其中，Planner 首先对视频和问题进行分析，执行后续推理的计划，其结果以 JSON list 的形式呈现。推理计划主要可分为以下三种：
△图 3：VideoMind 的三种推理模式
其中（i）主要针对长视频问答任务（Grounded VideoQA），需要使用 Grounder + Verifier + Answerer 三个角色进行作业；（ii）针对视频时序定位任务（Video Temporal Grounding），使用 Grounder + Verifier 来进行相关片段的精准查找；（iii）针对短视频问答，该场景下由于视频较短，无需对其进行裁剪，故直接使用 Answerer 进行推理。
△图 4：Timestamp Decoder 模块
Grounder 负责接收一个自然语言查询，并在视频中定位相关片段。针对这一复杂任务，研究团队提出了 Timestamp Decoder 模块，将离散的 Token 预测任务和连续的时间回归任务解耦开来，并使 LLM 通过 Special Token 进行调用，实现了强大的 Zero-shot 时序定位性能。
△图 5：Verifier 的验证策略
为保证时间分辨率，Grounder 往往工作在较低的空间分辨率下，因此获得的时间片段可能会不准确。针对此问题，作者设计了 Verifier 角色来对每个片段进行放大验证，并从多个候选片段中选取置信度最高的作为目标片段。试验证明该策略可以进一步显著提高 Temporal Grounding 任务的性能。
△表 1：VideoMind 的训练数据集
为训练 VideoMind，作者针对不同角色收集 / 制作了多个数据集，共计包含接近 50 万个样本。不同角色使用不同数据集进行训练，并在推理时合并加载，以确保每个角色的性能最大化。所有训练数据（包括前期探索使用的更多数据集）全部公开可用。
实验与评估
为了验证 VideoMind 的有效性，作者在14 个公开基准测试集上进行了广泛的实验，涵盖了长视频定位 + 问答（Grounded VideoQA）、视频时序定位 ( Video Temporal Grounding ) 和普通视频问答 ( General VideoQA ) 等任务。
△表 2：用于 VideoMind 评测的基准测试集
（1）视频定位 + 问答（Grounded VideoQA）
在 CG-Bench、ReXTime、NExT-GQA 等长视频基准上，VideoMind 在答案精确度和时序定位准确性方面表现出了领先优势。特别的，在平均视频长度约为 27 分钟的 CG-Bench 中，较小的 VideoMind-2B 模型在时序定位和问答任务上超越了 GPT-4o、Gemini-1.5-Pro 等最先进的模型。
△表 3：CG-Bench 数据集的测试结果
△表 4：NExT-GQA 数据集的测试结果
（2）视频时序定位（Video Temporal Grounding）
VideoMind 的 Grounder 通过创新的 Timestamp Decoder 和 Temporal Feature Pyramid 设计，显著提高了视频时序定位的准确性。Verifier 的设计进一步提升了高精度定位的性能。VideoMind 在 Charades-STA、ActivityNet-Captions、QVHighlights 等基准上都取得了最佳性能。此外，VideoMind 也是首个支持多片段 grounding 的多模态大模型，因此可以在 QVHighlights 数据集上跟现有模型公平对比。
△表 5：Charades-STA 数据集的测试结果
△表 6：ActivityNet Captions 数据集的测试结果
△表 7：QVHighlights 数据集的测试结果
（3）一般视频问答（General VideoQA）
对于通用的视频理解问题，VideoMind 也表现出了强大的泛化能力。在 Video-MME、MVBench、MLVU、LVBench、LongVideoBench 等基准上，VideoMind 得益于其 Planner 的设计，可以自适应地决定是否需要 grounding，其性能超越了许多先进的视频问答模型，显示了其在不同视频长度下的优越表现。
△表 8：Video-MME、MLVU 和 LVBench 数据集的测试结果
△表 9：LongVideoBench 数据集的测试结果
以下例子展现了 VideoMind 在实际场景中的推理流程。给定一个视频和一个问题，该模型可以拆解问题、指定计划、搜索片段、验证结果，并根据获取的片段推理最终答案。该策略相比传统的纯文字推理（左下部分）更加符合人类行为，结果也更加可靠。
△图 6：VideoMind 的推理流程可视化总结
VideoMind 的提出不仅在于视频理解性能的突破，更在于提出了一个模块化、可扩展、可解释的多模态推理框架。该框架首次实现了类似人类行为的 " 指定计划、搜索片段、验证结果、回答问题 " 流程，真正让 AI 能 " 像人类一样理解视频 "，为未来的视频理解和多模态智能系统领網域奠定了基础。
项目主页：https://videomind.github.io/
论文链接：https://arxiv.org/abs/2503.13444
开源代码：https://github.com/yeliudev/VideoMind
开源数据：https://huggingface.co/datasets/yeliudev/VideoMind-Dataset
在线 Demo：https://huggingface.co/spaces/yeliudev/VideoMind-2B
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
学术投稿请于工作日发邮件到：
标题注明【投稿】，告诉我们：
你是谁，从哪来，投稿内容
附上论文 / 项目主页链接，以及联系方式哦
我们会（尽量）及时回复你
点亮星标
科技前沿进展每日见
