今天小編分享的科學經驗：AI理解27分鍾長視頻超越GPT-4o，港理工新國立開源新框架：角色化推理+鏈式LoRA，歡迎閱讀。
AI 能像人類一樣理解長視頻。
港理工、新加坡國立團隊推出 VideoMind 框架，核心創新在于角色化推理（Role-based Reasoning）和鏈式 LoRA（Chain-of-LoRA）策略。
相關論文已上傳 arXiv，代碼和數據全部開源。
随着視頻數據量的激增，如何理解和推理長視頻中的復雜場景和事件成為了多模态人工智能研究的熱點。不同于靜态影像，視頻不僅包含視覺信息，還包含時間維度上的動态變化，這要求模型在理解視頻時不僅要識别畫面中的物體和場景，還要理解這些物體和場景如何随時間變化和相互作用。
傳統的基于文本和影像的推理模型（如 OpenAI o1， DeepSeek R1 等）往往無法應對這種復雜的時間維度推理任務。
VideoMind 框架
區别于文本和圖片，長視頻理解難以用傳統的單次感知 + 純文字推理實現。
相比之下，人類在理解長視頻（如教學視頻、故事類視頻）時往往會尋找相關片段并反復觀看，以此獲取更可靠的結論。
受該現象啟發，作者根據視頻理解所需要的 4 種核心能力（制定計劃、搜索片段、驗證片段、回答問題），為 VideoMind 定義了 4 個角色，并構建了一個角色化的工作流，有效地解決了長視頻中的時序推理問題。
規劃者（Planner）
根據問題動态制定計劃，決定如何調用其他角色（如先定位，再驗證，最後回答問題）;
定位器（Grounder）
根據給定的問題或查詢，精确定位與之相關的視頻片段 ;
驗證器（Verifier）
對定位得到的多個時間片段進行驗證，确保其準确性 ;
回答者（Answerer）
基于選定的視頻片段進行理解，生成最終答案。
△圖 1：傳統純文字推理和 VideoMind 的角色化推理
為了高效整合以上角色，作者進一步提出了鏈式 LoRA（Chain-of-LoRA）策略，在一個統一的 Base 模型（如 Qwen2-VL）上同時加載多個輕量的 LoRA Adapter，并在推理時根據需要進行動态切換，以實現不同角色間的轉換。該策略僅需要在 Base 模型上添加少量可學習參數，即可實現多個角色 / 功能間的無縫切換，既獲得了比單一模型顯著更優的性能，也避免了多模型并行帶來的計算開銷，從而在确保性能的同時大幅提高了計算效率。
△圖 2： VideoMind 的整體架構和推理流程 VideoMind 推理流程
如圖 2 所示，模型接收一個視頻和一個用戶提出的問題作為輸入，通過切換多個角色來推理出最終答案。其中，Planner 首先對視頻和問題進行分析，執行後續推理的計劃，其結果以 JSON list 的形式呈現。推理計劃主要可分為以下三種：
△圖 3：VideoMind 的三種推理模式
其中（i）主要針對長視頻問答任務（Grounded VideoQA），需要使用 Grounder + Verifier + Answerer 三個角色進行作業；（ii）針對視頻時序定位任務（Video Temporal Grounding），使用 Grounder + Verifier 來進行相關片段的精準查找；（iii）針對短視頻問答，該場景下由于視頻較短，無需對其進行裁剪，故直接使用 Answerer 進行推理。
△圖 4：Timestamp Decoder 模塊
Grounder 負責接收一個自然語言查詢，并在視頻中定位相關片段。針對這一復雜任務，研究團隊提出了 Timestamp Decoder 模塊，将離散的 Token 預測任務和連續的時間回歸任務解耦開來，并使 LLM 通過 Special Token 進行調用，實現了強大的 Zero-shot 時序定位性能。
△圖 5：Verifier 的驗證策略
為保證時間分辨率，Grounder 往往工作在較低的空間分辨率下，因此獲得的時間片段可能會不準确。針對此問題，作者設計了 Verifier 角色來對每個片段進行放大驗證，并從多個候選片段中選取置信度最高的作為目标片段。試驗證明該策略可以進一步顯著提高 Temporal Grounding 任務的性能。
△表 1：VideoMind 的訓練數據集
為訓練 VideoMind，作者針對不同角色收集 / 制作了多個數據集，共計包含接近 50 萬個樣本。不同角色使用不同數據集進行訓練，并在推理時合并加載，以确保每個角色的性能最大化。所有訓練數據（包括前期探索使用的更多數據集）全部公開可用。
實驗與評估
為了驗證 VideoMind 的有效性，作者在14 個公開基準測試集上進行了廣泛的實驗，涵蓋了長視頻定位 + 問答（Grounded VideoQA）、視頻時序定位 ( Video Temporal Grounding ) 和普通視頻問答 ( General VideoQA ) 等任務。
△表 2：用于 VideoMind 評測的基準測試集
（1）視頻定位 + 問答（Grounded VideoQA）
在 CG-Bench、ReXTime、NExT-GQA 等長視頻基準上，VideoMind 在答案精确度和時序定位準确性方面表現出了領先優勢。特别的，在平均視頻長度約為 27 分鍾的 CG-Bench 中，較小的 VideoMind-2B 模型在時序定位和問答任務上超越了 GPT-4o、Gemini-1.5-Pro 等最先進的模型。
△表 3：CG-Bench 數據集的測試結果
△表 4：NExT-GQA 數據集的測試結果
（2）視頻時序定位（Video Temporal Grounding）
VideoMind 的 Grounder 通過創新的 Timestamp Decoder 和 Temporal Feature Pyramid 設計，顯著提高了視頻時序定位的準确性。Verifier 的設計進一步提升了高精度定位的性能。VideoMind 在 Charades-STA、ActivityNet-Captions、QVHighlights 等基準上都取得了最佳性能。此外，VideoMind 也是首個支持多片段 grounding 的多模态大模型，因此可以在 QVHighlights 數據集上跟現有模型公平對比。
△表 5：Charades-STA 數據集的測試結果
△表 6：ActivityNet Captions 數據集的測試結果
△表 7：QVHighlights 數據集的測試結果
（3）一般視頻問答（General VideoQA）
對于通用的視頻理解問題，VideoMind 也表現出了強大的泛化能力。在 Video-MME、MVBench、MLVU、LVBench、LongVideoBench 等基準上，VideoMind 得益于其 Planner 的設計，可以自适應地決定是否需要 grounding，其性能超越了許多先進的視頻問答模型，顯示了其在不同視頻長度下的優越表現。
△表 8：Video-MME、MLVU 和 LVBench 數據集的測試結果
△表 9：LongVideoBench 數據集的測試結果
以下例子展現了 VideoMind 在實際場景中的推理流程。給定一個視頻和一個問題，該模型可以拆解問題、指定計劃、搜索片段、驗證結果，并根據獲取的片段推理最終答案。該策略相比傳統的純文字推理（左下部分）更加符合人類行為，結果也更加可靠。
△圖 6：VideoMind 的推理流程可視化總結
VideoMind 的提出不僅在于視頻理解性能的突破，更在于提出了一個模塊化、可擴展、可解釋的多模态推理框架。該框架首次實現了類似人類行為的 " 指定計劃、搜索片段、驗證結果、回答問題 " 流程，真正讓 AI 能 " 像人類一樣理解視頻 "，為未來的視頻理解和多模态智能系統領網域奠定了基礎。
項目主頁：https://videomind.github.io/
論文鏈接：https://arxiv.org/abs/2503.13444
開源代碼：https://github.com/yeliudev/VideoMind
開源數據：https://huggingface.co/datasets/yeliudev/VideoMind-Dataset
在線 Demo：https://huggingface.co/spaces/yeliudev/VideoMind-2B
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
學術投稿請于工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點亮星标
科技前沿進展每日見
