大酷樂
  • 汽車
  • 理财
  • 軍事
  • 科技
  • 遊戲
  • 互聯網
  • 娛樂
  • 财經
  • 科學
  • 社會
  • 親子
  • 電影
  • 健康
  • 教育
  1. 首頁
  2. 科學

3B模型逆襲7B巨頭!Video-XL-Pro突破長視頻理解極限,大海撈針準确率超98%

2025-05-04 简体 HK SG TW

今天小編分享的科學經驗:3B模型逆襲7B巨頭!Video-XL-Pro突破長視頻理解極限,大海撈針準确率超98%,歡迎閲讀。

3B 模型超越 Meta 7B 模型,超長視頻理解 SOTA 刷新了!

來自上海交通大學、北京智源研究院、特倫托大學的聯合研究團隊推出了 Video-XL-Pro,實現近一萬幀視頻的單卡處理,大海撈針準确率超 98%。

現有的多模态大模型在超長視頻訓練和應用中仍存在顯著瓶頸:一方面,難以大規模訓練超長視頻;另一方面,在處理長視頻時,仍然面臨性能差和效率低的雙重挑戰。

對此,Video-XL-Pro創新采用 " 重構式 token 壓縮 " 技術,并且使用較少的訓練數據,在多個基準評測上超越了之前 Meta 發布的 7B 模型 Apollo-7B,以及同尺寸的知名開源模型Qwen2.5-VL-3B、InternVL2.5-4B等,項目代碼,模型,訓練數據均已開源。

模型結構

Video-XL-Pro 的核心在于其提出的重構性 token 壓縮技術(ReCoT),該技術通過自監督學習生成全面且緊湊的視頻 token,顯著提升了視頻理解的效率和質量。

ReCoT 包含兩個關鍵組件:動态 token 合成器(DTS)和語義引導掩碼(SGM)。

DTS 通過輕量級的時空注意力塊對 token 進行壓縮,有效捕捉視頻中的動态運動;而 SGM 則通過自适應掩碼策略,減少冗餘視覺 token,從而優化重構學習過程。

這些創新設計使得模型在僅需 3B 參數的情況下,性能超越了許多 7B 參數的模型。

此外,為了增強模型對超長視頻理解能力,模型還引入了查詢選擇器,使得在輸入上下文超過限制時模型能夠選擇性關注和查詢有關的片段。

為了進一步提升訓練效率,研究團隊還提出了視頻數據集剪枝策略。

這些方法通過篩選高質量視頻數據,顯著降低了計算成本,同時保障模型的性能。

評測基準

Video-XL-Pro 選用多個主流視頻理解評測基準,對模型進行了全面的評測,對于長視頻理解任務,評測了LongVideoBench、MLVU、Video-MME,TempCompass 和 VNbench。

其中 MLVU,VideoMME,LongVideoBench 集中在評測模型的長視頻理解能力。

VNbench 則是兼顧長視頻與短視頻,TempCompass 則是評測模型在視頻中的時間理解能力。

如表 1 所示,Video-XL-Pro 在多個主流的長視頻評測基準上展現了卓越性能。

在 MLVU 的 Dev、Test,以及 TempCompass 上,VIdeo-XL-Pro 均斬獲了第一名,不光超越同參數量的知名開源模型qwen2.5-VL-3B 和 internVL2.5-4B等,也超越了一眾 7B 模型,包括 Meta 發布的 7B 模型Apollo-7B等。

在 VideoMME,LongVideoBench,Video-XL-Pro 也超越了絕大部分同參數量模型,并達到與 7B 模型相當的水準。

最後在 VNbench 上,VIdeo-XL-Pro 也取得有競争力的結果,説明模型在增強長視頻理解能力的同時,也能兼顧短視頻能力。

值得注意的是,VIdeo-XL-Pro 只使用了相對較少的 SFT 數據(1M),低于 Apollo 的 3.2M,遠低于 Qwen2.5-VL,InternVL2.5 等知名開源模型,進一步説明了方法的有效性。

Video-XL-Pro 還進行了視頻「大海撈針」測試來評估其處理超長上下文的能力。

得益于 ReCot 模塊和查詢選擇器的設計,使得模型可以輸入極長的上下文序列,在相同硬體條件下,模型可以以 8192 幀為輸入,達到了近 99%的準确率。

時間理解

為了更全面的評估模型性能,我們還選用了經典時間評測基準 Charades-STA 和最新的長視頻時間評測基準 V-STaR。

V-STaR 注重在極長視頻中找出與問題相關的片段,精準回答片段時間範圍,現有開源模型在 V-STaR 中很難取得很好的成績,即便是 Qwen2.5-VL-7B,mIoU 得分也僅為 11.48。

Video-XL-Pro-3B 在最新的 V-STaR 長視頻時間基準測試斬獲 25.07 的 mIoU 得分,在 IoU>0.7 時仍能達到 15.58 的準确率,遠上超越一眾知名開源模型,包括InternVL2.5-8B和Qwen2.5-VL-7B,并超越上一代冠軍Video-LLaMA3,展現了卓越的長視頻時間理解能力,并且在 Charades-STA 上也有着不俗的表現。

總結

該工作提出了 Video-XL-Pro 模型,利用自監督學習壓縮視覺标記,使用相對少量數據下訓練的 3B 模型就能獲得超越大多數 7B 模型的性能。

Video-XL-Pro 在多個主流長視頻理解基準評測上表現優異。

模型有望在多個長視頻理解的應用場景中展現出廣泛的應用價值,成為得力的長視頻理解助手。

目前,模型、代碼、訓練數據均已開源,以促進長視頻理解社區的合作和發展。

論文鏈接:

https://arxiv.org/abs/2503.18478

代碼鏈接:

https://github.com/VectorSpaceLab/Video-XL/tree/main/Video-XL-Pro

模型鏈接:

https://huggingface.co/MINT-SJTU/Video-XL-Pro-3B

訓練數據鏈接:

https://huggingface.co/datasets/MINT-SJTU/Video-XL-Pro-Training

一鍵三連「點贊」「轉發」「小心心」

歡迎在評論區留下你的想法!

—  完  —

學術投稿請于工作日發郵件到:

[email protected]

标題注明【投稿】,告訴我們:

你是誰,從哪來,投稿内容‍

附上論文 / 項目主頁鏈接,以及聯系方式哦

我們會(盡量)及時回復你

點亮星标

科技前沿進展每日見

熱門排行
  • 王治郅:楊瀚森主要的問題是速度 他的速度跟不上現代籃球的節奏 王治郅:楊瀚森主要的問題是速度 他的速度跟 郟君昊 | 2025-05-05
  • 貿易戰燒進電影院:特朗普拟重税打擊外國電影 逼好萊塢等回美拍片 貿易戰燒進電影院:特朗普拟重税打擊外國電影 習又夏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 寸飛蘭 | 2025-05-05
  • 手機電池突破8000mAh?硅碳技術的回旋镖:「折壽」換容量 手機電池突破8000mAh?硅碳技術的回旋镖:「折 衛青柏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 繁綺文 | 2025-05-05
  • 任天堂對Genki提起Switch 2商标侵權訴訟,後者回應稱将嚴肅對待 任天堂對Genki提起Switch 2商标侵權訴訟,後 郜萌運 | 2025-05-05
  • 哪吒汽車APP和官網恢復正常 知情人士:之前斷網因流量欠費 哪吒汽車APP和官網恢復正常 知情人士:之前斷 袁曼雁 | 2025-05-05
  • 極越汽車 CEO 夏一平名下青島/義烏兩家公司被列入經營異常 極越汽車 CEO 夏一平名下青島/義烏兩家公司 集玲琳 | 2025-05-05
  • 全國經濟第一大省明确,推動組建農商聯合銀行 全國經濟第一大省明确,推動組建農商聯合銀行 佼昌翰 | 2025-05-05
  • 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩更專注進球&更像C羅 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩 甄正浩 | 2025-05-05
  • 高露現身上海虹橋機場 黑色外套點綴亮色愛心裝飾俏皮亮眼 高露現身上海虹橋機場 黑色外套點綴亮色愛 惠惠君 | 2023-05-02
  • 《歧路旅人2》:向光而生 《歧路旅人2》:向光而生 衛青柏 | 2023-05-02
  • vivo X90S曝光:處理器更新為天玑9200+ 安卓最強芯 vivo X90S曝光:處理器更新為天玑9200+ 安卓最 袁曼雁 | 2023-05-05
  • “懶癌”發病率上升,定期體檢别忽視 “懶癌”發病率上升,定期體檢别忽視 幸聽楓 | 2023-05-02
  • 宋慧喬獲百想視後 韓素希發圖手動加愛心表情慶祝 宋慧喬獲百想視後 韓素希發圖手動加愛心表 賁芳蕤 | 2023-05-02
  • 曹操墓,裏面都有啥? 曹操墓,裏面都有啥? 衛青柏 | 2023-05-02
  • 十年了,他們終于要HE! 十年了,他們終于要HE! 惠惠君 | 2023-05-07
  • 中央部署經濟工作,釋放5大信号 中央部署經濟工作,釋放5大信号 郜萌運 | 2023-05-02
  • 高德上線手機彎道會車預警功能 高德上線手機彎道會車預警功能 習又夏 | 2023-05-02
  • 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露面 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露 賁芳蕤 | 2023-05-02
  • 等比例長大的童星,李蘭迪算一個 等比例長大的童星,李蘭迪算一個 郟君昊 | 2023-05-02
  • 這些被抓來做實驗的流浪狗,最終拯救了無數糖尿病人 這些被抓來做實驗的流浪狗,最終拯救了無數糖 集玲琳 | 2023-05-02
  • 高端國產車:軍車血統,目前電動車越野的“天花板”? 高端國產車:軍車血統,目前電動車越野的“天花 謝飛揚 | 2023-05-02
  • 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 集玲琳 | 2023-05-02
  • 21家A股遊戲公司2022年收入651億 今年“遊戲+AI”能否逆風翻盤? 21家A股遊戲公司2022年收入651億 今年“遊 衛青柏 | 2023-05-04
  • 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15日 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15 寸飛蘭 | 2023-05-05
  • 信用風險釋放趨緩,結構性風險需重點關注 ——2023年一季度債市信用風險回顧與下階段展望 信用風險釋放趨緩,結構性風險需重點關注 — 袁曼雁 | 2023-05-02
  • 普京籤署總統令,批準對俄刑法典相關法條的修正案 普京籤署總統令,批準對俄刑法典相關法條的修 集玲琳 | 2023-05-02
  • 中銀證券給予南京銀行增持評級 中銀證券給予南京銀行增持評級 袁曼雁 | 2023-05-03
  • 解除資格!停止一切合作 解除資格!停止一切合作 佼昌翰 | 2023-05-02
  • 3699起 聯想小新mini主機上架 13代酷睿标壓處理器 3699起 聯想小新mini主機上架 13代酷睿标壓 習又夏 | 2023-05-05
  • 前董事長被免,天山生物全面進入“中植系”時代?股價曾在一月内暴漲超400% 前董事長被免,天山生物全面進入“中植系”時 惠惠君 | 2023-05-02
  • 瘋成這樣,怎麼還能被全網吹捧? 瘋成這樣,怎麼還能被全網吹捧? 郜萌運 | 2023-05-02
  • 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 寸飛蘭 | 2023-05-03
  • 摩根大通收購美國第一共和銀行 摩根大通收購美國第一共和銀行 謝飛揚 | 2023-05-02
  • 台劇赢麻了,又來一部8.9 台劇赢麻了,又來一部8.9 衛青柏 | 2023-05-02
  • 下降45分,上漲35分!34所自劃線院校復試分數線漲幅匯總 下降45分,上漲35分!34所自劃線院校復試分數線 袁曼雁 | 2023-05-07
  • 事關農村土地承包和農民權益,《農村土地承包合同管理辦法》5月1日起施行 事關農村土地承包和農民權益,《農村土地承包 郟君昊 | 2023-05-02
  • "三高"已盯上青少年,做好這件事是關鍵 "三高"已盯上青少年,做好這件事是關鍵 習又夏 | 2023-05-05
  • 五一檔沒一個能打的 五一檔沒一個能打的 集玲琳 | 2023-05-05
  • 恐怖韓劇下神壇,這次膽小可入 恐怖韓劇下神壇,這次膽小可入 袁曼雁 | 2023-05-05
  • 這劇是不是用ChatGPT寫的呀? 這劇是不是用ChatGPT寫的呀? 惠惠君 | 2023-05-02
  • 200户連夜疏散,原因讓人憤怒!“損失超一億”,官方通報 200户連夜疏散,原因讓人憤怒!“損失超一億”, 袁曼雁 | 2023-05-03
  • 性騷擾慣犯,滾出娛樂圈 性騷擾慣犯,滾出娛樂圈 謝飛揚 | 2023-05-05
  • 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的生活》證實将停辦 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的 佼昌翰 | 2023-05-02
  • 一個《長月燼明》倒了,《狐妖》《長相思》《與鳳行》…在路上了 一個《長月燼明》倒了,《狐妖》《長相思》《 惠惠君 | 2023-05-02
  • 張天愛假期曬“酷”存照 卷發披肩穿黑色吊帶裙大秀好身材 張天愛假期曬“酷”存照 卷發披肩穿黑色吊 嬴覓晴 | 2023-05-02
  • 當年輕人開始不随份子錢 當年輕人開始不随份子錢 袁曼雁 | 2023-05-02
  • 畢滢用8年時間成功逼宮?曾被傳已婚生子的她,不容小觑 畢滢用8年時間成功逼宮?曾被傳已婚生子的她, 幸聽楓 | 2023-05-03
  • 宋慧喬獲視後首次曬照,拿獎杯笑容温柔 宋慧喬獲視後首次曬照,拿獎杯笑容温柔 郜萌運 | 2023-05-02

©2022 大酷樂 版權所有

隱私政策 | 服務條款 | 聯繫我們