今天小編分享的科學經驗：AI危險檢測再進化！三層級解析長視頻異常，各種時序粒度均有明顯優勢，歡迎閱讀。
多模态視頻異常理解任務，又有新突破！
" 異常理解 " 是指在視頻監控、自動駕駛等場景中，利用模型發現視頻中的異常内容，從而預判危險，以便及時做出決策。
來自華中科大等機構的研究人員，提出了新的視頻異常理解模型 Holmes-VAU，以及相關數據集。
與通用多模态大模型對比，Holmes-VAU 在各種時序粒度的視頻異常理解上都展現出顯著優勢。
為了實現開放世界的多模态視頻異常理解（VAU），已有的 VAU benchmark 只有短視頻的 caption 标注或長視頻的 instruction 标注，忽略了視頻異常事件的時序復雜性。
為同時促進模型對短視頻的感知能力和對長視頻的推理能力，作者提出了一種高效半自動數據引擎并構建了 HIVAU-70k 數據集，包含超 7 萬視頻異常理解任務的多時序尺度指令數據。
同時作者提出了一種基于異常分數的時序采樣器，從長視頻中動态稀疏采樣關鍵幀到後續多模态大模型中，顯著提升了異常分析的準确性和推理效率。
多層級視頻異常理解指令數據集
針對視頻異常理解任務 ( Video Anomaly Understanding ) ，以往的一些異常視頻指令數據集主要有兩方面問題：
數據集中的視頻時長較短，導致模型缺乏對長視頻的異常理解能力；
即便包含長視頻，也缺乏對長視頻的細粒度和結構化的标注，導致模型的異常理解空間難以對齊。
為此，作者提出了一個大型多模态指令數據集 HIVAU-70k，其中包含多種時間粒度的視頻異常标注，由粗到細分别為：
video-level：未裁剪長視頻，包括視頻中所有異常事件的文本描述分析；
event-level：從長視頻中裁剪出的異常事件片段，包括單個異常事件的文本描述分析；
clip-level：從 event 中進一步裁剪出的視頻片段，包括視頻片段的文本描述。
HIVAU-70k 中的指令數據包括視頻描述、異常判斷、異常描述和異常分析等任務，為視頻異常理解多模态大模型提供了豐富多樣的數據來源。
這樣的多層級指令數據集是怎麼構造的呢？從一個未裁剪的長視頻開始，需要依次經過以下三個步驟：
分層視頻解耦（Hierarchical Video Decoupling）：将 video-level 視頻中的異常事件标注并裁剪出來，得到 event-level 視頻 , 再對 event-level 視頻進一步平均切分得到 clip-level 視頻；
分層自由文本注釋（Hierarchical Free-text Annotation）：對于 clip-level 視頻，使用人工或 caption model 得到 clip caption；對于 event-level 視頻，結合所包含的 clip-level caption 和異常類别，提示 LLM 得到事件總結；對于 video-level 視頻，結合所包含的事件總結和異常類别，提示 LLM 得到視頻總結；
層次化指令數據構建（Hierarchical Instruction Data Construction）：針對不同層級的視頻及其文本标注，設計不同的任務，構造任務相關的問題并與文本注釋組合，得到最終的指令數據。
與其他相關的數據集相比，HIVAU-70k 不僅有數量上的優勢，還提供了多粒度的文本标注以及時序上的異常邊界标注。
動态稀疏采樣的視頻異常理解模型
長視頻異常理解在使用大型語言模型（LLMs）或視覺語言模型（VLMs）時，常因幀冗餘問題而受到限制，導致異常檢測的準确性變得復雜。
以往的 VAU（視頻異常理解）方法難以聚焦異常。
例如，密集視窗采樣方法會增加大量冗餘幀的計算量，而均勻幀采樣方法常常錯過關鍵異常幀，使其應用範圍局限于短視頻。
為此，作者提出了 Anomaly-focused Temporal Sampler ( ATS ) ，并将其集成到 VLM 中，通過在 HIVAU-70k 上的指令微調，構建了 Holmes-VAU 模型。
異常幀通常比正常幀包含更多信息，并表現出更大的變化，基于這一觀察，作者設計了一種采樣策略，在異常分數較高的區網域采樣更多幀，同時在分數較低的區網域減少采樣。
為實現非均勻采樣，作者提出了一種 " 密度感知采樣器 "（density-aware sampler），用于從總共 T 個輸入幀中選擇 N 個幀。
具體來說，作者将異常分數 S 視為概率質量函數，并首先沿時間維度累積它們，得到累積分布函數（CDF），記為 S_cumsum：
接着，在累積軸上均勻采樣 N 個點，并将這些點映射到累積分布 S_cumsum 上。相應的時間軸上的 N 個時間戳會被映射到最接近的幀索引，最終形成采樣的幀索引集合 G。
△Holmes-VAU 模型框架圖
下入展示了測試集上的異常分數和采樣幀的可視化結果。這些結果表明了 ATS 的準确異常檢測能力，最終輸入到多模态大模型的采樣幀也集中于異常區網域。
△Anomly-focused Temporal Sampler ( ATS ) 異常分數及采樣幀示意圖實驗結果異常推理性能評估
作者在 HIVAU-70k 的測試集上，将模型輸出的推理文本與注釋的真實文本進行比較，計算了包括 BLEU、CIDEr、METEOR 和 ROUGE 等指标來衡量模型輸出的異常理解文本質量。
與通用多模态大模型對比，Holmes-VAU 在各種時序粒度的視頻異常理解上都展現出顯著優勢。
在多層級标注中，對不同層級指令數據集的組合，可以觀察發現，單一層級的标注只能提升單一層級任務的性能。
不同層級的标注組合可以相互補充，實現從 clip-level 的基礎視覺感知 , 到 event-level 單一異常事件的分析，再到 video-level 的長時序異常總結和推理等方面的全面提升，達到更細粒度和完整的多模态異常空間對齊。
對于非均勻采樣器的作用，作者也對比了不同幀采樣方式，包括本文提出的 ATS、之前方法用的 Top-K 采樣和 Uniform 采樣。
結果表明在相同的采樣幀數下，ATS 展現出更優越的長視頻異常理解能力，這是由于 Top-K 采樣過于集中在異常幀，忽略了視頻上下文的參考，Uniform 采樣則容易忽略關鍵的異常幀。
而作者提出的 ATS 則有效結合了這兩者的優勢，關注異常幀的同時，能夠保留部分上下文幀的采樣。
定性比較
下圖對比了 Holmes-VAU 和其他 MLLM 輸出的異常分析文本，Holmes-VAU 表現出更準确的異常判斷和分析能力，同時對長視頻也表現出更完整的異常總結能力。
△Holmes-VAU 和其他 MLLM 的異常分析文本質量對比
論文：
https://arxiv.org/abs/2412.06171
代碼：
https://github.com/pipixin321/HolmesVAU
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
學術投稿請于工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點亮星标
科技前沿進展每日見
