今天小編分享的科學經驗：復旦視頻擴散模型綜述：覆蓋300+文獻，探讨近期研究趨勢與突破，Github攬星2k+，歡迎閲讀。
視頻擴散模型新綜述來了，覆蓋 300+ 文獻的那種。
最近，復旦大學、上海市智能視覺計算協同創新中心聯合微軟等學術機構，在國際頂級期刊《ACM Computing Surveys》（CSUR）上發表了題為《A Survey on Video Diffusion Models》的綜述論文。
不僅系統地梳理了擴散模型在視頻生成、編輯及理解等前沿領網域的進展，還深入探讨了近期的研究趨勢與突破，涵蓋了該領網域近年來的重要成果。
該研究目前已在 Github 攬獲 2k+ Star。
本篇綜述論文的第一作者為復旦大學博士生邢桢，通訊作者為復旦大學吳祖煊副教授和姜育剛教授。
基于擴散模型的視頻生成
本文将目前基于擴散模型的主流視頻生成模型分為三大類：基于文本的視頻生成，基于其他條件的視頻生成，以及無條件的視頻生成。
（1）基于文本的視頻生成：
以自然語言為輸入的視頻生成是當前視頻生成領網域最重要的任務之一。
本文首先回顧了該領網域在擴散模型提出之前的研究成果，随後分别介紹了基于訓練和無需訓練的兩種擴散模型方法。
其中基于訓練的方法通常依靠大規模數據集，通過優化模型性能實現高質量視頻生成；而無訓練的方法則主要借助文生圖模型（T2I）和大語言模型（LLM）等技術實現視頻生成。
（2）基于其他條件的視頻生成：
該任務專注于細分領網域的視頻生成工作。本文将這些條件歸類為以下幾種：姿勢引導（pose-guided）、動作引導（motion-guided）、聲音引導（sound-guided）、影像引導（image-guided）、深度圖引導（depth-guided）等。
這些工作不僅提供了比純文本更為精準的控制條件，還将不同模态的信息融合到視頻生成的過程中，極大地豐富了視頻生成的技術手段和應用場景。
（3）無條件的視頻生成：
該方向的研究主要圍繞視頻表征方式的設計與擴散模型網絡架構設計展開，可以細分為基于 U-Net 的生成、基于 Transformer 的生成以及基于 Mamba 的生成。
基于擴散模型的視頻編輯
對于基于擴散模型的視頻編輯方法，本文同樣将目前主流的模型抽成了三大類：基于文本的視頻編輯，基于其他條件的視頻編輯，以及特定細分領網域的視頻編輯。
（1）基于文本的視頻編輯：
由于目前文本 - 視頻數據規模有限，大多數基于文本的視頻編輯任務都傾向于利用預訓練的 T2I 模型來解決視頻幀之間的連貫性和語義不一致性等問題。
本文中，作者進一步将此類任務細分為基于訓練的（training-based）、無需訓練的（training-free）和一次性調優的（one-shot tuned）方法，并分别加以總結。
（2）基于其他條件的視頻編輯：
随着大模型時代的到來，除了最為直接的自然語言信息作為條件的視頻編輯，由指令、聲音、動作、多模态等作為條件的視頻編輯正受到越來越多的關注，作者也對相應的工作進行了分類梳理。
（3）特定細分領網域的視頻編輯：
在一些特定領網域中，視頻編輯任務往往具有獨特的定制化需求。例如，視頻着色和人像視頻編輯等，這些任務針對特定場景提出了更加專門化的解決方案。
作者對相關研究成果進行了系統梳理，總結了這些領網域的主要方法和實踐經驗。
基于擴散模型的視頻理解
擴散模型不僅在傳統的視頻生成和編輯任務中取得了廣泛的應用，它在視頻理解任務上也展現了出巨大的潛能。
通過對前沿論文的追蹤，作者歸納了視頻時序分割、視頻異常檢測、視頻物體分割、文本視頻檢索、動作識别等多個現有的應用場景。
總結與展望
該綜述全面細致地總結了 AIGC 時代下擴散模型在視頻任務上的最新研究。
根據研究對象和技術特點，本文作者将百餘份前沿工作進行了分類和概述，并在一些經典的基準（benchmark）上對這些模型進行比較。
然而，擴散模型在視頻任務領網域仍面臨一些新的研究方向和挑戰，具體包括：
（1）大規模文本 - 視頻數據集的缺乏：
T2I 模型的成功很大程度上得益于數以億計的高質量文本 - 影像數據集，例如 LAION-5B；該數據集包含了數十億個影像 - 文本對，極大提升了模型的泛化能力。
相比之下，在 T2V 任務中，當前的數據集無論從規模上還是質量上都顯得遠遠不足。例如常用的 WebVid 數據集，該數據集的視頻不僅分辨率低（僅有 360P），還常帶有水印。
因此，未來的研究重點應該放在構建大規模、無水印、高分辨率的公開數據集上，同時提升數據集的标注質量和多樣性，以更好地支持視頻生成模型的訓練。
（2）物理世界的真實性：
盡管現有的視頻生成模型在許多場景中取得了令人矚目的成果，但在復雜場景的物理世界描述上仍存在較大的局限性。
例如，Sora 模型在生成涉及物理互動的視頻時，仍不能很好地生成完全符合物理規律的視頻。
作者指出，這些問題的根源在于當前模型對物理場景的理解仍較為淺顯，缺乏對物體剛性、重力、摩擦力等物理屬性的精确建模。
因此，未來的研究可以探索如何将物理學的規律嵌入到生成模型中，提升生成視頻中的物理屬性的合理性，從而使生成的視頻更真實。
（3）長視頻生成：
當前視頻生成模型面臨的一個顯著挑戰是視頻長度的限制。大多數模型只能生成時長不超過 10 秒的視頻内容。
這主要是因為長視頻生成不僅對計算資源提出了更高要求，還要求模型能夠有效建模時空連貫性。而現有的自回歸模型中，時序誤差累積問題尤為突出。
此外，盡管現有的分階段生成方法（如粗到細的多階段生成）能夠在一定程度上改善生成效果，但卻往往帶來更復雜的訓練和推理過程，導致生成速度變慢。
因此，未來的研究方向應致力于開發更高效、更穩定的長視頻生成方法，确保視頻在較長時間段内既保持物理合理性又不失質量穩定性。
（4）高效的訓練和推理：
T2V 模型的訓練和推理過程涉及到海量的視頻數據，在訓練和推理階段所需要的算力也呈幾何倍數增加，成本極高。
因此，未來的研究應當致力于通過改進模型架構，例如采用更高效的時空建模方法，或通過知識蒸餾等技術來壓縮模型的大小，減少訓練和推理過程中的計算復雜度，從而降低視頻生成的總體成本。
（5）可靠的基準和評價指标：
現有視頻領網域的評價指标主要集中在衡量生成視頻與原視頻之間的分布差異，但未能全面評估生成視頻的整體質量。
同時，用户測試作為重要的評估方式之一，既耗時費力又具有較強的主觀性。
因此，未來的研究需要致力于研發更加客觀、全面的自動化評價指标，既能衡量生成視頻的視覺質量，也能捕捉到其物理真實性和時空一致性。
（6）高可控性的視頻編輯：
目前大多數的視頻生成模型主要依賴文本描述來進行視頻編輯。然而，文本描述往往較為抽象，難以提供精确的控制。
例如，在涉及生成特定物體的移動軌迹、控制多個物體之間的互動等動态編輯任務時，現有方法仍然存在較大的局限性。
此外，對于復雜場景中的多物體編輯，生成模型也難以保持多個物體的時空一致性。
因此，未來的研究方向應當着力于提高視頻編輯的可控性，例如通過結合視頻分割、目标檢測等技術，使得模型能夠在視頻的局部區網域中執行更加精細的編輯操作，并提升在多物體場景下的動态編輯能力，從而實現更為靈活和精确的生成與編輯。
論文鏈接：https://arxiv.org/abs/2310.10647
論文主頁：https://github.com/ChenHsing/Awesome-Video-Diffusion-Models
— 完 —
投稿請工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
一鍵關注 點亮星标
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
