今天小編分享的科學經驗：無需訓練、即插即用，新算法大幅增強視頻生成質量，歡迎閲讀。
無需額外模型訓練、即插即用，全新的視頻生成增強算法——Enhance-A-Video來了！
和最近人氣超高的混元視頻生成模型（HunyuanVideo）對比來看，加入 Enhance-A-Video 的版本在生成畫面中表現出了更加豐富的細節和更高的語義契合度，生成内容和用户輸入的文本提示更匹配：
研究團隊成員來自新加坡國立大學、上海 AI 實驗室和德克薩斯大學奧斯汀分校。
簡單來説，新算法通過調整時間注意力層輸出的一個關鍵參數，能夠在幾乎不增加推理負擔的情況下，大幅提升生成視頻的細節表現和時序連貫性。
Enhance-A-Video 還兼容多種主流視頻生成模型，無需修改基礎架構即可直接應用。
比如CogVideoX-2B + Enhance-A-Video：
還有OpenSora-V1.2 + Enhance-A-Video：
實驗結果顯示，Enhance-A-Video 在提升視頻質量方面表現卓越，尤其是在對比度、清晰度以及細節真實性上有顯著改進。
新算法一經發布，其強大的泛化能力也是迅速得到了社區的認可。
很多網友已将該算法集成到多個主流推理框架中，包括 ComfyUI-Hunyuan 和 ComfyUI-LTX。
對比一下網友 Kijai 發布的原始混元模型和增強後的效果，可以看到模型生成畫面更加自然，動态表現也更加流暢：
△Comfy-UI 測試結果，左邊為原始視頻，右邊為增強視頻
LTX-Video 的研究人員 Nir Zabari 還成功将它應用到了LTXV模型中，顯著提升了生成視頻在動作一致性和細節呈現方面的表現。
這一成果表明，Enhance-A-Video 不僅适用于特定模型，還能廣泛适配于不同的視頻生成框架。
研究背景：提升視頻生成質量需求強烈
近年來，以 Diffusion Transformer（DiT）為代表的視頻生成技術 [ 1 ] 迅猛發展，能夠根據文本描述生成多樣化的視頻内容。
然而，現有方法仍面臨以下挑戰：
時序不連貫：幀與幀之間缺乏一致性；
細節模糊：畫面紋理缺乏清晰度；
畫面抖動：動态效果不夠穩定。
這些問題顯著影響了生成視頻的實用性和觀看體驗，如何提升 AI 生成視頻的質量成為當前研究的關鍵問題之一。
為了解決上述問題，Enhance-A-Video 應運而生。其核心原理是通過一個增強系數，優化時間注意力的分布，從而實現以下優勢：
高效增強：快速提升視頻質量；
無需訓練：可直接應用于現有生成模型；
即插即用：靈活适配多種場景和需求。
設計動機：時間注意力的優化潛力
時間注意力（Temporal Attention）在 DiT 模型中負責信息的幀間傳遞，對生成視頻的連貫性和細節保留至關重要。
通過對不同 DiT 層的時間注意力分布進行可視化分析，研究人員發現：
在部分 DiT 層中，時間注意力的分布存在顯著差異：跨幀注意力（非對角線部分）的強度明顯低于單幀自注意力（對角線部分）。
這一現象可能導致幀間信息傳遞不足，進而影響視頻的一致性和細節表現。
基于這一觀察，作者提出了一個關鍵假設：能否通過利用時間注意力來提高視頻質量？
△不同 DiT 層的時間注意力分布圖
這一假設的靈感來源于大語言模型（LLM）中的温度系數（τ）調節機制。
在文本生成中，通過調整 Softmax 的温度參數可以平衡一致性與多樣性 [ 2 ] ：
增大 τ，生成結果更加多樣化。
減小 τ，生成結果更連貫一致。
類似地，在視頻生成中，時間注意力的温度系數可以直接影響幀間相關性強度，為 Enhance-A-Video 的設計提供了理論基礎。
方法概述：無需訓練的動态增強方案
基于上述觀察與思考，作者首次發現時間注意力的温度系數決定了不同幀之間的相關性強度，相關性強度越高意味着每一幀生成時，在時間上下文維度所考慮的範圍越廣。
由此想法出發，作者提出了一種調整時間注意力層輸出，無需訓練的視頻增強方法，該方法可以直接應用于現有的 AI 視頻生成模型。
△Enhance-A-Video 框架圖
Enhance-A-Video 的核心設計是通過動态調節時間注意力層的輸出，實現對幀間一致性和細節表現的優化。
具體方法分為以下幾步：
1. 并行增強模塊
在時間注意力層的基礎上增加一個并行分支，計算時間注意力分布圖。
輸入時間注意力層的隐藏狀态也被傳入增強模塊。
2. 計算跨幀強度（CFI）
從時間注意力分布圖中提取非對角線元素的平均值，作為跨幀強度（Cross-Frame Intensity, CFI）。
3. 動态增強控制
引入增強温度參數（Enhance Temperature），将其與 CFI 的乘積作為增強模塊的輸出系數。
利用該系數動态調整時間注意力層輸出的特征增強強度。
通過這一策略，Enhance-A-Video 能夠高效地提升視頻的幀間一致性和細節表現，而無需對原始模型進行重新訓練。
為 AI 視頻生成技術提供新思考
這項研究提出了首個無需訓練、即插即用的 AI 生成視頻質量增強方法—— Enhance-A-Video，針對當前生成視頻質量的關鍵問題，圍繞時間注意力機制展開創新設計，主要貢獻如下：
創新性方法：通過在時間注意力層計算交叉幀強度，引入增強温度參數，提升幀間一致性與細節表現力。
高效性與通用性：無需訓練，直接适配主流視頻生成模型。
顯著性能提升：在 HunyuanVideo 等模型上解決了細節缺失和時序不一致等問題。
未來他們還會在此基礎上進一步開展工作，包括：
自适應增強：研究自動調節增強温度參數機制，優化一致性與多樣性平衡。
擴展适用性：優化方法設計以适配大規模模型和多模态場景。
質量評價：構建更完善的視頻生成質量評價體系。
作者表示，期待本研究為 AI 視頻生成技術的實際應用與質量提升提供新的思路和支持！
開源代碼鏈接：https://github.com/NUS-HPC-AI-Lab/Enhance-A-Video
相關博客鏈接：https://oahzxl.github.io/Enhance_A_Video/
參考文獻：
[ 1 ] Brooks, Tim, Bill Peebles, Connor Holmes, Will DePue, Yufei Guo, Li Jing, David Schnurr, Joe Taylor, Troy Luhman, Eric Luhman, Clarence Ng, Ricky Wang and Aditya Ramesh. "Video generation models as world simulators." OpenAI Research ( 2024 ) .
[ 2 ] Renze, Matthew and Erhan Guven. "The Effect of Sampling Temperature on Problem Solving in Large Language Models." ArXiv abs/2402.05201 ( 2024 ) .
— 完 —
投稿請發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
