今天小編分享的科學經驗：超越ControlNet++！騰訊優圖提出動态條件選擇新架構，歡迎閲讀。
超越 ControlNet++，讓文生圖更可控的新框架來了！
騰訊優圖、南洋理工、浙大等研究機構聯合推出DynamicControl，直接将多模态大語言模型（MLLM）的推理能力集成到文本生成影像（T2I ) ）任務中。
而且還提出了一種新穎、高效的多控制适配器，可以自适應地選擇不同的條件，從而實現動态多控制對齊。
實驗結果顯示，DynamicControl 大大增強了可控性，且不會犧牲影像質量或影像文本對齊。
話不多説，下面來看具體内容。
DynamicControl：動态條件選擇新架構
基于 ControlNet 類模型，之前的工作探索了各種控制信号，例如布局約束、分割圖和深度圖，以決定生成的影像中的空間排列、物體形狀和景深。
此外，該領網域還見證了使用快速工程和交叉注意約束來進一步完善影像生成的調節。
不過現有方式均存在各自的局限性。
比如，考慮到一個對象的多種條件，一條線路（例如 UniControl、UniControlNet）在訓練過程中随機選擇一次激活一種條件，如圖 1 ( a ) 所示。
這種處理不同視覺條件的能力非常低效，将大大增加訓練的計算負擔和時間成本。
另一類方法（例如 AnyControl、ControlNet++）使用固定數量（通常為 2 或 4）的條件，并采用 MoE 設計或多控制編碼器來解決條件數量變化的問題，如圖 1 ( b ) 所示。
然而，這種固定數量方案并沒有從根本上解決多條件問題，也沒有考慮多條件是否與生成結果相衝突。
雖然這些方法擴展了受控影像生成的可行性和應用，但在不同條件下增強可控性的清晰而全面的方法仍然是一個正在進行的研究和開發領網域。這凸顯了在 T2I 擴散模型中集成和優化控制機制以實現更可靠和更詳細的影像合成方面需要不斷創新。
給定來自同一主題的多個條件，對于相同的文本提示，不同的條件在顏色、紋理、布局，合理性等方面產生不同的結果。
此外，從與源影像的相似度 SSIM 得分來看，不同的條件難以準确生成與輸入源影像一致的影像。這也表明不同條件對生成更好影像的貢獻不同，有些條件甚至會產生負面影響。
因此，在先前的方法中，僅選擇一個或固定數量的條件而不考慮它們在生成更接近源影像的影像方面的重要性以及每個條件之間的内部關系是次優的。
為了解決這個問題，研究提出了DynamicControl，這是一個支持多種控制信号動态組合的新框架，它可以自适應地選擇不同數量和類型的條件，如圖 1（c）所示。
具體咋做到的
算法的整體流程如下圖所示。
給定多種條件，研究首先引入雙循環控制器來產生真實的排名分數，作為與 MLLM 結合訓練條件評估器的監督信号。
然後，這些排名的條件與來自預訓練條件評估器的選擇分數由多控制适配器動态編碼，以實現可控的影像生成。
Double-Cycle Controlle
鑑于研究将多條件可控性概念化為輸入條件之間的動态選擇，因此使用判别獎勵模型來衡量這種選擇是可行的。
通過量化生成模型的輸出，研究能夠依靠這些定量評估來集體增強各種條件控制的優化，以促進更可控的生成過程。
具體來説，給定多個條件和文本提示，研究首先利用預訓練的條件生成模型為每個條件生成影像。
然後通過不同的預訓練判别模型提取相應的反向條件。
基于這些生成的影像和反向條件，研究設計了一個雙循環控制器，對輸入的多個控制條件進行初始重要性評估。該雙循環控制器由兩個一致性分數組成，即條件一致性和影像一致性。
（1）條件一致性。對于每個輸入條件和生成影像的相應輸出條件，研究優化了條件循環一致性損失以獲得更好的可控性，其公式為：
這裏研究對擾動影像執行單步采樣，其中 D 是判别獎勵模型，用于優化 G 的可控性。L 表示抽象度量函數，可根據特定的視覺條件适應各種具體形式。
這種靈活性使其能夠根據不同視覺分析任務的獨特要求進行定制，從而增強模型在不同場景中的适用性和有效性。
（2）反向影像一致性。除了條件一致性之外，研究還采用反向影像一致性損失來保證原始影像與生成的影像相似。
研究通過最小化生成的影像和源影像之間的像素和語義差異來實現這一點。給定源影像和生成的影像的 CLIP 嵌入，損失定義為：
這種損失确保模型在應用條件和文本指令時能夠忠實地反轉條件并返回到源影像，通過最小化源影像和生成的影像之間的差異來強制執行模型。
Condition Evaluator
雖然雙循環控制器可以對各種控制條件進行綜合評分，但仍然面臨兩個挑戰：
（i）使用預先訓練的生成模型進行影像合成都會給結果帶來較高的不确定性，這意味着對所采用的基礎生成模型的依賴性很高。
（ii）源影像在測試過程中不可用，尤其是在用户指定的任務中。為了解決這個問題，研究在網絡架構中引入了多模态大語言模型（MLLM）。
如圖 3 所示，給定條件 c1、c2、…、cN 和指令 τ，研究的主要目标是利用雙周期控制器的得分排序來優化條件的最佳排序。
研究用 N 個新标記 "<con0>、…、<conN>"，擴展了 LLaVA 的原始 LLM 詞匯表以表示生成信息，并将這些标記附加到指令 τ 的末尾。
然後，将條件 c1、c2、…、cN 和重新組織的指令 τ ’輸入到大語言模型 ( VLLM ) LLaV A ( · ; ω ) 中以獲得對标記的響應，這些标記被處理以提取相應的隐藏狀态 hi ∈ H，從 VLLM 對輸入的表示中捕獲更深層的語義信息。
然而，這些隐藏狀态主要存在于 LLM 的文本向量空間中，在與擴散模型（尤其是基于 CLIP 文本嵌入訓練的模型）互動時會出現兼容性問題。這種差異可能會阻礙模型之間的有效集成。
考慮到這一點，研究遷移了 Q-Former，以将隐藏狀态細化為與擴散模型兼容的嵌入 fc。
轉換過程表示為：
循環優化過程可以表述為：
随後，每個條件的 LLM 預測結果由雙循環控制器的相應排序分數進行監督，從而優化最終的排序排名。該過程表示為：
多控制适配器動态編碼
為了适應多種動态控制條件的同時應用，作者們創新性地設計了一個多控制适配器。該适配器用于自适應地解釋復雜的控制信号，從而能夠從文本提示和動态空間條件中提取全面的多控制嵌入。
在獲得經過良好預訓練的條件評估器後，可以利用其強大的理解能力對所有輸入條件進行評分。
從評分條件池中，只有那些達到或超過預定義阈值的條件才會被選中參與後續的 T2I 模型優化。
這種選擇性方法确保只有最相關和最高質量的條件才能參與訓練過程，從而有可能提高 T2I 模型的有效性和效率。
關于阈值設定，它不是手動預定義的，也不是在訓練集内的所有數據對中保持一致的。相反，它被配置為一個可學習的參數，允許模型自适應地确定和調整各種數據集的阈值。
因此，這種自适應機制導致動态和多樣化的控制條件在數量和類型上都沒有衝突。
這些條件在訓練過程中的使用取決于每個數據集的具體特征。這種方法确保訓練能夠根據各種數據輸入的獨特需求和細微差别進行量身定制。
實驗結果
概括而言，來自各種條件控制的實驗結果表明，DynamicControl 大大增強了可控性，而不會犧牲影像質量或影像文本對齊。
其中，不同條件控制和數據集下的可控性比較如下。
不同條件控制和數據集下的 FID（↓）/ CLIP 分數（↑）比較如下。
可視化結果也出來了。
總結
在論文中，研究從定量和定性的角度證明了現有的專注于可控生成的研究仍然未能充分利用多種控制條件的潛力，導致生成的影像與輸入條件不一致。
為了解決這個問題，研究引入了 DynamicControl ，它使用高效的條件評估器對條件進行排序，明确優化了多個輸入條件和生成的影像之間的一致性，從而将 MLLM 的推理能力集成到 T2I 生成任務中。
此外，研究還提出了一種新穎而高效的多控制适配器，可以自适應地選擇不同的條件，從而實現動态多控制對齊。
來自各種條件控制的實驗結果表明，DynamicControl 大大增強了可控性，而不會犧牲影像質量或影像文本對齊。
這為可控視覺生成提供了新的視角。
論文：
https://arxiv.org/abs/2412.03255
項目主頁：
https://hithqd.github.io/projects/Dynamiccontrol/
— 完 —
投稿請發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
