今天小編分享的科學經驗：CVPR‘24：文生圖提示詞自動優化，還發現三個小竅門，人大度小滿等機構出品，歡迎閱讀。
文生圖也有自己的 prompt 優化工具了。
我們都知道，大模型輸出的質量，很大程度上依賴于輸入的 prompt。尤其在文生圖領網域，對于 prompt 格外敏感。
來自中國人大、度小滿等團隊提出了一種全新的自動文本提示優化方法——動态提示自動編輯（Prompt Auto-Editing，PAE）。
它考慮了文本提示中的每個詞在擴散生成過程的權重和注入時間步。
最終在多個公開數據集上進行了實驗驗證，包括 Lexica.art、DiffusionDB 和 COCO。PAE 方法不僅提高了影像的美學質量，還确保了影像與文本描述的語義一致性。
與傳統方法相比，PAE 在控制影像生成過程中的精确性和靈活性方面表現更優。
當前，盡管用戶可以通過手動修改提示來嘗試生成更優質的影像，但這一過程不僅效率低下，而且難以精确控制。
為了提高效率并優化生成結果，團隊研發了 PAE 方法，這一方法的關鍵在于采用了動态提示（Dynamic Prompts）。
首先是為用戶輸入的簡短提示詞擴充出更多修飾詞，其次是通過動态調整新添加的修飾詞的權重和注入時間步，自動細化優化文本提示，從而更精準地控制影像生成過程。
1、Dynamic Prompt 的定義
具體來說，團隊定義了一種新的提示格式，用以豐富初始提示的信息，命名為動态精細控制提示（DF-Prompt）
文本 prompt 中的每個 token 會被拓展成一個三元組，在原有基礎上新添加了用來添加權重的浮點數，以及文本生效的時間步範圍。
DF-Prompt 是原本的提示詞和修飾詞的結合。DF-Prompt 的本質在于促進更精确和控制的生成。為了便于演示和代碼實現，我們還定義了一個純文本格式： [ token：range：weight ]
以 portrait of a beautiful forest goddess, beauty, very aesthetic, masterpiece 為例，其中 beauty 拓展成三元組可以表示為 [ beauty:0.5 → 0:0.75 ] ，其權重為 0.75，生效的時間步範圍為後 50% 的降噪步驟。
2、訓練數據收集
DiffusionDB 數據集收集了用戶生成影像時使用的 prompt，其中包含大量的修飾詞、風格描述等，可以幫助我們訓練提示詞拓展與精細優化的自動化模型。
在 DiffusionDB 等數據集中，一般逗号之前的文本包含主要信息，描述影像的主題，而逗号之後的文本被視為次要文本，提供補充後綴作為修飾語。
比如 "a red horse on the yellow grass, anime style"，主要信息為 "a red horse on the yellow grass"，次要文本為 "anime style"。
我們把逗号之前的文本作為短提示，剩餘的文本 ( 次要文本 ) 形成了修飾詞集合，以此來構建訓練數據中的輸入提示詞和目标提示詞。
最後，我們定義一個置信分數，利用美學指标和 CLIP 分數來篩選訓練數據，确保用于訓練的提示詞能夠引導生成高美學評分、高圖文對齊度的影像。
3、訓練階段
如圖所示，使用收集好的訓練數據進行兩階段訓練。
階段一：監督式微調階段。
在收集好的數據集上對語言模型進行微調，以生成優化後的文本提示。每條訓練數據都包含了短提示詞文本和修飾詞集合，這裡的優化目标就是讓語言模型根據短提示詞擴展出更多修飾詞。在這種方式中，訓練好的模型能夠處理簡短的提示，并預測适當的修飾詞，從而提升生成影像的美學質量。
階段二：強化學習階段。
使用強化學習優化文本提示，通過多維度獎勵系統來指導這一過程，考慮到美學評分、語義一致性和用戶偏好。這一階段的主要目的是為每一個修飾詞添加權重和作用時間步，實現精細化的控制。我們使用 PPO 算法，在訓練集上最大化期望累積獎勵。獎勵函數是在生成的影像上計算的，考慮了包括 CLIP 分數、PickScore、美學評分等指标。
通過觀察自動學習到的權重分布、時間步範圍統計信息，我們還有了一些有趣的發現：
使用藝術家名稱和紋理修飾詞：通過引入藝術家的名字和紋理修飾詞，可以顯著提高生成影像的藝術質量，并保持語義的準确性。
在擴散過程的後半階段引入風格元素：在影像生成的擴散過程後半段引入風格化元素，可以更好地融合這些元素，從而提高整體的視覺和藝術效果。
降低復雜術語的權重：對于復雜的術語，适當降低其權重可以确保影像生成既平衡又具吸引力，避免過分強調某些元素，從而影響影像的整體美觀。
arxiv 鏈接： https://arxiv.org/abs/2404.04095
代碼鏈接： https://github.com/Mowenyii/PAE
— 完 —
投稿請發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點這裡關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
