CVPR‘24：文生圖提示詞自動優化，還發現三個小竅門，人大度小滿等機構出品

今天小編分享的科學經驗：CVPR‘24：文生圖提示詞自動優化，還發現三個小竅門，人大度小滿等機構出品，歡迎閲讀。

文生圖也有自己的 prompt 優化工具了。

我們都知道，大模型輸出的質量，很大程度上依賴于輸入的 prompt。尤其在文生圖領網域，對于 prompt 格外敏感。

來自中國人大、度小滿等團隊提出了一種全新的自動文本提示優化方法——動态提示自動編輯（Prompt Auto-Editing，PAE）。

它考慮了文本提示中的每個詞在擴散生成過程的權重和注入時間步。

最終在多個公開數據集上進行了實驗驗證，包括 Lexica.art、DiffusionDB 和 COCO。PAE 方法不僅提高了影像的美學質量，還确保了影像與文本描述的語義一致性。

與傳統方法相比，PAE 在控制影像生成過程中的精确性和靈活性方面表現更優。

當前，盡管用户可以通過手動修改提示來嘗試生成更優質的影像，但這一過程不僅效率低下，而且難以精确控制。

為了提高效率并優化生成結果，團隊研發了 PAE 方法，這一方法的關鍵在于采用了動态提示（Dynamic Prompts）。

首先是為用户輸入的簡短提示詞擴充出更多修飾詞，其次是通過動态調整新添加的修飾詞的權重和注入時間步，自動細化優化文本提示，從而更精準地控制影像生成過程。

1、Dynamic Prompt 的定義

具體來説，團隊定義了一種新的提示格式，用以豐富初始提示的信息，命名為動态精細控制提示（DF-Prompt）

文本 prompt 中的每個 token 會被拓展成一個三元組，在原有基礎上新添加了用來添加權重的浮點數，以及文本生效的時間步範圍。

DF-Prompt 是原本的提示詞和修飾詞的結合。DF-Prompt 的本質在于促進更精确和控制的生成。為了便于演示和代碼實現，我們還定義了一個純文本格式： [ token：range：weight ]

以 portrait of a beautiful forest goddess, beauty, very aesthetic, masterpiece 為例，其中 beauty 拓展成三元組可以表示為 [ beauty:0.5 → 0:0.75 ] ，其權重為 0.75，生效的時間步範圍為後 50% 的降噪步驟。

2、訓練數據收集

DiffusionDB 數據集收集了用户生成影像時使用的 prompt，其中包含大量的修飾詞、風格描述等，可以幫助我們訓練提示詞拓展與精細優化的自動化模型。

在 DiffusionDB 等數據集中，一般逗号之前的文本包含主要信息，描述影像的主題，而逗号之後的文本被視為次要文本，提供補充後綴作為修飾語。

比如 "a red horse on the yellow grass, anime style"，主要信息為 "a red horse on the yellow grass"，次要文本為 "anime style"。

我們把逗号之前的文本作為短提示，剩餘的文本 ( 次要文本 ) 形成了修飾詞集合，以此來構建訓練數據中的輸入提示詞和目标提示詞。

最後，我們定義一個置信分數，利用美學指标和 CLIP 分數來篩選訓練數據，确保用于訓練的提示詞能夠引導生成高美學評分、高圖文對齊度的影像。

3、訓練階段

如圖所示，使用收集好的訓練數據進行兩階段訓練。

階段一：監督式微調階段。

在收集好的數據集上對語言模型進行微調，以生成優化後的文本提示。每條訓練數據都包含了短提示詞文本和修飾詞集合，這裏的優化目标就是讓語言模型根據短提示詞擴展出更多修飾詞。在這種方式中，訓練好的模型能夠處理簡短的提示，并預測适當的修飾詞，從而提升生成影像的美學質量。

階段二：強化學習階段。

使用強化學習優化文本提示，通過多維度獎勵系統來指導這一過程，考慮到美學評分、語義一致性和用户偏好。這一階段的主要目的是為每一個修飾詞添加權重和作用時間步，實現精細化的控制。我們使用 PPO 算法，在訓練集上最大化期望累積獎勵。獎勵函數是在生成的影像上計算的，考慮了包括 CLIP 分數、PickScore、美學評分等指标。

通過觀察自動學習到的權重分布、時間步範圍統計信息，我們還有了一些有趣的發現：