今天小編分享的科學經驗:8張GPU訓出近SOTA模型,超低成本影像生成預訓練方案開源,歡迎閱讀。
超低成本影像生成預訓練方案來了——
僅需 8 張 GPU 訓練,就能實現近 SOTA 的高質量影像生成效果。
劃重點:開源。
模型名為LightGen,由港科大 Harry Yang 團隊聯合 Everlyn AI 等機構打造,借助知識蒸餾(KD)和直接偏好優化(DPO)策略,有效壓縮了大規模影像生成模型的訓練流程。
LightGen 不僅顯著降低了數據規模與計算資源需求,而且在高質量影像生成任務上展現了與 SOTA 模型相媲美的性能。
影像 inpainting 效果 belike:
LightGen 相較于現有的生成模型,盡管參數量更小、預訓練數據規模更精簡,卻在 geneval 影像生成任務的基準評測中甚至超出了部分最先進 SOTA 模型。
此外,LightGen 在效率與性能之間實現了良好的平衡,成功地将傳統上需要數千 GPU days 的預訓練過程縮短至僅 88 個 GPU days,即可完成高質量影像生成模型的訓練。
以下是更多細節。
LightGen 長啥樣?
文本到影像(Text-to-Image, T2I)生成任務近年來取得了飛速進展,其中以擴散模型(如 Stable Diffusion、DiT 等)和自回歸(AR)模型為代表的方法取得了顯著成果。
然而,這些主流的生成模型通常依賴于超大規模的數據集和巨大的參數量,導致計算成本高昂、落地困難,難以高效地應用于實際生產環境。
為了解決這一難題,香港科技大學 Harry Yang 教授團隊聯合 Everlyn AI 和 UCF,提出了 LightGen 這一新型高效影像生成模型,致力于在有限的數據和計算資源下,快速實現高質量影像的生成,推動自回歸模型在視覺生成領網域更高效、更務實地發展與應用。
LightGen 采用的訓練流程主要包括以下關鍵步驟:
一、數據 KD
利用當前 SOTA 的 T2I 模型,生成包含豐富語義的高質量合成影像數據集。
這一數據集的影像具有較高的視覺多樣性,同時包含由最先進的大型多模态語言模型(如 GPT-4o)生成的豐富多樣的文本标注,從而确保訓練數據在文本和影像兩個維度上的多樣性。
二、DPO 後處理
由于合成數據在高頻細節和空間位置捕獲上的不足,作者引入了直接偏好優化技術作為後處理手段,通過微調模型參數優化生成影像與參考影像之間的差異,有效提升影像細節和空間關系的準确性,增強了生成影像的質量與魯棒性。
通過以上方法,LightGen 顯著降低了影像生成模型的訓練成本與計算需求,展現了在資源受限環境下獲取高效、高質量影像生成模型的潛力。
實驗效果如何?
作者通過實驗對比了 LightGen 與現有的多種 SOTA 的 T2I 生成模型,使用 GenEval 作為 benchmark 來驗證 LightGen 模型和其它開源模型的性能。
結果表明,LightGen 模型在模型參數和訓練數量都小于其它模型的的前提下,在 256 × 256 和 512 × 512 分辨率下的影像生成任務中的表現均接近或超過現有的 SOTA 模型。
LightGen 在單物體、雙物體以及顏色合成任務上明顯優于擴散模型和自回歸模型,在不使用 DPO 方法的情況下,分别達到 0.49(80k 步訓練)和 0.53 的整體性能分數。
在更高的 512 × 512 分辨率上,LightGen 達到了可比肩當前 SOTA 模型的成績,整體性能分數達到 0.62,幾乎超過所有現有方法。
特别地,加入 DPO 方法後,模型在位置準确性和高頻細節方面的表現始終穩定提升,這體現了DPO 在解決合成數據缺陷上的有效性。
除此之外,消融實驗結果顯示,當數據規模達到約 100 萬張影像時,性能提升會遇到瓶頸,進一步增加數據規模帶來的收益很有限。因此,作者最終選擇了 200 萬張影像作為最優的預訓練數據規模。
上圖 ( b ) 探讨了不同訓練迭代次數對 GenEval 在 256 與 512 分辨率下性能的影響。
值得注意的是,在 256 像素階段,僅經過 80k 訓練步數便能達到相當不錯的性能,這突顯了數據蒸餾方法在訓練效率上的優勢。
團隊表示,未來研究可進一步探索該方法在其他生成任務(如視頻生成)上的應用,推動高效、低資源需求的生成模型進一步發展。
論文鏈接:https://arxiv.org/abs/2503.08619
模型鏈接:https://huggingface.co/Beckham808/LightGen
項目鏈接:https://github.com/XianfengWu01/LightGen
— 完 —
學術投稿請于工作日發郵件到:
标題注明【投稿】,告訴我們:
你是誰,從哪來,投稿内容
附上論文 / 項目主頁鏈接,以及聯系方式哦
我們會(盡量)及時回復你
一鍵關注 點亮星标
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法!