今天小編分享的科學經驗：Llama也能做影像生成！港大字節推出開源自回歸文生圖模型，在線體驗已開放，歡迎閲讀。
只需 Image Tokenizer，Llama 也能做影像生成了，而且效果超過了擴散模型。
來自港大和字節的研究人員，提出了基于自回歸模型 Llama 的影像生成方法。
目前該模型已經開源，并在 GitHub 斬獲了近 900 顆星标。
擴散模型出現後，取代了自回歸方法，一度成為影像生成的主流技術路線。
但在 ImageNet 測試基準上，作者提出的 LlamaGen 表現超越了 LDM、DiT 等擴散模型。
作者的這一發現，證明了最原始的自回歸模型架構同樣可以實現極具競争力的影像生成性能。
△LlamaGen 生圖示例，第一行為 class 調控生成，第二行為文生圖
那麼，基于自回歸模型，或者説基于 Llama 的影像生成，是如何實現的呢？
用自回歸模型做影像生成
作者介紹，開源社區對自回歸模型做影像生成的印象大多停留在 2020 年的 VQ-GAN 的 ImageNet 基準上取得的 15 左右的 FID 分數。
然而，早在 2021 年的 ViT-VQGAN 已經達到了 FID 3.0 左右的性能，DALL-E 1，Parti 等更是在文生圖領網域展現了巨大的潛力。
不過這些工作都沒有開源，于是，研究團隊将目标設定成了推出開源版的基于自回歸影像生成模型。
針對現有的先進的影像生成模型，作者總結出其成功的三點關鍵設計：
影像壓縮 / 量化器（Image Compressors/Tokenizers）
可 scale up 的影像生成模型（Scalable Image generation models）
高質量的訓練數據（High-quality Training Data）
于是，作者采用了與 VQ-GAN 同樣的 CNN 架構，将連續的影像轉化成離散的 Token。
相比 2020 年的 VQ-GAN，作者對 Image Tokenizer 有了更多的認知：
一個優秀的 Tokenizer 需要更大的 Codebook Size，更低的 Codebook Vector Dimension，同時，更好的影像重建需要更多的 Token 數量。
△VQ-GAN 架構，非本項目
架構方面，LlamaGen 的模型架構主要基于 Llama 語言模型，包括使用 RMSNorm 的 Pre-Normalization、SwiGLU 和 RoPE。
盡管影像生成領網域一些常用的技術（如 AdaLN）可能進一步提高性能，但作者還是盡可能保持與 Llama 語言模型一模一樣的架構。
在 Class-Conditional 和 Text-Conditional（文生圖）影像生成模型中，作者采用了使用最簡單的實現：
Class 或文本嵌入直接作為起始 Token，後續的 Image Token 應用 next-Token 預測範式產生。
訓練的過程則分為兩個階段進行。
在第一階段，模型在 LAION-COCO 的 50M 子集上進行訓練，影像分辨率為 256 × 256。
LAION-COCO 原始數據集有 6 億圖文對，作者通過有效的影像 URL、美學分數、水印分數、CLIP 圖文相似度分數和影像大小來篩選這些影像。
在第二階段，模型在 1 千萬規模的内部高美學質量影像上進行微調，影像分辨率為 512 × 512。
這些美學影像的文本描述由 LLaVa 產生。
到了部署階段，基于原生自回歸模型架構的影像生成模型可以無縫采用現有的 LLM 部署框架，例如 vLLM。這也是統一模型架構的一大優勢。
同時，基于 vLLM 的框架部署方式，為 LlamaGen 帶來了 326%-414% 的加速。
效果不輸擴散模型
那麼，作者研究出的這款模型效果究竟怎樣呢？
先説作者重新訓練的 Image Tokenizer，它在 ImageNet 和 COCO 上優于以前的 Tokenizers，包括 VQGAN，ViT-VQGAN 和 MaskGI 等。
重要的是，基于離散表征的 Tokenizer 與基于連續表征的 VAE 性能持平（例如在擴散模型中被廣泛使用的 SD VAE），這表明影像量化的離散表征不再是影像重建的一大瓶頸。
實際生成過程中，在 ImageNet 測試集上，LlamaGen 在 FID、IS、Precision 和 Recall 等指标上都表現出了極強的競争力。
其中，LlamaGen-3B 模型優于廣為流行的擴散模型 LDM 和 DiT。這表明最樸素的自回歸模型架構有能力作為先進影像生成系統的基礎模型。
同時，與之前的自回歸模型相比，LlamaGen 在各個參數量級上均優于以前的模型。
作者分析，這樣的成績是得益于更好的 Image Tokenizer 和 Llama 架構更好的擴展性。
文生圖方面，經過第一階段的訓練，模型基本擁有了圖文對齊的能力，但其生成影像的視覺質量有待提高。
第二階段的訓練顯著提高了生成影像的視覺質量，作者認為這種提高來自兩個方面——
第二階段的訓練使用了高質量的美學影像；
第一階段的影像分辨率是 256x256，第二階段是 512x512，更大的影像分辨率會帶來更好的視覺效果。
當輸入更長的文本時，LlamaGen 也可以生成兼具圖文對齊與視覺質量的影像。
不過作者也坦言，如果類比擴散模型的發展路線，目前的 LlamaGen 只是做到了 Stable Diffusion v1 階段，未來的改進方向包括 SDXL（更大的分辨率，更多的 Aspect Ratio），ControlNet（更高的可控性），Sora（視頻生成）。
從多模态大模型的視角看，自回歸模型分别實現理解任務和生成任務都被證明了可行性，下一步就是在同一個模型中聯合訓練。
目前該項目已經開源，而且還支持在線體驗，感興趣的話不妨一試。
在線體驗：
https://huggingface.co/spaces/FoundationVision/LlamaGen
論文地址：
https://arxiv.org/abs/2406.06525
項目主頁：
https://peizesun.github.io/llamagen/
GitHub：
https://github.com/FoundationVision/LlamaGen
Hugging Face：
https://huggingface.co/FoundationVision/LlamaGen
— 完 —
投稿請發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
