今天小编分享的科学经验：Llama也能做影像生成！港大字节推出开源自回归文生图模型，在线体验已开放，欢迎阅读。
只需 Image Tokenizer，Llama 也能做影像生成了，而且效果超过了扩散模型。
来自港大和字节的研究人员，提出了基于自回归模型 Llama 的影像生成方法。
目前该模型已经开源，并在 GitHub 斩获了近 900 颗星标。
扩散模型出现后，取代了自回归方法，一度成为影像生成的主流技术路线。
但在 ImageNet 测试基准上，作者提出的 LlamaGen 表现超越了 LDM、DiT 等扩散模型。
作者的这一发现，证明了最原始的自回归模型架构同样可以实现极具竞争力的影像生成性能。
△LlamaGen 生图示例，第一行为 class 调控生成，第二行为文生图
那么，基于自回归模型，或者说基于 Llama 的影像生成，是如何实现的呢？
用自回归模型做影像生成
作者介绍，开源社区对自回归模型做影像生成的印象大多停留在 2020 年的 VQ-GAN 的 ImageNet 基准上取得的 15 左右的 FID 分数。
然而，早在 2021 年的 ViT-VQGAN 已经达到了 FID 3.0 左右的性能，DALL-E 1，Parti 等更是在文生图领網域展现了巨大的潜力。
不过这些工作都没有开源，于是，研究团队将目标设定成了推出开源版的基于自回归影像生成模型。
针对现有的先进的影像生成模型，作者总结出其成功的三点关键设计：
影像压缩 / 量化器（Image Compressors/Tokenizers）
可 scale up 的影像生成模型（Scalable Image generation models）
高质量的训练数据（High-quality Training Data）
于是，作者采用了与 VQ-GAN 同样的 CNN 架构，将连续的影像转化成离散的 Token。
相比 2020 年的 VQ-GAN，作者对 Image Tokenizer 有了更多的认知：
一个优秀的 Tokenizer 需要更大的 Codebook Size，更低的 Codebook Vector Dimension，同时，更好的影像重建需要更多的 Token 数量。
△VQ-GAN 架构，非本项目
架构方面，LlamaGen 的模型架构主要基于 Llama 语言模型，包括使用 RMSNorm 的 Pre-Normalization、SwiGLU 和 RoPE。
尽管影像生成领網域一些常用的技术（如 AdaLN）可能进一步提高性能，但作者还是尽可能保持与 Llama 语言模型一模一样的架构。
在 Class-Conditional 和 Text-Conditional（文生图）影像生成模型中，作者采用了使用最简单的实现：
Class 或文本嵌入直接作为起始 Token，后续的 Image Token 应用 next-Token 预测范式产生。
训练的过程则分为两个阶段进行。
在第一阶段，模型在 LAION-COCO 的 50M 子集上进行训练，影像分辨率为 256 × 256。
LAION-COCO 原始数据集有 6 亿图文对，作者通过有效的影像 URL、美学分数、水印分数、CLIP 图文相似度分数和影像大小来筛选这些影像。
在第二阶段，模型在 1 千万规模的内部高美学质量影像上进行微调，影像分辨率为 512 × 512。
这些美学影像的文本描述由 LLaVa 产生。
到了部署阶段，基于原生自回归模型架构的影像生成模型可以无缝采用现有的 LLM 部署框架，例如 vLLM。这也是统一模型架构的一大优势。
同时，基于 vLLM 的框架部署方式，为 LlamaGen 带来了 326%-414% 的加速。
效果不输扩散模型
那么，作者研究出的这款模型效果究竟怎样呢？
先说作者重新训练的 Image Tokenizer，它在 ImageNet 和 COCO 上优于以前的 Tokenizers，包括 VQGAN，ViT-VQGAN 和 MaskGI 等。
重要的是，基于离散表征的 Tokenizer 与基于连续表征的 VAE 性能持平（例如在扩散模型中被广泛使用的 SD VAE），这表明影像量化的离散表征不再是影像重建的一大瓶颈。
实际生成过程中，在 ImageNet 测试集上，LlamaGen 在 FID、IS、Precision 和 Recall 等指标上都表现出了极强的竞争力。
其中，LlamaGen-3B 模型优于广为流行的扩散模型 LDM 和 DiT。这表明最朴素的自回归模型架构有能力作为先进影像生成系统的基础模型。
同时，与之前的自回归模型相比，LlamaGen 在各个参数量级上均优于以前的模型。
作者分析，这样的成绩是得益于更好的 Image Tokenizer 和 Llama 架构更好的扩展性。
文生图方面，经过第一阶段的训练，模型基本拥有了图文对齐的能力，但其生成影像的视觉质量有待提高。
第二阶段的训练显著提高了生成影像的视觉质量，作者认为这种提高来自两个方面——
第二阶段的训练使用了高质量的美学影像；
第一阶段的影像分辨率是 256x256，第二阶段是 512x512，更大的影像分辨率会带来更好的视觉效果。
当输入更长的文本时，LlamaGen 也可以生成兼具图文对齐与视觉质量的影像。
不过作者也坦言，如果类比扩散模型的发展路线，目前的 LlamaGen 只是做到了 Stable Diffusion v1 阶段，未来的改进方向包括 SDXL（更大的分辨率，更多的 Aspect Ratio），ControlNet（更高的可控性），Sora（视频生成）。
从多模态大模型的视角看，自回归模型分别实现理解任务和生成任务都被证明了可行性，下一步就是在同一个模型中联合训练。
目前该项目已经开源，而且还支持在线体验，感兴趣的话不妨一试。
在线体验：
https://huggingface.co/spaces/FoundationVision/LlamaGen
论文地址：
https://arxiv.org/abs/2406.06525
项目主页：
https://peizesun.github.io/llamagen/
GitHub：
https://github.com/FoundationVision/LlamaGen
Hugging Face：
https://huggingface.co/FoundationVision/LlamaGen
— 完 —
投稿请发邮件到：
标题注明【投稿】，告诉我们：
你是谁，从哪来，投稿内容
附上论文 / 项目主页链接，以及联系方式哦
我们会（尽量）及时回复你
点这里关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>
