DeepSeek等团队新作JanusFlow: 1.3B大模型统一视觉理解和生成

今天小编分享的科学经验：DeepSeek等团队新作JanusFlow: 1.3B大模型统一视觉理解和生成，欢迎阅读。

在多模态 AI 领網域，基于预训练视觉编码器与 MLLM 的方法（如 LLaVA 系列）在视觉理解任务上展现出卓越性能。

而基于 Rectified Flow 的模型（如 Stable Diffusion 3 及其衍生版本）则在视觉生成方面取得重大突破。

能否将这两种简单的技术范式统一到单一模型中？

来自 DeepSeek、北大、香港大学以及清华大学的团队研究表明：

在 LLM 框架内直接融合这两种结构，就可以实现视觉理解与生成能力的有效统一。

模型架构

简单来说，JanusFlow 将基于视觉编码器和 LLM 的理解框架与基于 Rectified Flow 的生成框架直接融合，实现了两者在单一 LLM 中的端到端训练。

其核心设计包括： ( 1 ) 采用解耦的视觉编码器分别优化理解与生成能力； ( 2 ) 利用理解端编码器对生成端特征进行表征对齐，显著提升 RF 的训练效率。基于 1.3B 规模的 LLM，JanusFlow 在视觉理解和生成任务上均超过此前同规模的统一多模态模型。

在 LLM 基础上，JanusFlow 加入了如下组件：

1、视觉理解编码器（图中的 Und. Encoder）：我们使用 SigLIP 将输入的图片转换成 Visual embeddings；专注于视觉理解任务的特征提取。

2、视觉生成编解码器（图中的 Gen. Encoder/Decoder）：轻量级模块，总参数量约 70M；基于 SDXL-VAE 的 latent space 进行生成；编码器：利用双层 ConvNeXt Block 将输入 latent z_t 转换为 visual embeddings；解码器：通过双层 ConvNeXt Block 将处理后的 embeddings 解码为 latent space 中的速度 v 。

3、注意力机制：在我们的初步实验中，我们发现生成任务中 causal attention 和 bidirectional attention 效果相当；基于效率和简洁性考虑，统一采用 causal attention 处理两类任务。

JanusFlow 有两种生成模式：

1、视觉理解（文 + 图 -> 文 ) ：此时，JanusFlow 的推理模式是正常的自回归模式，通过预测下一个 token 来生成回复

2、图片生成（文 -> 图）：此时，JanusFlow 的推理模式是采用欧拉法求解 Rectified Flow 学出的 ODE，从 t=0 的纯噪声逐步推进到 t=1 的干净影像。我们在生成过程中使用 Classifier-Free Guidance 并把迭代步数設定为 30 步。

方法与设计

1、三阶段训练策略

我们的训练分为 Adaptation，Pre-Training 和 Supervised Fine-Tuning 三阶段。我们的训练数据包括视觉理解（图生文）和视觉生成（文生图）两类。特别地，由于发现 RF 收敛速度显著慢于 AR，我们在预训练阶段采用了非对称的数据配比策略（理解：生成 =2:8），实验证明该配比能够有效平衡模型的两方面能力。详细训练流程和数据配置请见论文。

2、解耦理解与生成的视觉编码器

在之前结合 LLM 与 Diffusion Model 训练统一多模态模型的尝试中，理解与生成任务通常采用同一个视觉编码器（如 Show-O [ 1 ] 中理解和生成均采用 MAGVIT-v2 将图片转换成离散 token，Transfusion [ 2 ] 中理解和生成均采用 latent space 里的 U-Net Encoder），往往导致理解和生成任务在视觉编码层面的冲突。在我们的上一个工作 Janus [ 3 ] 中证实了对多模态理解和生成任务的编码器进行解耦能有效缓解冲突，提升模型的整体性能。在 JanusFlow 中，我们沿用了这一设计。我们进行了一系列的消融实验探究了不同视觉编码器策略的影响，证实为理解和生成任务分别配置专用编码器能够显著提升整体性能。

3、表征对齐（Representation Alignment）

正如之前提到的，由于 RF 的训练收敛速度显著慢于 AR，JanusFlow 的训练开销较大。得益于我们解耦了理解与生成的编码器，我们可以使用 REPA [ 4 ] 的方法来加速 RF 训练的收敛速度。具体而言，我们在生成数据的训练中要求视觉编码器提取的训练图片 x 的特征与其加噪样本 z_t 在 LLM 中的中间层特征对齐。实验表明，该方法在仅增加少量计算开销的情况下，显著提升了生成任务的收敛效率。