視覺Token無縫對齊LLMs詞表！V²Flow：基于LLMs實現高保真自回歸影像生成

今天小編分享的科學經驗：視覺Token無縫對齊LLMs詞表！V²Flow：基于LLMs實現高保真自回歸影像生成，歡迎閲讀。

視覺 Token 可以與 LLMs 詞表無縫對齊了！

V ² Flow，基于 LLMs 可以實現高保真自回歸影像生成。

随着 ChatGPT 掀起自回歸建模革命後，近年來研究者們開始探索自回歸建模在視覺生成任務的應用，将視覺和文本數據統一在 "next-token prediction" 框架下。

實現自回歸影像生成的關鍵是設計向量化 ( Vector-Quantization ) 的視覺 Tokenizer，将視覺内容離散化成類似于大語言模型詞表的離散 Token。

現有方法雖取得進展，卻始終面臨兩大桎梏：

1、傳統視覺 tokenizer 生成的離散表征與 LLM 詞表存在顯著的分布偏差。

2、維度詛咒：影像的二維結構迫使大語言模型以逐行方式預測視覺 token，與一維文本的連貫語義預測存在本質衝突。

結構性與特征分布性的雙重割裂，暴露了當前自回歸視覺生成的重大缺陷：缺乏能夠既保證高保真影像重建，又能與預訓練 LLMs 詞匯表在結構上和特征分布上統一的視覺 tokenizer。解決這一問題對于實現有效的多模态自回歸建模和增強的指令遵循能力至關重要。

因此，一個核心問題是：

能否設計一種視覺 tokenizer，使生成的離散視覺 token 在保證高質量視覺重建的同時，與預訓練 LLMs 詞匯表實現無縫融合？

統一視覺 Token 與大語言模型詞表

最新開源的 V ² Flow tokenizer，首次實現了将視覺内容直接嵌入現有大語言模型的詞匯空間，在保證高質量視覺重建的同時從根本上解決模态對齊問題。總體而言，V ² Flow 主要包括三點核心貢獻：

視覺詞匯重采樣器。

如圖 1 ( a ) ，将影像壓縮成緊湊的一維離散 token 序列，每個 token 被表示為大語言模型（例如 Qwen、LLaMA 系列）詞匯空間上的軟類别分布。這一設計使得視覺 tokens 可以無縫地嵌入現有 LLM 的詞匯序列中。換言之，影像信息被直接翻譯成 LLM" 聽得懂 " 的語言，實現了視覺與語言模态的對齊。

在圖 1 ( b ) 中，經由重采樣器處理後，視覺 tokens 的潛在分布與大型語言模型（LLM）的詞匯表高度一致。這種在結構和潛在分布上的高度兼容性，能夠降低視覺 tokens 直接融入已有 LLM 的復雜性。

△ 圖 1 視覺詞匯重采樣器的核心設計。

掩碼自回歸流匹配編碼器。

為了實現離散化視覺 token 的高保真視覺重建，V ² Flow 提出了掩碼自回歸流匹配解碼器。該解碼器采用掩碼 Transformer 編碼 - 解碼結構，為視覺 tokens 補充豐富的上下文信息。增強後的視覺 tokens 用于條件化一個專門設計的速度場模型，從标準正态先驗分布中重建出連續的視覺特征。在流匹配采樣階段，該解碼器采用類似 MA 的方式，以 "next-set prediction" 的方式逐步完成視覺重建。

相比于近期提出的僅依賴掩碼編碼器 - 解碼器結構的 TiTok，V2Flow 自回歸采樣的優勢是能夠在更少的視覺 token 數量下實現更高的重建質量，有效提高了壓縮效率。

△ 圖 2 掩碼自回歸流匹配解碼器示意圖以及采樣階段算法流程

端到端自回歸視覺生成。

圖 3 展示了 V ² Flow 協同 LLMs 實現自回歸視覺生成的流程。為促進兩者無縫融合，在已有 LLM 詞匯表基礎上擴展了一系列特定視覺 tokens，并直接利用 V ² Flow 中的碼本進行初始化。訓練階段構建了包含文本 - 影像對的單輪對話數據，文本提示作為輸入指令，而離散的視覺 tokens 則作為預測目标響應。

在推理階段，經過預訓練的 LLM 根據文本指令預測視覺 tokens，直至預測到 token 為止。随後，離散視覺 tokens 被送入 V ² Flow 解碼器，通過流匹配采樣重建出高質量影像。