今天小編分享的科學經驗：視覺Token無縫對齊LLMs詞表！V²Flow：基于LLMs實現高保真自回歸影像生成，歡迎閱讀。
視覺 Token 可以與 LLMs 詞表無縫對齊了！
V ² Flow，基于 LLMs 可以實現高保真自回歸影像生成。
随着 ChatGPT 掀起自回歸建模革命後，近年來研究者們開始探索自回歸建模在視覺生成任務的應用，将視覺和文本數據統一在 "next-token prediction" 框架下。
實現自回歸影像生成的關鍵是設計向量化 ( Vector-Quantization ) 的視覺 Tokenizer，将視覺内容離散化成類似于大語言模型詞表的離散 Token。
現有方法雖取得進展，卻始終面臨兩大桎梏：
1、傳統視覺 tokenizer 生成的離散表征與 LLM 詞表存在顯著的分布偏差。
2、維度詛咒：影像的二維結構迫使大語言模型以逐行方式預測視覺 token，與一維文本的連貫語義預測存在本質衝突。
結構性與特征分布性的雙重割裂，暴露了當前自回歸視覺生成的重大缺陷：缺乏能夠既保證高保真影像重建，又能與預訓練 LLMs 詞匯表在結構上和特征分布上統一的視覺 tokenizer。解決這一問題對于實現有效的多模态自回歸建模和增強的指令遵循能力至關重要。
因此，一個核心問題是：
能否設計一種視覺 tokenizer，使生成的離散視覺 token 在保證高質量視覺重建的同時，與預訓練 LLMs 詞匯表實現無縫融合？
統一視覺 Token 與大語言模型詞表
最新開源的 V ² Flow tokenizer，首次實現了将視覺内容直接嵌入現有大語言模型的詞匯空間，在保證高質量視覺重建的同時從根本上解決模态對齊問題。總體而言，V ² Flow 主要包括三點核心貢獻：
視覺詞匯重采樣器。
如圖 1 ( a ) ，将影像壓縮成緊湊的一維離散 token 序列，每個 token 被表示為大語言模型（例如 Qwen、LLaMA 系列）詞匯空間上的軟類别分布。這一設計使得視覺 tokens 可以無縫地嵌入現有 LLM 的詞匯序列中。換言之，影像信息被直接翻譯成 LLM" 聽得懂 " 的語言，實現了視覺與語言模态的對齊。
在圖 1 ( b ) 中，經由重采樣器處理後，視覺 tokens 的潛在分布與大型語言模型（LLM）的詞匯表高度一致。這種在結構和潛在分布上的高度兼容性，能夠降低視覺 tokens 直接融入已有 LLM 的復雜性。
△ 圖 1 視覺詞匯重采樣器的核心設計。
掩碼自回歸流匹配編碼器。
為了實現離散化視覺 token 的高保真視覺重建，V ² Flow 提出了掩碼自回歸流匹配解碼器。該解碼器采用掩碼 Transformer 編碼 - 解碼結構，為視覺 tokens 補充豐富的上下文信息。增強後的視覺 tokens 用于條件化一個專門設計的速度場模型，從标準正态先驗分布中重建出連續的視覺特征。在流匹配采樣階段，該解碼器采用類似 MA 的方式，以 "next-set prediction" 的方式逐步完成視覺重建。
相比于近期提出的僅依賴掩碼編碼器 - 解碼器結構的 TiTok，V2Flow 自回歸采樣的優勢是能夠在更少的視覺 token 數量下實現更高的重建質量，有效提高了壓縮效率。
△ 圖 2 掩碼自回歸流匹配解碼器示意圖以及采樣階段算法流程
端到端自回歸視覺生成。
圖 3 展示了 V ² Flow 協同 LLMs 實現自回歸視覺生成的流程。為促進兩者無縫融合，在已有 LLM 詞匯表基礎上擴展了一系列特定視覺 tokens，并直接利用 V ² Flow 中的碼本進行初始化。訓練階段構建了包含文本 - 影像對的單輪對話數據，文本提示作為輸入指令，而離散的視覺 tokens 則作為預測目标響應。
在推理階段，經過預訓練的 LLM 根據文本指令預測視覺 tokens，直至預測到 token 為止。随後，離散視覺 tokens 被送入 V ² Flow 解碼器，通過流匹配采樣重建出高質量影像。
△ 圖 3 V ² Flow 與預訓練 LLMs 融合實現自回歸視覺生成的整體流程。實驗結果
重建質量方面，V ² Flow 無論是在 ImageNet-1k 測試數據集的 256 和 512 分辨率下均取得了競争性的重建性能。
相比于字節提出的一維離散化 tokenizer TiTok 相比，V ² Flow 利用更少的離散 tokens 實現了更高質量的影像重建，顯著提高了整體壓縮效率。
文本引導影像生成方面，實驗結果表明，相比于當前兩種最先進的自回歸生成模型 Janus-Pro-7B 和 Lumina-mGPT-7B，V ² Flow+LLaMA2-7B 能夠更加準确地捕捉文本提示中的語義細節，展示了極具競争力的生成性能。
開源生态與團隊招募：共建多模态未來
開源承諾：讓技術普惠每一位探索者
開源是推動 AI 技術進化的核心動力。本次發布的 V ² Flow 框架已完整公開訓練與推理代碼庫，開發者可基于現有代碼快速復現論文中的核心實驗。更令人期待的是，團隊預告将于近期陸續發布：
512/1024 分辨率預訓練模型：支持高清影像重建與生成
自回歸生成模型：集成 LLaMA 等主流大語言模型的開箱即用方案
多模态擴展工具包：未來将支持視頻、3D、語音等跨模态生成任務
加入我們：共創下一代多模态智能
V ² Flow 作者團隊現招募多模态生成算法研究型實習生！如果你渴望站在 AI 内容生成的最前沿，參與定義自回歸架構的未來，這裡将是你實現突破的絕佳舞台。
我們做什麼？
探索文本、影像、視頻、語音、音樂的統一自回歸生成範式
構建支持高清、長序列、強語義關聯的多模态大模型
攻克數字人、3D 生成、實時互動創作等產業級應用難題
我們需要你具備：
硬核技術力
精通 Python，熟練使用 PyTorch/TensorFlow 等框架
深入理解 Diffusers、DeepSpeed 等 AIGC 工具鏈
在 CV/NLP 領網域頂級會議（CVPR、ICML、NeurIPS 等）發表論文者優先
極致創新欲
對多模态生成、自回歸架構、擴散模型等技術有濃厚興趣
曾在 Kaggle、ACM 競賽等獲得 Top 名次者優先
有開源項目貢獻或獨立開發經驗者優先
投遞方式：[email protected]
論文鏈接：
https://arxiv.org/abs/2503.07493
開源項目鏈接：
https://github.com/Davinci-XLab/V2Flow
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
學術投稿請于工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點亮星标
科技前沿進展每日見
