今天小編分享的科學經驗：UniToken：多模态AI的“全能選手”，一次編碼搞定圖文理解與影像生成！，歡迎閱讀。
首次在統一框架内實現理解與生成的 " 雙優表現 "，打破了多模态統一建模的僵局！
復旦大學和美團的研究者們提出了 UniToken ——一種創新的統一視覺編碼方案，在一個框架内兼顧了圖文理解與影像生成任務，并在多個權威評測中取得了領先的性能表現。
UniToken 通過融合連續和離散視覺表征，有效緩解了以往方法中 " 任務幹擾 " 和 " 表示割裂 " 的問題，為多模态統一建模提供了新的範式。
為了便于社區内研究者們復現與進一步開發，UniToken 團隊已将代碼與模型全部開源。
任務背景：統一建模的挑戰
在傳統圖文理解或影像生成模型中，其視覺編碼的底層特性差異較大。
譬如圖文理解模型（如 LLaVA、Qwen-VL 等）要求從影像中抽取高層語義，從而進一步結合文本進行協同理解；而影像生成模型（如 DALL-E、Stable Diffusion 等）則要求保留充分的底層細節以高保真影像的生成。
由此，開發理解生成一體化的多模态大模型面臨着以下幾大難題：
視覺編碼割裂：理解任務偏好具有高層語義的連續視覺特征（如 CLIP），而生成任務依賴保留底層細節的離散視覺特征（如 VQ-GAN 編碼的 codebook）；
聯合訓練幹擾：理解與生成任務差異而帶來的衝突性使得在統一模型中訓練時難以兼顧兩個任務的性能，存在 " 一個優化，另一個退化 " 的現象。
為了應對上述挑戰，領網域内的相關工作通常采取兩類範式：以 VILA-U 等為代表的工作通過結合影像重建與圖文對比學習的訓練目标，來提升離散視覺編碼的語義豐富度；以 Janus 等為代表的工作通過為理解和生成任務分别定制相應的視覺編碼器與預測頭，來實現兩個任務之間的解耦。
然而，前者在理解任務上目前依舊難以與連續視覺編碼驅動的多模态大模型匹敵；後者則在應對更復雜的多模任務（例如多輪影像編輯等）時面臨嚴重的上下文切換開銷及單邊信息缺失等問題。
UniToken：統一視覺表示，融合兩種世界核心設計：連續 + 離散雙編碼器
不同于 Janus 的多任務解耦的設計思路，UniToken 為所有下遊任務均提供一套完備的視覺信息，促使多模态大模型以指令驅動的形式從中吸收相應的知識。
具體而言，UniToken 采取統一的雙邊視覺編碼器，其中将 VQ-GAN 的離散編碼與 SigLIP 的連續表征以下述方式進行拼接，從而得到一套兼備高層語義與底層細節的視覺編碼：
[ BOS ] [ BOI ] { 離散影像 token} [ SEP ] { 連續影像 embedding} [ EOI ] { 文本 } [ EOS ]
多階段訓練策略
為了協調理解與生成任務的特性，UniToken 采用三階段訓練流程：
階段一：視覺語義空間對齊：
基于 Chameleon 作為基座，本階段旨在為 LLM 接入 SigLIP 的連續視覺編碼。為此，在訓練時凍結 LLM，僅訓練 SigLIP ViT 和 Adapter，使其輸出與語言空間對齊。
階段二：多任務聯合訓練：
基于第一階段對齊後的雙邊編碼器所提供的完備視覺信息，本階段在大規模圖文理解與影像生成數據集上聯合訓練，通過控制數據配比（10M:10M）以均衡提升模型理解與生成任務的性能。
階段三：指令強化微調：
通過測試發現，第二階段訓練後的模型在指令跟随、布局影像生成等方面的表現均有待加強，故在本階段進一步引入高質量多模态對話（423K）與精細化影像生成數據（100K），進一步增強模型對復雜指令的跟随能力。
細粒度視覺增強
得益于保存了雙邊視覺編碼的完備性，UniToken 可無縫銜接現有的細粒度視覺增強技術。
具體而言，UniToken 在連續視覺編碼側引入兩項增強策略：
AnyRes：将高分辨率影像劃分為多個子圖，分别提取特征後進行相應空間位置的拼接，以提升對影像的細粒度感知；
ViT 端到端微調：在模型的全訓練流程中，動态微調連續視覺編碼器的權重，結合精細的學習率控制策略以避免模型崩潰，進而适應廣泛的任務場景。
實驗結果：超越 SOTA，多模态統一的 " 優等生 "
在多個主流多模态基準（圖文理解 + 影像生成）上，UniToken 均取得了媲美甚至領先于領網域内專用模型的性能：
與此同時，研究者們對于訓練策略及視覺編碼的影響進行了進一步深入的消融分析：
在大規模數據場景下（>15M），1:1 的理解 + 生成數據比例能夠兼顧理解與生成任務的性能
在應對理解與生成的任務衝突時，統一的連續 + 離散的視覺編碼相較于僅采用離散編碼的方案具有較強的魯棒性。
總結：邁向通用理解生成一體化的多模态大模型
從發展趨勢上來看，目前圖文理解模型在通用性上遠遠領先于影像生成模型。
而 Gemini-2.0-Flash 與 GPT-4o 在指令跟随的影像生成方面的驚豔表現，帶來了通用影像生成模型未來的曙光。
在這樣的時代背景下，UniToken 僅是初步的嘗試，而其信息完備的特性也為進一步挖掘其更深層次的潛力提供了更多信心：
模型規模擴展：借助更大的語言模型，進一步探索統一模型在理解與生成上的 " 湧現能力 "；
數據規模擴展：引入更大規模的訓練數據（如 Janus-Pro 使用的近 2 億樣本），推動模型性能極限；
任務類型擴展：從傳統的理解與生成拓展至影像編輯、故事生成等圖文交錯的任務，追逐通用生成能力的上限。
論文鏈接：
https://arxiv.org/pdf/2504.04423
代碼地址：
https://github.com/SxJyJay/UniToken
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
學術投稿請于工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點亮星标
科技前沿進展每日見
