今天小編分享的科學經驗：GPT-4o影像生成架構被“破解”了？自回歸主幹+擴散解碼器，還有4o影像生成全面測評基準，歡迎閱讀。
GPT-4o 影像生成架構被 " 破解 " 了！
最近一陣，，人們随之好奇：
4o 影像生成的架構底層邏輯到底是什麼？GPT-4o 究竟強在哪？存在哪些短板？
作為解答，北京大學、中山大學等多家科研機構共同推出GPT-ImgEval，首次系統評估了 GPT-4o 在影像生成上的真實表現。
這份量化評估基準不僅囊括了生成質量、編輯能力和知識推理，還嘗試揭示GPT-4o 背後的可能架構，還探讨了它生成影像的可檢測性問題。
下面具體來看。
GPT-4o 架構揭秘：可能使用了擴散 + 自回歸混合方案
GPT-ImgEval 團隊嘗試" 反向破解 "GPT-4o 的影像生成架構。
研究團隊在論文中提出了 4 種候選架構方案（見下圖），盡管細節略有不同，但有一點是一致的：GPT-4o 很可能采用的是自回歸主幹 + 擴散頭的混合結構。
通俗來說，它的工作流程可能是這樣的：文本或指令→ 自回歸模塊理解語義 → 生成中間視覺 Token → 擴散模型将這些 Token 解碼成影像。
當然，架構猜測不能僅靠想象。為此，研究團隊設計了一套嚴謹的實證方法：
先選取一組統一的文本提示（prompt），分别使用自回歸模型（VAR）和擴散模型（Diffusion）各自生成 1 萬張影像作為對比樣本；
利用這些影像訓練一個二分類器，讓它學會識别影像是 "AR 風格 " 還是 "Diffusion 風格 "；
然後，用同樣的 Prompt 交給 GPT-4o 生成影像，将這些影像輸入該分類器進行識别。
也就是說，整個過程中，提示詞保持完全一致，只看不同模型生成的影像 " 長得像誰 "，以此判斷 GPT-4o 的生成方式更接近哪類結構。
結果很直接：GPT-4o 生成的影像幾乎全部被識别為 " 擴散風格 "，這就從影像風格維度驗證了 GPT-4o 的确可能用了擴散模型作為解碼器。
除了對視覺解碼器的分析，研究人員也深入探讨了視覺編碼方式。他們指出，一些研究（如 UniTok）認為基于向量量化（VQ）的編碼器可能會削弱模型的語義理解能力。
因此，作者認為如果采用了 pixel encoder，其大概率是連續（非 VQ）的而不是離散（VQ）的，并基于此提出了四種可能的完整架構示意圖。
三大維度全面評估 GPT-4o 影像能力
GPT-ImgEval 聚焦三類核心任務，對 GPT-4o 進行了系統評估：
文本生成影像（GenEval）：通過對物體數量、顏色、位置、組合屬性等細粒度維度進行測評，驗證模型對文本的理解與影像的構造能力。
指令編輯影像（Reason-Edit）：模拟用戶給出修改指令後，模型在保留影像語義基礎上進行局部編輯的能力，如替換、删除、變色等。
基于世界知識的語義合成（WISE）：考察模型是否能将對世界常識、文化背景、科學原理等知識真正 " 顯性化 " 為影像輸出。
為了支持這一系統評估，研究團隊開發了一套針對 GPT-4o 的自動化互動腳本，解決了當前該模型尚未開放影像生成 API 的現實問題。
這套腳本直接與 GPT-4o 網頁界面互動，模拟真實用戶行為：
自動輸入提示詞（Prompt）、點擊提交
自動抓取生成影像并存儲歸檔
每次請求會新開浏覽器視窗，确保不同任務之間上下文不相互幹擾
支持任務批量運行，可實現大規模、可重復的影像生成任務調度
最終，GPT-ImgEval 的整體工作流如下圖所示：
在文本生成影像（GenEval）任務中，GPT-4o 取得了0.84 的總得分，超越目前所有擴散類與自回歸類影像生成模型。
尤其在以下幾項中表現突出：數量控制（0.85）、顏色綁定（0.92）、空間位置（0.75）、屬性組合（0.61）。
下圖是一些 GPT-4o 使用 GenEval 基準中的 prompt 生圖的具體例子：
而在影像編輯任務（Reason-Edit）中，GPT-4o 得分高達0.929，領先第二名超過 0.35，說明其在指令理解和局部控制上表現極其穩定。
在知識合成（WISE）任務中，GPT-4o 同樣大放異彩，多個子維度（生物、文化、物理等）得分均超過 0.9，總分 0.89，遠高于當前開源模型（普遍在 0.4~0.5 之間）。
這說明 GPT-4o 具有強大的世界知識和推理能力，這應該是得益于 GPT-4o 這種統一多模态框架。
更多研究結論 GPT-4o vs Gemini 2.0 Flash：多輪編輯對比
研究團隊還對 GPT-4o 與 Google 的 Gemini 2.0 Flash 進行了多輪影像編輯對比。
除了性能與架構機制，GPT-4o 在實際的使用體驗中也展現出了強勁的競争力。研究團隊對其與 Google 最新發布的 Gemini 2.0 Flash 進行了多輪編輯任務的實測對比。
GPT-4o 支持完整的多輪對話式編輯流程，上下文一致性強
Gemini 響應速度更快，但每輪需重新上傳影像，缺乏連續性
在連續修改、復雜指令理解、影像語義保持方面，GPT-4o 表現出更高的穩定性
從整體趨勢來看，兩者在編輯輪數增加後均出現一致性下降，但 GPT-4o 下降更緩，保持更穩。
GPT-4o 與 Gemini 2.0 Flash 多輪編輯一致性對比如下圖所示：
這一對比結果也進一步驗證了：融合大模型語義理解能力的影像生成系統，在互動式創作任務中，正在展現出壓倒性優勢。
GPT-4o 仍存五大問題，影像量化評估并非無解
研究團隊總結出 GPT-4o 當前的五個常見生成難點：
無法嚴格保持原圖尺寸與邊框比例，有時會自動裁切或縮放
強制銳化，即使用戶要求生成模糊圖，也會被模型 " 優化 " 成高清
編輯偏暖、全圖色調變化，即使只修改小部分，可能全圖色調甚至是全局都會被一定程度修改
復雜場景失真，多人或人 - 物體互動場景易出現姿态不自然或結構錯亂
非英文文本支持較弱，如中文标識常出錯，難以在復雜背景準确生成
這些問題不僅影響使用體驗，也提示我們—— GPT-4o 仍在追求 " 自然感 " 與 " 精确控制 " 之間尋找平衡。
這些影像能被檢測出來嗎？
除了感知層面的觀察和評估，研究團隊進一步思考一個關鍵問題：GPT-4o 生成的影像，是否真的可以 " 以假亂真 "？
為此，研究者使用多個主流影像取證模型，對 GPT-4o 生成的影像進行了系統性評估。
結果顯示，包括 Effort、FakeVLM 在内的多種檢測器，對 GPT-4o 影像的識别準确率普遍超過 95%，最高接近 99.6%。
不僅僅停留在數值層面，研究團隊還對量化評估成功的原因進行了機制層面的歸因分析：
GPT-4o 可能在影像生成過程中引入了超分辨率模塊，通過上采樣插值導致明顯偽影
模型有過度銳化與細節增強傾向，視覺效果雖然 " 精致 "，卻留下了被取證模型捕捉的痕迹
在用戶未要求修改時，仍可能出現尺寸、色彩的隐性變化，破壞了影像一致性
GPT-4o 生成影像色調普遍偏暖，整體風格趨同，易被量化評估模型建立 " 風格識别模式 "
可量化評估，并非弱點，而是 AIGC 安全設計的基線能力
研究團隊認為，是否可量化評估，不應成為衡量生成模型能力強弱的标準，而應被視為評估其可控性與安全性的重要指标。
在未來的 AIGC 系統設計中，" 逼真 " 固然重要，但 " 可識别 "、" 可追蹤 " 同樣不可或缺。GPT-4o 生成影像中的偽影、色彩偏好等特征，也正是推動生成量化評估研究的重要突破口。
這也正是 GPT-ImgEval 的差異化亮點之一：不僅做量化評估，更從安全機制的角度進行深入診斷和前瞻探索。
GPT-4o 很強，但 " 終局 " 遠未到來
GPT-ImgEval 不僅驗證了 GPT-4o 在影像生成上的優勢，更指出了它仍需突破的短板。尤其是在可控性、多語種處理、局部編輯穩定性等方面，仍有不少提升空間。
GPT-ImgEval 不僅系統性驗證了 GPT-4o 在影像生成、影像編輯與知識合成三大任務中的領先表現，更進一步揭示了其架構特征、失敗模式與安全邊界。
該研究不僅在評測維度上實現了覆蓋廣泛、量化精準，也從架構判别、編輯可控性、多輪理解能力和偽影檢測等多個層面，對 GPT-4o 進行了技術全景式診斷。
研究團隊認為，該工作的重要意義在于：
1、提供系統化多模态評估範式：首次從 " 生成 - 編輯 - 推理 " 全流程出發，建立綜合影像能力測試框架；
2、推動閉源模型的 " 可解釋評測 " 研究：在無法訪問模型細節的前提下，建立架構猜測和行為歸因機制；
3、強調通用多輪編輯場景的實用價值：用用戶視角驗證語義理解一致性與細節保真性，為互動設計落地提供參考；
4、補齊影像生成安全性研究缺口：通過可檢測性實證，發現影像中的上采樣 / 超分偽影、色彩特征，推動 AIGC 取證技術演進。
更多細節歡迎查閱原論文。
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
學術投稿請于工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點亮星标
科技前沿進展每日見
