今天小編分享的科學經驗：CVPR 2025：長Prompt對齊問題也能評估了！當前最大AIGC評估數據集，模型評分超越當前SOTA，歡迎閱讀。
今年，CVPR 共有 13008 份有效投稿并進入評審流程，其中 2878 篇被錄用，最終錄用率為 22.1%。
錄用論文上來看，多模态相關内容仍是關注重點。
上海交通大學 - 美團計算與智能聯合實驗室發布的論文也被錄用，論文提出了 Q-Eval-100K 數據集與 Q-Eval-Score 評估框架。
論文致力于解決以下問題：
現有的文本到視覺評估數據集存在關鍵評估維度缺乏系統性、無法區分視覺質量和文本一致性，以及規模不足等問題；
評估過程復雜、結果模糊，難以滿足特定評估需求，限制了基于大模型的評估模型在實際場景中的應用
相關實驗也表明數據集和方法在評估結論和泛化性方面都做到的當前業界的領先水準。
在下表中可以看到數據集 Q-Eval-100K 的實例數量和人工标注數量遠超其他數據集，可以說 Q-Eval-100K 是當前最大的 AIGC 評估數據集。
同時跨數據集驗證顯示，在 Q-Eval-100K 上訓練的模型在 GenAI-Bench 數據集上表現出色，遠超當前先進方法，充分證明了 Q-Eval-100K 數據集的泛化價值。
數據集 Q-Eval-100K 開啟了文本到視覺内容評估的新時代，同時 Q-Eval-Score 提供一個開源的較為準确客觀的 AIGC 打分框架，可用于對 AIGC 圖片視頻生成類模型的評估。
Q-Eval-100K 數據集共計包含了 100K 的 AIGC 生成數據（其中包含 60k 的 AIGC 圖片以及 40k 的 AIGC 視頻）。
接下來，将對 Q-Eval-100K 數據集與 Q-Eval-Score 評估框架進行詳細介紹。
數據集構建
在數據集構建上，團隊确保遵循三個原則：
1）保證數據多樣性。為了收集到接近真實場景下多樣性的數據集，團隊從三個大的維度出發構建了對應的 prompt 集，這三個大的維度可以被劃分為實體生成（people，objects,animals,etc.），實體屬性生成（clothing,color,material,etc.），交叉能力項（backrgound，spatialrelationship,etc.），通過對于不同維度數據的比例控制，确保了 prompt 數據的多樣性。同時，團隊還使用了當前 SOTA 開源或者 API 的 AIGC 模型進行數據生成，從而确保了生成數據的高質量。這些 AIGC 模型包括 FLUX，Lumina-T2X，PixArt，StableDiffusion 3，CogVideoX，Runway GEN-3，Kling 等。
2）高質量的數據标注。團隊招募了 200 多名經過培訓的人員進行人工打分标注，從這些人員手中收集了超過 960k 條相關數據的打分信息。經過人工嚴格的篩選和過濾後，最終得到了這 100k AIGC 數據以及其對應的一致性 / 質量标注數據。通過這樣的方式，可以确保标注數據與人類偏好的高度一致性，從而提升了 Q-Eval-Score 評估框架的一致性與泛化能力。
3）視覺質量和文本一致性解耦标注。團隊觀察到當前對于 AIGC 模型質量的研判主要聚焦于視覺質量和文本一致性兩個方面，因此，在數據集構建的過程當中将兩個維度拆分開标注，以确保 Q-Eval-Score 可以同時對這兩個維度進行評估。如下圖所示，在統計了多個 AIGC 模型的視覺質量和文本一致性 mos 分後，團隊發現兩個維度上模型的表現存在一定的差異性，因此也說明了将兩個維度解耦的必要性。
以上數據集已在 AGI-Eval 社區評測集專區上線。
統一評估框架
在 Q-Eval-100k 的基礎上，團隊訓練得到了 Q-Eval-Score 評估框架，該框架将數據集轉換為監督微調（SFT）數據集，以特定上下文 prompt 格式訓練大語言模型（LMM），使其能夠獨立評估視覺質量和文本一致性。
模型訓練
首先，團隊構建一個上下文 prompt 數據集用于大模型的 SFT 過程，模版如下：
再将人工标注打分按照 1-5 分分别映射到 5 個檔位 {Bad,Poor,Fair,Good,Excellent} 上，以确保數據可用于大模型 SFT，人工标注打分映射的過程如下所示。
通過将五檔得分的 logits 概率與權重加權得到最終得分，權重 1-0 分别表示從 Excellent 到 Bad 的得分映射。
在模型上，團隊選擇了當前在影像視頻理解上性能較為優異的Qwen2-VL-7B-Instruct模型進行 SFT 微調，在微調時同時啟用 CE Loss 和 MSELoss，用于監督模型打分能力的提升。
長 prompt 對齊問題
在文本一致性上，團隊發現在處理長 prompt（超過 25 個詞長）的場景時，常會低估對應的分數，這通常是由于訓練集當中出現的較長提示詞占比較少導致。
因此，針對長提示詞對齊評估難題，團隊創新性地提出 "Vague-to-Specific" 策略，将長提示詞拆分為模糊提示詞和多個具體提示詞分别評估，再綜合計算最終得分。
對于模糊提示詞，團隊按照常規方式計算對齊度得分。
然而，對于特定提示詞來說這個策略并不合适，因為每個特定提示詞只涉及視覺内容的一部分。
受 VQAScore 方法的啟發，團隊将問題修改為更溫和的形式，例如 "Doestheimage/videoshow [ prompt ] ？"，以此來評估每個特定提示詞的對齊度。
最後，團隊使用加權方法結合模糊提示詞和特定提示詞的結果，計算最終的對齊分數：
實驗結論
在視覺質量評估方面，Q-Eval-Score 在影像和視頻的測試中均表現優異，其預測得分與人工打分的斯皮爾曼等級相關系數（SRCC）和皮爾遜線性相關系數（PLCC）超越了當前所有的 SOTA 模型。
在文本一致性上，Q-Eval-Score 同樣優勢顯著，在影像和視頻的測試中，其 Instance-level 的 SRCC 分别領先其他的 sota 模型6% 和 12%。
消融實驗表明，研究中提出的各項策略和損失函數對模型性能提升貢獻顯著。
在長提示詞子集測試中，"Vague-to-Specific" 策略有效提高了評估性能；
Q-Eval-100K 和 Q-Eval-Score 的出現意義重大。它們為文本到視覺模型的評估提供了更可靠、全面的方案，有助于推動生成式模型的進一步發展和實際應用。未來，這一研究成果有望為相關領網域的發展奠定堅實基礎，助力文本到視覺技術邁向新高度。
AGI-Eval 評測社區也一直致力于共創如 "Q-Eval-100k 數據集 " 這樣優秀的數據集，在模型評測領網域深耕，旨在打造公正、可信、科學、全面的評測生态以 " 評測助力，讓 AI 成為人類更好的夥伴 " 為使命。
論文鏈接：
https://arxiv.org/abs/2503.02357
AGI-Eval 評測集專區： https://agi-eval.cn/evaluation/Q-Eval-100K?id=55
— 完 —
學術投稿請于工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
一鍵關注 點亮星标
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
