今天小編分享的科學經驗：多模态大模型改造人臉防偽檢測，廈大騰訊優圖等研究入選CVPR 2025，歡迎閲讀。
近年來，人臉合成技術在快速發展，相關檢測任務也逐漸從 " 看得出來 " 向 " 説明白為什麼 " 演進。除了判斷一張臉是真還是假，更需要模型能 " 説出個所以然 "。
在 CVPR 2025 的工作《Towards General Visual-Linguistic Face Forgery Detection》中，研究團隊嘗試從視覺 + 語言的多模态視角來改進偽造檢測方法。
本文提出了一種簡單有效的訓練範式，并圍繞數據标注問題，構建了一個高質量的文本生成流程。
為什麼要引入語言模态？
在偽造檢測任務中加入語言，有兩個直接的好處：
第一，提升可解釋性。比起真和假的這種二元黑盒輸出，如果模型能進一步説明 " 假在哪裏 "" 怎麼假 "，無論是用于分析溯源，還是輔助下遊任務，都更有價值；
第二，激活預訓練知識。現有的一些視覺 backbone（如 CLIP、LLaVA）等被證明能力已經高于很多純視覺預訓練模型，而這些模型在下遊任務的潛在的知識需要語言模态來激活。所以我們希望它們的語言模态不僅能輔助理解影像細節，還能提高模型的遷移能力和泛化表現。
因此，團隊提出了如圖所示的一個新的多模态訓練框架：
△圖 1：視覺語言偽造檢測訓練範式
該方法的關鍵在于：不再直接用影像做二分類判斷，而是先為偽造影像生成文本描述，再通過這些圖文對來聯合微調多模态模型，比如 CLIP 或 mLLM。這樣訓練後的模型不僅能判斷偽造，還能在語言中 " 指出問題所在 "。
但問題也随之而來——
數據從哪裏來？
多模态任務的關鍵是高質量标注數據。而偽造檢測任務相比于傳統的圖文匹配，難度在于：
它是一種更偏底層的任務，涉及的偽造往往是非常微妙的局部特征（比如鼻梁稍微歪了一點、嘴角顏色糊了一點）；
要準确地用語言描述這些細節，遠沒有那麼容易。
目前社區主流的做法大概有兩類：
人工眾包标注（如 DD-VQA）；
利用大模型（如 GPT-4o）生成偽造描述。
但實驗發現，兩種方式都存在較明顯的問題，尤其在高質量偽造影像中，容易出現 " 看花眼 " 的情況——模型或者标注人可能會誤判沒有問題的區網域，產生所謂的 " 語言幻覺 "。
如下圖所示，僅嘴部被修改的偽造圖，GPT 和人工标注都錯誤地指出了鼻子區網域：
△圖 2：現有偽造文本标注容易出現幻覺
此外，真實影像該怎麼标注？要不要也寫一段文字描述？怎麼寫才不誤導模型？這些問題都説明：需要一個系統化的、高可信度的标注流程。
FFTG 偽造文本生成流程
針對上述挑戰，研究團隊提出了 FFTG（人臉偽造文本生成器），這是一種新穎的标注流程，通過結合偽造掩碼指導和結構化提示策略，生成高精度的文本标注。
△圖 3：FFTG 标注流程
FFTG 标注流程主要分為兩個核心階段：原始标注生成 ( Raw Annotation Generation ) 和 标注優化 ( Annotation Refinement ) 。
第一階段：原始标注生成
在這一階段，FFTG 利用真實影像和對應的偽造影像，通過精确的計算分析生成高準确度的初始标注：
1、掩碼生成 ( Mask Generation ) ：
通過計算真實影像和偽造影像之間的像素級差異，生成偽造掩碼 M
掩碼值被歸一化到 [ 0,1 ] 範圍，突顯操作強度較大的區網域
2、偽造區網域提取 ( Forgery Region Extraction ) ：
基于面部特征點将人臉劃分為四個關鍵區網域：嘴部、鼻子、眼睛和整個臉部
計算每個區網域内掩碼 M 的平均值，并設定阈值 θ 判斷該區網域是否被篡改
形成偽造區網域列表，并從中随機選擇一個區網域進行下一步分析
3、偽造類型判定 ( Forgery Type Decision ) ： 設計了五種典型的偽造類型判斷标準：
顏色差異 ( Color Difference ) ：通過 Lab 色彩空間中的均值和方差差異檢測
模糊 ( Blur ) ：使用拉普拉斯算子量化局部模糊程度
結構異常 ( Structure Abnormal ) ：使用 SSIM 指數衡量結構變形
紋理異常 ( Texture Abnormal ) ：通過灰度共生矩陣 ( GLCM ) 對比度衡量紋理清晰度
邊界融合 ( Blend Boundary ) ：分析融合邊界的梯度變化、邊緣過渡和頻網域特征
4、自然語言描述轉換：
将識别出的偽造區網域和類型轉換為自然語言表達
如 "Texture Abnormal" 轉換為 "lacks natural texture"，"Color Difference" 轉換為 "has inconsistent colors"
此階段生成的原始标注雖然結構相對固定，但準确度極高，為後續優化提供了可靠基礎。
第二階段：标注優化
為增加标注的多樣性和自然流暢性，FFTG 使用多模态大語言模型（如 GPT-4o-mini）進行标注優化，同時設計了全面的提示策略防止幻覺：
1、視覺提示 ( Visual Prompt ) ：
将真實和偽造人臉影像作為配對輸入提供給大模型
這種對比方式使模型能通過直接比較識别偽造痕迹，減少幻覺
保持偽造檢測視角，避免生成與偽造無關的描述
2、指導提示 ( Guide Prompt ) ：
将前一階段生成的原始标注作為指導提供給大模型
附帶詳細解釋每種偽造類型的判定标準（如紋理異常是如何通過 GLCM 分析确定的）
強化技術依據，減少主觀臆斷
3、任務描述提示 ( Task Description Prompt ) ：
設定專家級偽造檢測任務情境
提供分析視覺證據和生成綜合描述的具體要求
引導模型進行逐步推理
4、預定義提示 ( Pre-defined Prompt ) ：
規定輸出格式（如 JSON 結構）
要求包含特定短語（如 "This is a real/fake face"）
确保不同樣本的标注格式一致
下遊微調：雙路模型訓練策略
有了高質量的圖文标注數據，接下來的問題是：如何充分利用這些數據來訓練模型？研究團隊提出了兩種不同的訓練策略，分别針對 CLIP 架構和多模态大語言模型（MLLM），注意本文的目的主要是驗證數據的有效性，所以才去了相對簡單的微調方式：
CLIP 三分支訓練架構
對于 CLIP 這類經典的雙塔結構模型，團隊設計了一種三分支聯合訓練框架，如圖 4 所示。
這種訓練方法結合了單模态和多模态的學習目标：
1、影像特征分類（Image Feature Classification）：直接使用影像編碼器提取的特征進行真偽二分類，保證模型在純視覺輸入下的基本檢測能力。
2、多模态特征對齊（Multimodal Feature Alignment）：通過對比學習，使影像特征和對應的文本特征在表示空間中對齊，并且激活 CLIP 預訓練時獲得的跨模态理解能力。
3、多模态特征融合分類（Multimodal Feature Classification）：通過注意力機制融合視覺和文本特征，引導模型學習跨模态的偽造證據整合能力
這三個分支的損失函數共同優化，使模型既能獨立運行，又能充分利用文本信息來增強檢測能力。
MLLM 微調方法
對于如 LLaVA 這類多模态大語言模型，采用了一種更為直接的微調方法：
△圖 4：MLLM 微調架構
MLLM 通常由三部分組成：視覺編碼器、對齊投影器和大語言模型。策略是：
固定預訓練好的視覺編碼器參數，專注于微調對齊投影器和大語言模型部分
設計簡潔有效的提示模板："Do you think this image is of a real face or a fake one? Please provide your reasons."
這種雙部分提示不僅引導模型做出二分判斷，還要求提供可解釋的理由。
實驗：多維度驗證 FFTG 的有效性
為了全面評估提出的方法，團隊在多個偽造檢測基準數據集上進行了廣泛實驗，包括 FaceForensics++、DFDC-P、DFD、CelebDF 等。
标注質量評估
首先，比較了不同标注方法的質量：
△表 1：不同标注方法的質量對比
結果表明，FFTG 在所有指标上都顯著優于現有方法。特别是在精度上，FFTG 比人工标注高出 27 個百分點，比直接使用 GPT-4o-mini 高出 28 個百分點，證明了該研究的掩碼引導和結構化提示策略能有效減少 " 幻覺 " 問題。
跨數據集泛化能力評估
在 FF++ 數據集上訓練模型，并在其他四個未見過的數據集上測試，評估方法的泛化能力：
△表 2：跨數據集泛化性能對比
在所有未見過的數據集上，該研究的方法都取得了性能提升。
可視化分析
團隊對模型的注意力機制進行了可視化分析，進一步驗證了 FFTG 的有效性：
△圖 5：不同方法的注意力可視化對比
可以看到，使用 FFTG 标注訓練的模型能夠更精确地關注真正的偽造區網域，而基線方法的注意力更為分散或錯位。例如，在 NeuralTextures 的例子中，該方法準确聚焦在嘴部區網域的微妙變化，而其他方法則在未被篡改的區網域產生錯誤激活。
總結
語言模态讓偽造檢測任務不止停留在 " 看得見 "，更能 " 講得清 "。
如果你也關注偽造檢測的可解釋性和泛化性，歡迎進一步了解。為了方便社區復現與研究，團隊已經将标注流程和生成數據集開放：https://github.com/skJack/VLFFD
文章鏈接：
https://arxiv.org/pdf/2502.20698
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
學術投稿請于工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點亮星标
科技前沿進展每日見
