今天小編分享的科學經驗:AI一本正經地胡說八道,有種辦法可以識破它,歡迎閱讀。
近年來,生成式人工智能在文本、影像、音樂等領網域大放異彩。然而,随着生成式人工智能變得越來越強大,人們越來越難以鑑别 AI 生成的内容。
近日,Google DeepMind 研究團隊在《自然》(Nature)上發表的封面文章提供了一種文本水印方案,可以提高 AI 生成文本的檢測精度。
圖庫版權圖片,轉載使用可能引發版權糾紛
AI 生成内容檢測的必要性
在文本、影像和音樂中,AI 生成的文本是最難以檢測的。因為現有的影像和音樂生成技術尚未像文本生成技術一樣發達,AI 生成的影像和音樂往往有某些非自然的視覺或聽覺特征。AI 生成的内容在整體上效果較好,但具體到細節就顯得不夠自然。在影像和音樂中,也可以人工添加人類難以發現的水印,在後期檢測中通過水印篩選出 AI 生成的作品。
然而在文本中難以直接添加人類不可見的水印,這是因為文本與影像和音樂不同,每一個文字都是完全可見的。同時,可用于訓練 AI 的文本數據也遠多于影像和音樂。在龐大的、基于人類寫作的語料庫的訓練之下,AI 已經非常擅長模拟人類的表達方式和語言習慣,甚至能夠調整文本的風格和語氣,這使得 AI 生成的文本難以直接檢測。
盡管 AI 生成的文本與人類創作的文本難以分辨,但 AI 生成的内容可能帶有事實性的錯誤,并不能保證可靠性。無法辨别來源的内容可能會導致虛假信息的傳播,也帶來了學術作弊、版權争議等種種問題。
比如,在 " 杭州取消機動車依尾号限行 " 假新聞事件中,網友用 AI 技術生成的 " 假新聞 " 行文嚴謹、語氣措辭得當,也基本符合官方通報的格式,導致了錯誤信息大規模傳播。美國科技新聞網站 CNET 在三個月之内上線了 70 多篇用 AI 技術生成的新聞報道,卻被發現其中存在大量基礎性錯誤,包括計算錯誤、金融概念誤解等,不得不暫時叫停 AI 項目重新審核。
為了避免 AI 技術的濫用,我們需要一種方法辨别文本是否由 AI 生成。
主流檢測方法:事前與事後檢測
檢測 AI 生成的文本是一個分類問題,我們的主要目标是區分一個文本片段是由 AI 生成的還是由人類創作的。通常一個文本檢測器對于一個給定的文本片段會給出一個評分,當這個評分超過阈值時,這個片段被認為是 AI 生成的,反之則是人類創作的。
文本檢測框架(圖片來源:根據參考文獻 [ 1 ] 翻譯)
現有的主流檢測方法可以分為兩大類:事前檢測和事後檢測。事前檢測可以進一步分為基于水印的檢測和基于檢索的檢測。事後檢測可以分為基于零樣本學習的檢測和基于訓練的檢測。
主流檢測方法分類(圖片來源:根據參考文獻 [ 1 ] 翻譯)
1
事前檢測
基于水印的檢測是指在 AI 生成的文本中隐藏某些信息以便後續檢測。但由于文本的離散性,在文本中添加水印比在影像和音樂中添加水印困難很多。常用的方法是讓 AI 生成的文本使用特定的語言風格或者偏向性地使用某些特定的詞匯,但這樣可能會降低 AI 生成文本的質量。
基于檢索的方法是指 AI 服務的提供者将用戶通過 AI 生成的文本保存在數據庫中。當需要檢測目标文本是否由 AI 生成時,将目标文本與數據庫中的文本進行匹配,如果相似度較高,則很可能是 AI 生成的。但這種方法需要保存用戶數據,可能帶來隐私洩露的問題。
2
事後檢測
基于零樣本學習的檢測是指不需要進行任何的訓練,僅根據 AI 生成文本的特點來檢測一段文本是否是 AI 生成的。通常 AI 生成的文本傾向于使用常見的詞匯,句子的長度和結構也更加統一。而人類創作的文本則顯得更加随心所欲,每一句的水平也參差不齊。與人類相比,AI 在記憶細節上能力較強而在邏輯推理上能力較弱。利用這些特點可以在一定程度上區分 AI 生成的文本和人類創作的文本。
基于訓練的檢測是指使用人類創作的文本和 AI 生成的文本構建一個數據集,用這個數據集訓練一個分類器來識别 AI 生成的文本。但這需要收集足夠的數據用于訓練,并且随着 AI 能力的進步,這樣的區分也變得越來越困難。
可以看到,事後檢測比事前檢測要困難許多。為了高精度地篩選出 AI 生成的文本,在事前 AI 生成文本時就添加水印是一個很好的解決方案。
Google DeepMind 的突破:
SynthID-Text 水印技術
Google DeepMind 研究團隊提出了一種新的水印生成方案,稱為 SynthID-Text。它基于之前的水印生成組件,但使用了一種新的 " 錦标賽采樣 " 方法。SynthID-Text 可以非扭曲(保留文本質量)或者扭曲(以犧牲文本質量為代價提升水印的可檢測性)地添加水印。在扭曲和非扭曲設定下,與現有的最佳方法相比,SynthID-Text 都提升了水印的檢出率。
水印生成框架(圖片來源:根據參考文獻 [ 2 ] 翻譯)
上圖中展示了大語言模型生成文本的原理以及之前水印生成的框架。大語言模型的文本生成是基于上下文的,它會根據輸入的文本序列計算下一個詞匯的分布,然後從這個分布中抽樣出下一個詞匯。
一個生成式的水印方案通常包含三個部分:一個随機數生成器、一個采樣算法以及一個評分函數。水印生成的過程是:首先使用随機數生成器根據前面的文本以及水印鍵生成一個随機數,然後采樣算法利用這個随機數從詞匯的分布中抽樣出下一個詞匯。給出一段文本以及一個水印鍵,評分函數提供一個分數來量化當前文本中含有水印的可能性,當分數超過一個阈值時就認為這段文本中含有水印。
錦标賽采樣(圖片來源:根據參考文獻 [ 2 ] 翻譯)
SynthID-Text 提出了一種新的 " 錦标賽采樣 " 方法,上圖是錦标賽采樣方法的一個例子。當向模型輸入 "... 我最喜歡的熱帶水果是 " 時,模型計算出下一個詞匯的分布,其中 " 芒果 " 的概率是 0.5," 荔枝 " 的概率是 0.3," 木瓜 " 的概率是 0.15," 榴蓮 " 的概率是 0.05。在不加水印的正常生成中,模型會按這個概率直接采樣出下一個詞匯。
在錦标賽采樣中,模型先根據随機數種子生成三個随機的水印函數,然後再從詞匯的分布中采樣出八個詞匯,将這八個詞匯兩兩組合後進行競賽,在每一輪競賽中,由一個水印函數決定每一對組合中的勝出者。經過三輪競賽後,最終的勝出者就是模型的輸出結果:" 芒果 "。
在錦标賽采樣中,詞匯是根據水印函數的偏好采樣得出的。因此添加水印的文本會在水印函數上有更高的評分。在檢測時只需要評估每個詞匯在對應的水印函數下的評分,再将評分加和就可以得到這段文本包含水印的可能性。
水印的添加是通過改變采樣方法實現的,它會改變模型輸出下一個詞匯的分布,這看起來不可避免地會影響生成文本的質量。然而,由于采樣方法中使用了随機數種子,盡管在某一随機數種子下詞匯的分布會被改變,但在對所有随機數種子進行平均後可以得到和原始分布相同的結果。SynthID-Text 可以在适當的配置下避免影響詞匯的分布從而保證文本的質量,也可以以損失一部分質量為代價提高水印的檢出概率。
SynthID-Text 方法在 Google DeepMind 推出的 Gemini 人工智能模型上經過了兩千萬次用戶測試。測試結果表明 SynthID-Text 在添加水印的同時并不會降低文本的質量。同時,SynthID-Text 不會產生太多的時間和計算開銷,可以被大規模地應用于生產實踐之中。
結語
事後檢測文本是否由 AI 生成是非常困難的。随着 AI 能力的增強,事後檢測會變得越來越困難,檢測和反檢測将會是無止境的技術競賽。水印方法提供了一種可能的解決方案,但這需要大語言模型的提供者在生成時就預先加入水印。如果用戶使用的模型沒有主動加入水印,就難以在事後進行檢測。此外,用戶還可以使用開源模型,或者對添加了水印的文本進行二次編輯來逃脫檢測。這些問題都有待進一步解決。
未來,随着生成式人工智能的普及,如何檢測 AI 生成的内容會變得越來越重要。SynthID-Text 證明了水印技術在文本生成中大規模應用的可能性,但水印技術面臨的困難也說明檢測并不只是一個技術問題。解決這個問題還需要各方共同努力,形成相關的行業标準以及法律法規,從而推動 AI 走在為人類服務的正軌之上。
參考文獻
[ 1 ] Ghosal S S, Chakraborty S, Geiping J, et al. Towards possibilities & impossibilities of ai-generated text detection: A survey [ J ] . arXiv preprint arXiv:2310.15264, 2023.
[ 2 ] Dathathri, S., See, A., Ghaisas, S., Huang, P. S., McAdam, R., Welbl, J., ... & Kohli, P. ( 2024 ) . Scalable watermarking for identifying large language model outputs. Nature, 634 ( 8035 ) , 818-823.
策劃制作
出品丨科普中國
作者丨王琛 中國科學院計算技術研究所在讀博士
審核丨于旸 騰訊玄武實驗室負責人
監制丨中國科普博覽
責編丨鍾豔平
審校丨徐來 林林
相關推薦
2." 多喝水 " 真的有用!最新研究顯示:多喝水有助于減肥、治療腎結石……
本文封面圖片及文内圖片來自版權圖庫
轉載使用可能引發版權糾紛
原創圖文轉載請後台回復 " 轉載 "
點亮 " 在看 "
一起漲知識!