今天小編分享的汽車經驗：韓國又一起“N号房”事件震驚全球，AI狂飙背後誰為其套上缰繩？，歡迎閱讀。
圖片來源：視覺中國
藍鲸新聞 9 月 4 日訊（記者 朱俊熹）過去數日，韓國又一起 "N 号房 " 事件浮出水面，再度刷新社會對于網絡性犯罪的認知。
據韓媒報道，在社交媒體 Telegram 上現已發現多個群聊，群成員利用 Deepfake（深度偽造）技術制作、傳播虛假的色情圖片或視頻。受害者不僅牽涉到數百所學校中的未成年學生，還涉及教師、軍人等職業女性。目前，已知最大的一個聊天群組包含了超過 22 萬名群成員。
簡單來說，Deepfake 可以理解為人們常說的 "AI 換臉 "。此次被曝的深度偽造性犯罪在韓國掀起了巨大的輿論危機。上周，韓國總統尹錫悅敦促政府部門徹底調查以根除此類數字性犯罪，韓國警方宣布将實施為期 7 個月的深度偽造性犯罪嚴打行動。
處于風暴中心的 Deepfake 技術也被頻頻提起。基于人工智能，只需要特定對象的部分圖片和音視頻素材，通過 Deepfake 就能得到足以亂真的偽造内容。但除 "AI 換臉 " 外，Deepfake 還存在其他不同的表現形式，例如改變人物的五官、表情等原有特征，或是生成全新的人臉影像。
随着 AI 浪潮正席卷全球，Deepfake 越發頻繁地出現在公眾視野中，卻常常與生成淫穢色情内容、網絡詐騙等違法犯罪行為相挂鉤。8 月中，《紐約 · 時報》揭露了新型詐騙者是如何通過 Deepfake 編輯馬斯克、巴菲特等名人的真實采訪視頻，讓 "AI 馬斯克 " 對不存在的投資機會侃侃而談，以騙取觀看者的資金。據咨詢機構德勤預計，由 AI 驅動的 Deepfake 每年将造成數十億美元的欺詐損失。
生成式 AI 的發展帶來了智能的湧現，而 Deepfake 的危害同樣開始湧現，這項技術看似已淪為一些高智商罪犯作惡的工具，但技術本身是否應該承擔全部的責任？在 AI 狂飙的背後，又有哪些力量能夠為其套上缰繩？
AI 時代下的 " 貓鼠遊戲 "
Deepfake 一詞由 "Deep Learning"（深度學習）和 "Fake"（偽造）組合而成，最早產生于 2017 年。當時一位名為 "Deepfakes" 的用戶将明星的臉替換到色情視頻中，并發布在社交平台 Reddit 上。在這項技術的早期階段，合成的内容還存在許多不自然的痕迹，偽造效果比較粗糙，很容易被識别，這也意味着其很難讓人上當。
但生成式 AI 的崛起極大改寫了 Deepfake 的實際應用。數字内容安全服務商中科睿鑑的深度偽造檢測專家葛星宇告訴藍鲸新聞記者，AI 大模型正以日新月異的速度實現迭代，領先的模型能夠達到萬億級參數量，同時經過海量數據的訓練。" 當這樣的大模型技術應用在 Deepfake 當中，實際上能夠指數級地增強 Deepfake 的仿真或者偽造。"
葛星宇表示，原先通過 Deepfake 生成某一特定人物的影像或視頻，不僅需要大量的數據輸入，後續還要再進行調整。而現在通過 AI 大模型，Deepfake 能以極快的速度生成效果逼真的内容，需要的數據量也更少。Deepfake 的使用門檻被大大降低，對不具備計算機專業知識的普通用戶來說也非常簡單，僅需将幾張圖片等素材輸入到 Deepfake 軟體或網站中，就能一鍵生成想要的内容。
這極大降低了 Deepfake 的門檻，讓 Deepfake 技術變得更為普遍易用，同時也意味着稍有不慎，深度偽造的内容便極有可能造成混亂。8 月，馬斯克旗下的人工智能初創公司 xAI 發布了新一代 AI 大模型 Grok-2，能夠為用戶提供影像生成衣務。但使用者很快發現，與其他圖片生成工具相比，該模型對生成内容并未嚴格設限。借助 Grok-2，用戶可以輕易地得到持槍的特朗普、站在血泊裡的米老鼠等虛假影像。這些内容很快在社交媒體 X 上廣泛傳開，加劇了公眾對其濫用風險的擔憂。
Deepfake 能夠實現以假亂真的效果，與其背後的 CNN（卷積神經網絡）和 GAN（生成對抗網絡）等技術基礎密不可分。葛星宇解釋稱，CNN 是一種專門用于處理影像和視頻等數據的深度學習模型，能夠提取出人臉中的五官、微表情等細節特征。而 GAN 則包含生成器和鑑别器兩個核心要素，生成器負責生成虛假内容，鑑别器負責判斷其真假。兩者相互對抗，直至生成器能創造出鑑别器無法區分真假的數據。
但 Deepfake 生成的内容并非毫無破綻，目前市場上已出現若幹深度偽造檢測工具，一些科技公司和高校研究團隊在對此展開研發。
AI 安全基礎設施提供商瑞萊智慧的聯合創始人、算法科學家蕭子豪告訴藍鲸新聞記者，深度偽造檢測的常用方法包括分析畫面和聲音裡違背常識的地方，如長時間不眨眼、不對稱的瞳孔。還可以使用 AI 算法從數字信号層面分析，基于偽造内容數據集訓練模型檢測器，通過檢測幀間不一致性來識别偽造内容。
就好像道高一尺魔高一丈，蕭子豪将深度合成與檢測比喻為一場 " 貓鼠遊戲 "。處于強對抗性的環境下，雙方都會在不斷學習攻防的過程中自我進化，以規避上一代的對抗技術。
螞蟻集團旗下獨立運營的科技業務子公司螞蟻數科表示，"Deepfake 攻和防是一個相對且不斷精進的過程，你在進步，Deepfake 也在進步，我們要做的就是跑在它的前面。" 今年 4 月，螞蟻數科推出了反深偽產品，基于其天玑實驗室生成的超 30 萬測試樣本進行判别訓練，每個月進行的攻防測評超 2 萬次。
從傳統的 PS 篡改到 Deepfake 技術，偽造手段實現了快速進化，造成損害的範圍也在擴大。據葛星宇介紹，中科睿鑑的偽造檢測業務原先更側重于 B 端和 G 端。例如服務于政府部門，檢測謠言中深度合成的内容，或為運營商等企業提供技術，防範電信敲詐勒索。
" 但我們發現，随着 Deepfake 技術的低門檻、高質量、普及化，除了國家安全、詐騙等場景，它也會摧毀社會中人和人之間的信任，就像此次韓國發生的 Deepfake 性犯罪事件。" 葛星宇稱。
因此，中科睿鑑今年也開始推進 To C 方面的業務，上線了可用于 Deepfake 内容檢測的微信小程式。葛星宇表示，若普通個體發現可能存在深度偽造内容被傳播，并造成損害性後果，可以先通過此類工具自行鑑定，對虛假圖片或視頻的算法進行溯源。之後可将相關數據提交給公檢法機關，或能促使提供 Deepfake 服務的軟體等得到相應處理。
但還存在的問題是，如何讓用戶意識到什麼是深度偽造内容，為什麼一段看起來毫無破綻的視頻需要進行内容檢測，這可能比技術層面的攻防比拼更加重要。
漏洞難堵的 Deepfake
當審視與 Deepfake 相關的違法犯罪鏈條時，最直接的加害者無疑是惡意使用這一技術的人。但隐匿在其身後的責任主體還有平台方，包括 Deepfake 技術或服務的提供者，以及社交媒體等傳播平台。
Deepfake 的服務提供者或技術支持者通常會明确相應的安全管理規定。以國内一款提供 " 視頻換臉 " 功能的火爆應用為例，該 App 在規定中明确，用戶應保證使用其 AI 技術生成的視頻内容合法合規，同時上傳到 App 中的任何素材内容均應符合法律法規且不侵犯任何第三方的合法權利。但是這與任何用戶協定一樣，幾乎沒有用戶會認真對待，而這些 App 對此心知肚明。
類似的規定也多見于國外的 Deepfake 網站中，同時 OpenAI、谷歌等 AI 大模型廠商對旗下的影像生成模型設有内容限制、水印标記等防護措施，防止其生成色情、暴力或操縱政治選舉等内容。但今年 5 月，OpenAI 表示雖然将維持對深度偽造的禁令，正在探索是否應該允許用戶使用其產品創建不适合工作場所的内容，可能包括 " 色情、極端血腥、诽謗和未經請求的亵渎 "。
葛星宇表示，雖然多數廠商都會設定安全防護，但互聯網上仍有很多公開渠道可以獲得開源的算法，這些算法并沒有受到相應法律法規的限制。同時社會上還存在黑產，對 Deepfake 算法進行交易。" 技術本身是中性的，如果沒有做防護，也不知道人們會拿去做什麼。"
據了解，部分深度偽造色情内容的用戶所使用的是 AI 初創公司 Stability AI 的開源文生圖模型 Stable Diffusion。盡管在用戶生成色情内容引發争議後，Stable Diffusion 的新版本加強了對成人内容的過濾，但其開源特性使得任何人都可以訪問和修改其代碼，一些用戶仍然能找到繞開安全過濾機制的方法。
出于惡意用途的 Deepfake 内容在制作完成後，下一環節便是流入到傳播平台中。随着近年來 Deepfake 犯罪頻發，多家社交平台也開始跟進推出相關規定。今年 8 月，谷歌宣布将降低搜索結果中露骨虛假内容的曝光率，并簡化深度偽造受害者申請删除非自願圖片的流程。谷歌旗下的 YouTube 也明确禁止欺詐和篡改視頻，并要求創作者披露使用 AI 創作的内容。Meta 此前表示，正在訓練自動檢測系統以捕捉平台上的深度偽造欺詐行為。
回顧全球多地發生的 Deepfake 性犯罪案件，其中高頻出現的一個通訊平台便是 Telegram。這款應用以強大的加密和隐私保護功能聞名，也因此成為網絡色情犯罪、詐騙、販毒等交易的溫床。韓國警方本周表示，已對 Telegram 實施立案前調查，但 Telegram 在提供賬戶信息等涉案資料方面不積極配合，導致警方面臨偵查難題。
9 月 3 日，韓國通信标準委員會稱 Telegram 已遵從其要求，删除平台上部分深度偽造色情内容，并為造成的溝通不暢道歉。
就在韓國爆發 Deepfake 風波的幾乎同一時期，大洋彼岸的法國于當地時間 8 月 24 日拘捕了 Telegram 的創始人兼首席執行官 Pavel Durov。法國檢方對其的指控罪名包括共謀在 Telegram 上散播兒童色情内容、非法毒品和黑客軟體，同時指控 Telegram 幾乎完全沒有回應司法要求。Pavel Durov 随後繳納了 500 萬歐元保釋金，但被禁止離開法國。
匯業律師事務所高級合夥人王小敏律師對藍鲸新聞分析道，Telegram 等境外社交平台的伺服器位于國外，國内監管或執法部門在跨境執法時可能會面臨諸多困難，如取證、執法協作、法律适用、管轄等，這在一定程度上加大了監管或維權的難度。此外，深度偽造技術的匿名性和跨地網域性也增加了執法難度，使得不法分子往往容易逃脫法律的制裁。
王小敏律師補充稱，當下深度偽造違法犯罪行為變得更加常見，原因之一還在于法律規制的滞後性。他指出，法律法規往往難以跟上技術發展的步伐，導致監管滞後。但随着 AI 技術的進化，相關監管法規不可能一成不變，目前已有一些國家和地區開始立法限制深度偽造技術的濫用。
在中國，深度合成或偽造相關的法律條文除《刑法》、《網絡安全法》等一般規定外，還散見于《互聯網信息服務深度合成管理規定》、《生成式人工智能服務管理暫行辦法》等相關部門規範中。其中，2022 年頒布的《互聯網信息服務深度合成管理規定》是中國首部深度合成領網域的專門法規。目前已有算法備案和一些司法判決、行政處罰等實踐案例。
王小敏律師表示，如果此次韓國 Deepfake 事件發生在中國，通過深度偽造換臉制作并傳播淫穢色情内容，很可能構成刑事犯罪，比如傳播淫穢物品罪或涉嫌制作、販賣淫穢物品牟利罪等。此外，受害人還可以就其肖像權或名譽權被侵害提起民事訴訟。
眼見未必為實，這件事在生成式 AI 技術風起雲湧的時代帶來了越來越多的混亂。韓國的深度偽造性犯罪只是先對韓國人造成了傷害，這并不意味着我們就能夠免受其害，反而是給全球敲醒了警鍾。還沒有一個完美解法的現在，需要技術、法律、監管以及各種制度配套應對，才能有機會讓更多社會力量參與進來，防止更多的罪惡蔓延。
