今天小編分享的互聯網經驗:他們給AI投币1美元,百萬女性被拖入地獄,歡迎閲讀。
訪談、文|鄧詠儀 周鑫雨 邱曉芬
編輯|楊軒
那張照片,會跟着我一輩子嗎?"
一年多前,伍華在韓國旅遊,途中在社交媒體上發布了一張帶有韓國定位的照片。回國不到三天,朋友發給她一張截圖,是一個和她的頭像、網名幾乎一樣的賬号。不同的地方是,賬号裏的文字被替換成韓語,個人簡介裏,還出現了一個陌生網址。
令伍華震驚的是,點開高仿賬户裏的網址,會導向一個色情頻道,污穢不堪的付費視頻陳列其中——主角,全都被 AI 換成了她的臉。
直到今年 8 月末,關注到韓國 Deepfake 事件時," 我被一陣巨大的後怕席卷。" 伍華告訴《智能湧現》," 太惡心、太難受了。"
回想起點開這些 AI 視頻的的第一感受,伍華依舊語帶哽咽。盡管高仿賬号已經被她舉報删除,但她不确定自己的臉,還有沒有被用在其他地方。
Deepfake(專指基于 AI 的人體影像合成技術)技術催生出的 "N 号房 2.0 事件 ",正在讓隔海相鄰的韓國陷入巨大漩渦。不計其數的女性,成為了男性用 AI 捕獲的 " 獵物 "。
仁荷大學的一位男學生,組建起了一個超過 1200 成員的聊天室。他們利用 Deepfake 技術,将學校中的女生的臉龐,安放到到各種黃色影像上,群聊中還公開分享她們的聯系方式。
從仁荷大學開始,一場巨大的合謀被迅速揭開,Deepfake 也因此被稱為 "N 号房 2.0 事件 "。從 8 月 20 日開始,韓國媒體、警方陸續揪出了大量與學校、醫院、軍隊體系中的類似聊天室。
22 萬,這是韓國披露的人數最多的 Deepfake 聊天室成員人數。而韓國範圍内,幾乎每一個中學、大學都有這樣的 " 凌辱房 "。
在群聊中,男性以自己生活中熟識的女性為羞辱對象,用各種 Deepfake 工具,将女性的臉換到各種淫穢不堪的影像、視頻中。而後,群内的男性會開始共同進行言語羞辱,甚至發展到線下威脅、騷擾。
規模較大的羞辱房,甚至還會細抽成不同的小房間,比如家屬羞辱房。男性甚至偷拍自己的媽媽、姐姐、妹妹的照片傳到群聊中。
△聊天室中,有男性将親妹妹的照片上傳其中(照片已被紅色馬賽克遮擋),配文為翻譯成中文的聊天記錄。
2019 年,震驚全球的 N 号房事件發生時,就有網友語帶諷刺:" 全韓國的出租車總數只有 26 萬台,這意味着,你在街上碰見 N 号房會員的概率,和碰見出租車一樣。"
這句話,不僅能用在今日的 Deepfake 聊天室上,真實的情況更加觸目驚心。
N 号房 1.0 基本以真實的盜攝内容為主,這意味着犯罪者還需要自行拍攝,獲取素材。但 Deepfake 技術越來越成熟後,Deepfake 房的犯罪成本降至極低—— AI 生成的影像、視頻,内容逼真到讓人恍惚。
今年 5 月,一位 40 歲的首爾大學畢業生樸某被逮捕,他用 48 名女性受害者的照片,制作了 1852 份性剝削内容,受害者都是他在生活中認識的女性。
一位在首爾的老師,發現自己也成為了 " 熟人凌辱房 " 的主角,始作俑者是她執教班級的學生,但她無法得知是哪一位。
" 那張照片會跟着我一輩子嗎?"她崩潰地向媒體訴説。
Deepfake 事件爆出後,志願者根據媒體報道、匿名投稿核實,制作了一張涉及 Deepfake 加害者地圖。紅色标記密密麻麻,幾乎要将韓國中心地帶淹沒。
△志願者整理的 " 加害者學校地圖 ",紅點幾乎要将韓國中心地帶的地圖淹沒 來源:https://deepfakemap.kr
根據網絡安全監測機構 SecurityHero 的統計,2023 年韓國的 Deepfake 色性產業,就占到了全球的 53% ——與之相對的,韓國 2023 年的 GDP,還不到全球的 2%。
△ 2023 年全球 Deepfake 色情產業分布 制圖:智能湧現
被絕望和憤怒衝擊的韓國女性,不得不在壓抑的輿論中四處奔走。
" 我的生活不是你的色情片!"" 女性沒有國家!" 她們憤怒地在社交媒體高呼。
沉默中的圍剿戰
沒人知道确切的女性受害者數字是多少。大學生智英每日灌下大杯大杯的咖啡,只為了保持清醒狀态。" 我害怕錯過受害者的任何一條投稿。"
智英不敢停下。自 8 月下旬開始,她幾乎失去了睡眠。
一場圍剿戰正在進行中。
在推特上,智英與韓國男性不停周旋。她的推特賬号早已實時被男性們監控,剛上傳的、呼籲大家舉報的厭女内容網址,下一分鍾網址就被修改了。這意味着,厭女者們一直在盯着智英的推文。
在和我們的交流中,她還嘗試使用變聲器——所有在推特上為這次事件活躍的女性博主,都是韓男 " 開盒 "(人肉搜索)的頭号目标,她無法透露自己的任何信息。
在女性地位低下的韓國社會,女權主義者早已是個危險的标籤。韓國最大的女權主義推特 Queens Archive 就因為最先披露 Deepfake 聊天室事件,被韓國男性舉報至炸号。
" 有時候我們根本不洗澡、不睡覺,一直熬到凌晨三四點。" 智英對《智能湧現》表示。她和推特上的 " 戰友 ",急切地将所有 Deepfake 相關信息、受害者保護指南、女性主義科普翻譯成英語,在推特上不間斷傳播。
Deepfake 事件涉及的加害者、受害者雙方,其年齡範圍比起 N 号房 1.0 都要更小。2024 年 1 月至 7 月,韓國立案偵查了 297 起深度偽造性剝削犯罪,共計抓獲 178 名嫌疑人,其中 131 人是十幾歲的青少年,占比 73.6%。
不少人将其比作 "N 号房 2.0 事件 ",但與之相比,現在的輿論熱度,根本不能同日而語。在不少女性眼中,韓國政府和警方的态度,可以用 " 消極 " 來形容。
用 AI 制作的性羞辱内容,由于 " 并不是真實的 ",一開始甚至沒有進入到警方、政府的視野。
" 當年的 N 号房事件,政府就沒有進行正當的處理。所以,現在 Deepfake 事件中的男性,很多都是未成年,受害者中也有很多是未成年人,加害者更不會覺得有什麼後果,也不會坐牢。" 智英對《智能湧現》説。
在本次 Deepfake 事件中,目前韓國警方只逮捕了 15 個人左右,有的加害者直接跑到海外,以移民的方式逃避刑罰。
"Deepfake 事件,加上此前的 N 号房、Soranet 等數字性犯罪案例,受害者預計有超過 100 萬人之多,沒有人知道确切的數字。" 智英感到遺憾," 所以如果我們不盡快向政府施壓,政府就不會做任何事情。"
韓國女性開始向外求救,接力将 Deepfake 事件的内容傳播到中國、日本的社交媒體上。
△來源:微博
韓國大學生恩靜就跑到小紅書上,用機翻的生疏口吻請求關注、擴散,不斷被封号、删帖也不曾放棄。而在微博上的韓女呼救微博,在短短兩天内就被轉近 15 萬次。
△來源:小紅書
無人知道這些努力最終能夠導向何方。恩靜告訴《智能湧現》,她的親妹妹現在也是一位中學生,學校除了簡單囑咐女生保護自己,再無其他措施——她和妹妹只能将社交平台上所有帶臉的照片删除,每日穿長褲出門。
而海外輿論爆發後,韓國政府才終于認真跟進這一事件。近期韓國不同政黨最近的公開發言,都離不開 Deepfake 事件。" 事件必須短期内解決。" 他們表示。
"Deepfake 羞辱房 ",無處不在
當一名毫無 AI 技術基礎、留在 " 牆内 " 的中國男性,成為 Deepfake 加害者,前期需要付出怎樣的作案成本?
在 SecurityHero 的報告中,中國的 Deepfake 色情視頻數量,占全球的 3%。與韓國(53%)和美國(20%)相比,這是一個并不高的數字。然而,由于報告統計的數據大多來源于海外網站,中國 Deepfake 色情產業的實際規模,遠不止這些。
在海外社交平台 X(原為 Twitter)上檢索 "Deepfake",很快出現一名中國 Deepfake 工具賣家。他的帖文露骨地寫着 "AI 脱衣 "" 捆綁 "" 比基尼 " 等字眼,但主頁卻聲明:" 僅提供 AI 工具,對用途概不負責。"
X、Instagram、Facebook 等海外社交平台,僅僅是打開潘多拉魔盒的一把鑰匙。不少中國從業者,用 "vx"" 扣 ""zfb" 等字眼,隐晦地指代交易的最終場所:微信、QQ、閒魚,甚至還有支付寶的交易界面。
通過留在 X 上的 QQ 号,我們聯系上了一名賣家。為了逃避平台的監管,他的個性籤名是 " 嚴禁違禁詞,僅供娛樂使用,傳播後果自負 "。從頭至尾,他表現得和一般軟體銷售無異,整段對話沒有提及任何 " 性 " 相關的詞匯。
但 " 性 ",又成了這場交易心照不宣的目的。很快,對方用 QQ" 閃照(點開 3 秒後照片就會消失)" 功能,發來兩張打滿馬賽克的 Deepdake 效果圖。
△作者與 Deepfake 工具賣家的 QQ 聊天記錄,已舉報給騰訊官方平台
點開大圖,馬賽克随即消失——一張凹着不自然 Deepfake 照,出現在了螢幕上。
3 秒後,女性的照片,連同用以維權舉證的證據,一同消失在了聊天記錄中。
即便在國内,讓女性經歷一場賽博羞辱,并從法律制裁中逃逸,也如此簡單。
作為脱去女性外衣的新型兇器,AI 的出現,讓網絡性侵害的成本更低、速度卻更快。在從業者發來的產品目錄中,一段用 AI 生成的 10 秒内換臉視頻 30 元,一張 AI 裸照只要 10 元,價目表上還特别注明:買 5 送 1。
但一開始,Deepfake 的背後、一項名為 " 生成對抗網絡(GAN)" 的技術,還幾近人畜無害。
2014 年誕生在谷歌大腦實驗室的 GAN,有着難以普及的一切要素:軟體安裝難度大、操作的技術門檻高,同時還需要昂貴的訓練數據集和算力資源。這讓 Deepfake 一度待在實驗室裏,沒有被大眾廣泛使用。
事情走向失控,大致在 2019 年。
2019 年,一款号稱 "30 秒就能一鍵脱衣 " 的應用 DeepNude 誕生了——諷刺的是,這款軟體用了一萬張女性裸體照片訓練而成,當用户輸入一張男性照片,他無法脱下男性的衣物,只會為其添加一個女性的陰部。
DeepNude 的背後,是幾年間性能飛速提高的 GAN 技術,以及讓使用難度大幅下降的開源生态。這讓一名匿名的男性程式員 Alberto(化名),基于加州大學伯克利分校的開源 GAN 架構,快速開發出了 DeepNude。
一邊,是迅猛發展的 AI 技術,和逐漸繁榮的開源生态;另一邊,又是野蠻生長的 Deepfake,和沒有做好準備的社會意識和監管體系。
DeepNude 讓非自願裸照的制作,變得像點擊按鈕一樣簡單。迫于輿論壓力,DeepNude 發布兩周後,就選擇了自主下架。Alberto(化名)在采訪中解釋,這款軟體的開發完全出于 " 有意思 " 和 " 好奇心 ":" 我不是偷窺狂。我是技術的愛好者。"
DeepNude 下架了,但千萬個 "DeepNude",以更隐秘的姿态、更低的操作門檻、更逼真的生成質量,開始在互聯網泛濫。
Deepfake 與色情產業的相關數據 制圖:智能湧現
在論壇 Discord 上,DeepNude 的安裝包以 20 美元的價格出售。匿名賣家在主頁中表示,他們提高了 DeepNude 的穩定性,與此同時,還删除了正版 DeepNude 給生成圖片添加的水印——這一切,都讓 Deepfake 裸照,看上去更加逼真。
下架不到三周,DeepNude 又被開發出了更易上手的模式,成了嵌了 Telegram 上的一鍵脱衣 Bot。
此後,事件的走向,和如今的韓國 "N 号房 2.0" 十分類似。Bot 的使用者,自發在 Telegram 上建立了社群,超過 10 萬名成員,成了 "N 号房 " 的初代居民。
最早監測到這款 Bot 的網絡安全公司 Sensity 發現,上線不到一年,這款 Bot 已經產生了 68 萬多名女性的虛假裸照,約 104852 張女性照片被公開發布在這款應用上。
向下的維權螺旋
從 2019 年至今,圍剿 DeepNude 的行動一直在進行。
2019 年 7 月,美國弗吉尼亞州通過了一條有關色情禁令的法律修正案,禁止出售或傳播計算機生成的色情内容。同年年末,推特、谷歌、Facebook 等平台着手整治 Deepfake 視頻,措施包括給 Deepfake 視頻打水印、贊助檢測 Deepfake 的相關研究項目。
然而,無論是韓國 "N 号房 2.0",還是隐匿在 QQ、支付寶、閒魚中的地下灰產,都印證了一個令人沮喪的現實:Deepfake 從未真正消失。
2019 年,多倫多大學公民實驗室曾發表了一項研究,試圖探索微信如何自動審查巨量聊天中的圖片。結果顯示,微信對朋友圈和群聊的審查力度,大于一對一的私密聊天,同時,政治和社會新聞,是微信圖片審查的核心主題。
這意味着,平台對色情内容的監管,依然存在漏洞。私密聊天中進行的 Deepfake 色情交易,很難通過平台進行披露,除非由人主動檢舉。
但人一定能主動站出來嗎?
北京市兩高律師事務所副主任張荊,20 年來經手了不少侵害女性權益的案件。多年來,她幫助女性和具體到個人的加害者、不公平的結構,甚至法律系統的漏洞抗争。但 Deepfake 性侵害的發生,讓她覺得女性的鬥争,又走到了一個更為復雜的關卡。
" 在技術不那麼發達的過去,女性遭受性犯罪,起碼能知道具體的受害者是誰,女性受到的傷害可以通過司法鑑定被量化。" 張荊告訴《智能湧現》。但如今,無論是 Deepfake 内容的制作者,還是傳播者,都面目模糊、數量難以确定,這對取證和量刑,都造成了極大的困難。
" 報警不就好了?" 在網絡上,不少旁觀者都提出了疑問,甚至有不少受害女性也曾認為,報警就好了。
但在報警之前,女性還要走過漫長的取證之路。張荊告訴《智能湧現》," 想要立案為刑事案件,去司法機關報案的前提是有基本的證據。"
而這些基本證據又包括:Deepfake 傳播的具體網站、侵權圖片的數量(數量過少不足以被立案)、傳播範圍(傳播範圍過小不足以被立案)。
" 説實話,對于不經常上網的人來説,完成這一步并不容易,她們可能甚至連網站該怎麼進入都不知道。" 張荊總結。
即便女性順利走到了報警、立案的一步,加害者的處置結果往往不盡如人意。
在中國裁判文書網中輸入 "AI 換臉 ",一共只有 16 篇文書,最早的一起案件發生在 2022 年。兩年來,能夠訴諸刑事案件的 Deepfake 侵害事件,數量為 0。
在層層阻礙下,女性針對 Deepfake 的維權,成了一條不斷向下的螺旋:社會的壓力,和嚴苛的立案流程,導致鮮少有願意站出來的女性受害者;女性聲量的不足,以及立案數量的稀少,又讓立法的推進變得愈發艱難。
2023 年 12 月,在中國台灣省,曾有一起判例,給了 Deepfake 受害女性些許希望。網名為 " 小玉 " 的男網紅朱玉宸,使用 Deepfake 技術,将 100 多位知名女性合成 A 片,上網販賣獲利超過 1300 萬台币(約 288 萬元)。最終,他以違反《個人資料保護法》等罪名被起訴,并被判處 5 年有期徒刑。
只是,五年就夠了嗎?
" 過去的黃色錄像帶、3D 影片,是一個具體的小眾產業,傳播很難對一個鮮活的人產生傷害。" 張荊説," 但今天的 Deepfake,和過去色情產業的本質區别在于,它的傳播,會對生活中具體的人產生傷害。"
這意味着," 依照傳播淫穢色情内容對 Deepfake 進行量刑,程度一定是會偏輕的。" 她總結。
加害者面前的,是看得到頭的 5 年刑罰,但創傷可能會伴随女性走過更為漫長的歲月。
15 歲那年,經歷來自後桌男生的 Deepfake 騷擾後,小魚開始不希望夏天到來。白色的短袖校服一旦被汗水浸濕,就會透出女生的内衣和身體的曲線。接近 40 攝氏度的高温下,小魚依然選擇穿兩件短袖,阻擋男生的視線。
小魚告訴《智能湧現》,她覺得告訴老師和家長,都是無用功。她記得,班上有男生曾經開女生的黃色玩笑,或是拽拉内衣的帶子,但最後老師的回應是:都是小孩子之間的玩笑。
如今,離被騷擾已經過去了一年多的時間。升入高中後,小魚和後桌男生失去了聯系,生活又歸于平淡。只是,夏天穿兩件短袖的習慣,被小魚保持到了現在。
人類,還沒有做好應對 Deepfake 的準備
在很長一段時間内,現實可能依舊慘淡。
看到韓國 Deepfake 事件後,鹿影科技聯創李倩憤怒透頂,當即拉着創始人頭腦風暴到深夜,口幹舌燥之餘,二人都很沮喪。" 可能要帶給你一個壞消息:沒有什麼辦法能夠從技術上,直接把 Deepfake 性暴力給殺掉。" 李倩對《智能湧現》説。
雖然無法直接根除," 以其人之道還其人之身 ",是一條常規路徑。
瑞萊智慧聯合創始人蕭子豪向《智能湧現》介紹,公司内部會定期組織 " 紅藍對抗 ",把工程師會分為 " 紅軍 "" 藍軍 " 兩派,讓 " 紅軍 " 模拟真實的攻擊,而 " 藍軍 " 負責應對處置。" 紅軍 " 一派的工程師們,為了了解黑產手段,甚至會潛伏到黑產群體中尋找線索,持續創新攻擊手段。
對于用 AI 對抗 Deepfake 的人們來説,每天的工作,就是對抗各種意想不到的新案例。2 周調優一個新版本、2 個月迭代一版大模型,幾乎是标配。
但這更多是在問題出現前後的預警提示。真正的侵害發生後,要想保護女性,更多需要依靠司法編織的網。
2022 年 11 月,中國出台了第一條明确針對 Deepfake 提出的規定:《互聯網信息服務深度合成管理規定》。這一規定對 Deepfake 内容制作者、技術服務提供商,以及制作、傳播發布行為,都做出了規制。
但從法規的制定到真正落實,還有一條漫長道路。近 20 年來,張荊觀察到,無論是辦理刑事案件的律師,還是接到報案的警察、最終負責審判的檢察機關,大多都是男性。
" 這是一個結構性的問題,甚至立法機關,也基本上是男性。" 張荊曾經參加過一個有關廢除嫖宿幼女罪(比強奸罪量刑更輕)的研讨會。
在場的不少男性律師,給出了不少支持保留嫖宿幼女罪的理由,其中一個是:如果改用強奸罪定罪,犯罪行為人可能會铤而走險,反而讓女性受害人陷入危險的境地。
現有的成功讓加害者被拘留、定罪的個例,大多是女性積極自救的結果。
2023 年的蘇州大學黃謠和 AI 換臉事件中,受害者就潛入傳播 AI 偽造影像的聊天房,進行取證,并利用排除法,将不同标記的照片在朋友圈中分組發布,進行逐個排除,最終将加害者抓獲。
要進一步推動 Deepfake 性侵害的立法,和社會意識的前進,還需要一個真正的判例。
" 有了判例,這段女性被迫害史才更有可能被寫進義務教育的教科書,讓性别教育前進一步。"一名在日本的女權活動者告訴《智能湧現》。
當下的 AI 行業,其實還是一個相當由男性主導的領網域。某種程度上,從研發到產品落地過程中,都極易讓女性成為被 AI" 壓迫 " 的群體,成為產業中的一環。
李倩觀察到的一個數據是,從互聯網獲得的視頻模型訓練數據,40% 涉及成人内容,而其中的 8 成,内容都是女性身體。
" 色情,是當下 AI C 端產品最成功的商業模式。"一名投資人對《智能湧現》如此評價。最終,Deepfake 的泛濫被歸結到了一個商業現實:用 AI 販賣女性身體,會給利益者帶來豐厚的商業回報。
對抗商業慣性,十分困難。
在融資過程中,部分投資人,無論男女都會告訴李倩,YoYo(鹿影科技的 AI 視頻創作平台)如果對黃色擦邊内容稍微寬容些,商業化會更順利。
從第一天起女性友好,對人力、資金有限的 AI 初創公司而言,要不要走出這一步,是個尤為艱難的決定。李倩告訴 " 智能湧現 ",從訓練數據中剔除 40% 的黃色數據,意味着要花額外的成本補全;如果花人力和時間給用户輸入的提示詞設定違禁詞,產品迭代的速度至少慢兩個月。
" 做創業者,是不是就要無性别地,看待商業世界?" 但經歷 Deepfake 事件後,李倩已經不這麼認為了," 一旦開閘,行業又多了一塊驅逐良币的劣币。"
如果女性能夠在行業中獲取更多技術主導權,未來會變得不一樣。
2024 年 9 月 4 日,中科院的女工程師張欣怡,将自己團隊研發的 Deepfake 對抗模型,向全球開源。一旦有人需要幫助,就可以免費使用模型來檢測 Deepfake 内容。
在自己的微博中,張欣怡寫到:" 如果一個人的火把太小,我們就把火把傳給世界的每一個人。"
當新技術席卷世界,司法、技術都尚未完全跟上時,普通人每一次的發聲、行動,才是社會進程得以向前推進的原因。
韓國就是一個活生生的例子——在極度男性主義的國家,女性權益的每進一步,都由布滿血和汗的鬥争之路造就。
自 2015 年之後,韓國女性在 #MeToo、消除網絡性暴力、終止懷孕非刑罪化等議題上開展了一系列女性主義運動,通過展開議題讨論、集會遊行等等形式,這些活動從社會意識、立法制度層面,都争取到了寶貴的成果。
曾經揭露 N 号房醜聞的兩位女記者姜京允、樸孝實,經受了曠日持久的網絡謾罵、侮辱和精神折磨,其中一位記者甚至多次流產。
但韓女從沒有停下腳步。N 号房事件後,韓國就成立了專注于反對性剝削犯罪的女性團體 "RESET",推動了包括網絡性犯罪相關法例的制定過程。而今年 5 月,将 Deepfake 其中一名嫌疑人送進監獄的,正是此前曾揭露 N 号房的兩位大學生記者之一。
不能停止,不能放棄,是我們接觸到的,奔走在 Deepfake 事件一線的韓國女性想法。" 這不是僅僅為了我們這一代而奮鬥,而是為了所有人的命運," 智英説," 我想要一個我的朋友、家人和所有女性都感到安全的世界。"
不同人種、國籍的女性,都開始了對韓國女性的聲援。當地時間 9 月 3 日,一群居住在倫敦的中國女權主義者,從特拉法加廣場走到韓國大使館,高唱起韓國女權運動的标志性歌曲《再次重逢的世界》,聲讨韓國偷拍、AI 偽造等等非法行為。
紅色的字,被印在各式各樣的橫幅标語上:" 我的生活,不是你的色情片。"
△當地時間 9 月 3 日,一群居住在倫敦的中國女性主義者進行了反偷拍、反 Deepfake 遊行。圖源:倫敦的中國女權主義者
(為保護受訪者,智英、恩靜、小魚均為化名。感謝星星、xwf、十月、lakyo、阿雞、倫敦姐妹在訪談中提供的協助。)