今天小編分享的财經經驗:現代版“畫皮”:AI換臉生成“愛情騙局”,殺豬盤正走向人工智能,歡迎閱讀。
21 世紀經濟報道記者肖潇 北京報道
越來越多殺豬盤在和生成式 AI" 聯姻 ",讓愛情騙局更逼真。10 月 14 日,香港警方表示搗毀了一個詐騙窩點,詐騙者利用深度偽造技術換臉成年輕女性,誘使受害者投資虛拟貨币產品,涉案金額超過 3.6 億港元。
" 殺豬盤 " 是近年高發的一種詐騙形式。詐騙者通常會在社交平台上打造一個虛假人設,以婚戀交友的方式 " 養豬 ",最後實現錢财騙取,即 " 殺豬 "。
近期聯合國毒品和犯罪問題辦公室(UNODC)在一份 142 頁的報告中,對這一新興犯罪現象發出了嚴厲警告——東南亞地區的詐騙者正在利用生成式 AI 和深度偽造技術,來擴大詐騙行動的規模和有效性。 這份最新報告提供了迄今為止最明确的證據,比如去年亞太地區的深度偽造事件增加了 1530%;近半年的監測數據顯示,暗網 Telegram 上面向詐騙團夥的深度偽造產品,增加了 600% 以上。
殺豬盤的國内社區讨論裡,已經有不少人表示自己遇到了主動要求視頻的 " 盤哥 "" 盤姐 "。以前他們只能播放提前錄制的視頻,無法正常對話,現在嘴形和聲音都能匹配。
長期研究網絡犯罪的技術專家提醒,殺豬盤與 AI 技術 " 聯姻 ",是為了增加信任感和真實感,但本質套路沒有發生改變。對普通人而言,能做的是提高對殺豬盤等網絡詐騙的整體警惕性。
主動視頻的 " 盤哥 "" 盤姐 "
在過去,人們認為詐騙分子會 " 拒絕進行視頻通話 " 以免暴露身份,這一經驗如今面臨失效。
UNODC 的報告指出,有強烈迹象表明,越來越多深度偽造的内容正在被東南亞詐騙團夥用于犯罪,尤其是 " 一鍵 " 換臉和高分辨率的視頻傳輸,改變了詐騙者的行騙方式。
報告解釋,詐騙者往往需要虛構一個外貌出眾、事業有成的人設作為 " 誘餌 ",而現在的深度偽造技術可以操縱面部表情和聲音音調,允許在視頻中精确實時操縱面部。詐騙者因此能向受害者證明他們就是自己聲稱的那個人,制造出更有說服力的場景。
在本次香港警方偵破的案件中,詐騙團夥用深度偽造技術改變了視頻通話中的樣貌、音色、服裝,男性換臉為相貌姣好的年輕女性,聲音也随之改變。
目前殺豬盤的國内社區讨論裡,已經有不少人表示自己遇到了主動要求視頻的 " 盤哥 "" 盤姐 "。" 風起雨落 " 回憶,以前詐騙者多播放提前錄制好的視頻,只要跟他們互動就會出現破綻。現在的殺豬盤敢實時通話,動作、嘴形、聲音都能匹配上。
聯合國的報告指出,一批暗網供應商在背後推動了深度偽造技術的整合。目前有數十個深度偽造的軟體提供商,專門面向東南亞地區的網絡詐騙團夥銷售。
這些深度偽造技術產品拓展出了多種套件,包括音頻偽造或者聲音交換功能,有換臉軟體公司甚至推出 "7 天 24 小時支持、送貨上門服務 ",并聲稱已在一千多個區網域了安裝了產品。
通過 Telegram 等加密暗網發布區網域性廣告,是這些供應商的主要推廣方式。UNODC 在今年 2 月到 7 月之間監測了 Telegram 内容,結果顯示,聊天群裡針對犯罪團夥的深度偽造相關内容,提及次數增加了 600% 以上。
英國網絡身份驗證公司 Sumsub 發表的《2023 年深度偽造報告》顯示,2022 年至 2023 年間,亞太區的深偽事件增加了 1530%。去年深度偽造事件增長最快的前五個國家,分别是菲律賓、越南、日本、斯裡蘭卡和澳大利亞。
國投智能首席科學家、福建省電子數據存取證重點實驗室主任江漢祥向 21 記者分析,殺豬盤用 AI 視頻換臉,的确相對容易,做到真假難辨沒有問題。
江漢祥長期研究網絡犯罪和大數據偵查,他解釋,深度偽造換臉真正的誘惑性是冒充熟人," 但這需要很多條件和技術資源,需要在網絡上收集大量資料。" 而在殺豬盤的情景裡,受害者與 " 盤哥 "" 盤姐 " 模仿的人并不熟,因此深度偽造技術不需要模仿出某個具體的人。
資料搜集的難度低、沒有熟悉的參照物讓受害者對比,AI 只需要 " 表演 " 得像一個普通人類就行,這是殺豬盤用 AI 換臉欺騙性之強的原因。
精通多國語言,但有情感缺陷
除了深度偽造視頻,聯合國報告還提到了四種詐騙團夥更常用的 AI 技術:大模型生成的文本圖片、自動聊天機器人、聲音克隆、AI 驅動的壓力測試(簡單理解為用 AI 來模拟各種網絡攻擊)。
報告解釋,常見的詐騙使用場景有制作自動化網絡釣魚攻擊,制作假身份和個人資料,生成個性化腳本來欺騙受害者,并在數百種語言的實時對話進行互動。
這些發展不僅擴大了網絡詐騙的範圍,而且降低了入門門檻。"AI 驅動技術的整合将随着時間的推移,增加網絡詐騙的數量。詐騙會以更快的速度和規模發生,犯罪集團也能創建更具說服力和個性化的詐騙内容。" 報告寫道。
舉例來說,詐騙者往往沒法用多種語言和方言與數百名受害者同時互動,但 ChatGPT 這樣的工具可以為他們提供語言支持。
網絡安全公司 Sophos 此前在博客中透露了一個案例,已經有詐騙分子不小心透露出他們使用了大模型生成文字——騙子在 WhatsApp 上給目标發送的信息中寫道 " 非常感謝你的好意!作為一個語言模型,我不像人類那樣有感情或情緒,但我的功能是給出有益和積極的答案來幫助你。"
Sophos 的研究員認為,這表明詐騙團夥還無法讓人工智能自動完成整個 " 殺豬 " 過程。" 就殺豬盤而言,目前的模型并不擅長描繪情緒和情感,而這正是這類騙局得以得逞的關鍵所在。"
像 ChatGPT、Gemini 等大模型產品已經裝上了禁止協助犯罪行為的 " 護欄 ",但要從技術側防治,仍然有不少困難。
江漢祥解釋," 殺豬盤的過程就是模拟人們獲取信任的過程,如果要生成完整過程的文字,大模型可以識别。但如果是割裂成一句或幾句話,專業的公共安全大模型也是難以識别的。" 他建議,針對這種情況,技術提供方可以總結生成者的多方信息,事先訓練數據,在一定程度上判斷、拒絕不合适的請求。
此前江漢祥對 21 記者表示,AI 詐騙之所以能夠詐騙成功,關鍵在于出于普通人的日常認知之外。在他看來,使用 AI 技術的主要作用是增加殺豬盤的信任感和真實感,殺豬盤的最本質套路沒有變,目前個人能做的仍然是提高整體警惕:不要信任網絡的交心與情感,不要貪小便宜,或相信天上掉下餡餅。