今天小编分享的财经经验:现代版“画皮”:AI换脸生成“爱情骗局”,杀猪盘正走向人工智能,欢迎阅读。
21 世纪经济报道记者肖潇 北京报道
越来越多杀猪盘在和生成式 AI" 联姻 ",让爱情骗局更逼真。10 月 14 日,香港警方表示捣毁了一个诈骗窝点,诈骗者利用深度伪造技术换脸成年轻女性,诱使受害者投资虚拟货币产品,涉案金额超过 3.6 亿港元。
" 杀猪盘 " 是近年高发的一种诈骗形式。诈骗者通常会在社交平台上打造一个虚假人设,以婚恋交友的方式 " 养猪 ",最后实现钱财骗取,即 " 杀猪 "。
近期联合国毒品和犯罪问题办公室(UNODC)在一份 142 页的报告中,对这一新兴犯罪现象发出了严厉警告——东南亚地区的诈骗者正在利用生成式 AI 和深度伪造技术,来扩大诈骗行动的规模和有效性。 这份最新报告提供了迄今为止最明确的证据,比如去年亚太地区的深度伪造事件增加了 1530%;近半年的监测数据显示,暗网 Telegram 上面向诈骗团伙的深度伪造产品,增加了 600% 以上。
杀猪盘的国内社区讨论里,已经有不少人表示自己遇到了主动要求视频的 " 盘哥 "" 盘姐 "。以前他们只能播放提前录制的视频,无法正常对话,现在嘴形和声音都能匹配。
长期研究网络犯罪的技术专家提醒,杀猪盘与 AI 技术 " 联姻 ",是为了增加信任感和真实感,但本质套路没有发生改变。对普通人而言,能做的是提高对杀猪盘等网络诈骗的整体警惕性。
主动视频的 " 盘哥 "" 盘姐 "
在过去,人们认为诈骗分子会 " 拒绝进行视频通话 " 以免暴露身份,这一经验如今面临失效。
UNODC 的报告指出,有强烈迹象表明,越来越多深度伪造的内容正在被东南亚诈骗团伙用于犯罪,尤其是 " 一键 " 换脸和高分辨率的视频传输,改变了诈骗者的行骗方式。
报告解释,诈骗者往往需要虚构一个外貌出众、事业有成的人设作为 " 诱饵 ",而现在的深度伪造技术可以操纵面部表情和声音音调,允许在视频中精确实时操纵面部。诈骗者因此能向受害者证明他们就是自己声称的那个人,制造出更有说服力的场景。
在本次香港警方侦破的案件中,诈骗团伙用深度伪造技术改变了视频通话中的样貌、音色、服装,男性换脸为相貌姣好的年轻女性,声音也随之改变。
目前杀猪盘的国内社区讨论里,已经有不少人表示自己遇到了主动要求视频的 " 盘哥 "" 盘姐 "。" 风起雨落 " 回忆,以前诈骗者多播放提前录制好的视频,只要跟他们互动就会出现破绽。现在的杀猪盘敢实时通话,动作、嘴形、声音都能匹配上。
联合国的报告指出,一批暗网供应商在背后推动了深度伪造技术的整合。目前有数十个深度伪造的軟體提供商,专门面向东南亚地区的网络诈骗团伙销售。
这些深度伪造技术产品拓展出了多种套件,包括音频伪造或者声音交换功能,有换脸軟體公司甚至推出 "7 天 24 小时支持、送货上门服务 ",并声称已在一千多个区網域了安装了产品。
通过 Telegram 等加密暗网发布区網域性广告,是这些供应商的主要推广方式。UNODC 在今年 2 月到 7 月之间监测了 Telegram 内容,结果显示,聊天群里针对犯罪团伙的深度伪造相关内容,提及次数增加了 600% 以上。
英国网络身份验证公司 Sumsub 发表的《2023 年深度伪造报告》显示,2022 年至 2023 年间,亚太区的深伪事件增加了 1530%。去年深度伪造事件增长最快的前五个国家,分别是菲律宾、越南、日本、斯里兰卡和澳大利亚。
国投智能首席科学家、福建省电子数据存取证重点实验室主任江汉祥向 21 记者分析,杀猪盘用 AI 视频换脸,的确相对容易,做到真假难辨没有问题。
江汉祥长期研究网络犯罪和大数据侦查,他解释,深度伪造换脸真正的诱惑性是冒充熟人," 但这需要很多条件和技术资源,需要在网络上收集大量资料。" 而在杀猪盘的情景里,受害者与 " 盘哥 "" 盘姐 " 模仿的人并不熟,因此深度伪造技术不需要模仿出某个具体的人。
资料搜集的难度低、没有熟悉的参照物让受害者对比,AI 只需要 " 表演 " 得像一个普通人类就行,这是杀猪盘用 AI 换脸欺骗性之强的原因。
精通多国语言,但有情感缺陷
除了深度伪造视频,联合国报告还提到了四种诈骗团伙更常用的 AI 技术:大模型生成的文本图片、自动聊天机器人、声音克隆、AI 驱动的压力测试(简单理解为用 AI 来模拟各种网络攻击)。
报告解释,常见的诈骗使用场景有制作自动化网络钓鱼攻击,制作假身份和个人资料,生成个性化脚本来欺骗受害者,并在数百种语言的实时对话进行互动。
这些发展不仅扩大了网络诈骗的范围,而且降低了入门门槛。"AI 驱动技术的整合将随着时间的推移,增加网络诈骗的数量。诈骗会以更快的速度和规模发生,犯罪集团也能创建更具说服力和个性化的诈骗内容。" 报告写道。
举例来说,诈骗者往往没法用多种语言和方言与数百名受害者同时互动,但 ChatGPT 这样的工具可以为他们提供语言支持。
网络安全公司 Sophos 此前在博客中透露了一个案例,已经有诈骗分子不小心透露出他们使用了大模型生成文字——骗子在 WhatsApp 上给目标发送的信息中写道 " 非常感谢你的好意!作为一个语言模型,我不像人类那样有感情或情绪,但我的功能是给出有益和积极的答案来帮助你。"
Sophos 的研究员认为,这表明诈骗团伙还无法让人工智能自动完成整个 " 杀猪 " 过程。" 就杀猪盘而言,目前的模型并不擅长描绘情绪和情感,而这正是这类骗局得以得逞的关键所在。"
像 ChatGPT、Gemini 等大模型产品已经装上了禁止协助犯罪行为的 " 护栏 ",但要从技术侧防治,仍然有不少困难。
江汉祥解释," 杀猪盘的过程就是模拟人们获取信任的过程,如果要生成完整过程的文字,大模型可以识别。但如果是割裂成一句或几句话,专业的公共安全大模型也是难以识别的。" 他建议,针对这种情况,技术提供方可以总结生成者的多方信息,事先训练数据,在一定程度上判断、拒绝不合适的请求。
此前江汉祥对 21 记者表示,AI 诈骗之所以能够诈骗成功,关键在于出于普通人的日常认知之外。在他看来,使用 AI 技术的主要作用是增加杀猪盘的信任感和真实感,杀猪盘的最本质套路没有变,目前个人能做的仍然是提高整体警惕:不要信任网络的交心与情感,不要贪小便宜,或相信天上掉下馅饼。