今天小编分享的互联网经验:他们给AI投币1美元,百万女性被拖入地狱,欢迎阅读。
访谈、文|邓咏仪 周鑫雨 邱晓芬
编辑|杨轩
那张照片,会跟着我一辈子吗?"
一年多前,伍华在韩国旅游,途中在社交媒体上发布了一张带有韩国定位的照片。回国不到三天,朋友发给她一张截图,是一个和她的头像、网名几乎一样的账号。不同的地方是,账号里的文字被替换成韩语,个人简介里,还出现了一个陌生网址。
令伍华震惊的是,点开高仿账户里的网址,会导向一个色情频道,污秽不堪的付费视频陈列其中——主角,全都被 AI 换成了她的脸。
直到今年 8 月末,关注到韩国 Deepfake 事件时," 我被一阵巨大的后怕席卷。" 伍华告诉《智能涌现》," 太恶心、太难受了。"
回想起点开这些 AI 视频的的第一感受,伍华依旧语带哽咽。尽管高仿账号已经被她举报删除,但她不确定自己的脸,还有没有被用在其他地方。
Deepfake(专指基于 AI 的人体影像合成技术)技术催生出的 "N 号房 2.0 事件 ",正在让隔海相邻的韩国陷入巨大漩涡。不计其数的女性,成为了男性用 AI 捕获的 " 猎物 "。
仁荷大学的一位男学生,组建起了一个超过 1200 成员的聊天室。他们利用 Deepfake 技术,将学校中的女生的脸庞,安放到到各种黄色影像上,群聊中还公开分享她们的联系方式。
从仁荷大学开始,一场巨大的合谋被迅速揭开,Deepfake 也因此被称为 "N 号房 2.0 事件 "。从 8 月 20 日开始,韩国媒体、警方陆续揪出了大量与学校、医院、军队体系中的类似聊天室。
22 万,这是韩国披露的人数最多的 Deepfake 聊天室成员人数。而韩国范围内,几乎每一个中学、大学都有这样的 " 凌辱房 "。
在群聊中,男性以自己生活中熟识的女性为羞辱对象,用各种 Deepfake 工具,将女性的脸换到各种淫秽不堪的影像、视频中。而后,群内的男性会开始共同进行言语羞辱,甚至发展到线下威胁、骚扰。
规模较大的羞辱房,甚至还会细抽成不同的小房间,比如家属羞辱房。男性甚至偷拍自己的妈妈、姐姐、妹妹的照片传到群聊中。
△聊天室中,有男性将亲妹妹的照片上传其中(照片已被红色马赛克遮挡),配文为翻译成中文的聊天记录。
2019 年,震惊全球的 N 号房事件发生时,就有网友语带讽刺:" 全韩国的出租车总数只有 26 万台,这意味着,你在街上碰见 N 号房会员的概率,和碰见出租车一样。"
这句话,不仅能用在今日的 Deepfake 聊天室上,真实的情况更加触目惊心。
N 号房 1.0 基本以真实的盗摄内容为主,这意味着犯罪者还需要自行拍摄,获取素材。但 Deepfake 技术越来越成熟后,Deepfake 房的犯罪成本降至极低—— AI 生成的影像、视频,内容逼真到让人恍惚。
今年 5 月,一位 40 岁的首尔大学毕业生朴某被逮捕,他用 48 名女性受害者的照片,制作了 1852 份性剥削内容,受害者都是他在生活中认识的女性。
一位在首尔的老师,发现自己也成为了 " 熟人凌辱房 " 的主角,始作俑者是她执教班级的学生,但她无法得知是哪一位。
" 那张照片会跟着我一辈子吗?"她崩溃地向媒体诉说。
Deepfake 事件爆出后,志愿者根据媒体报道、匿名投稿核实,制作了一张涉及 Deepfake 加害者地图。红色标记密密麻麻,几乎要将韩国中心地带淹没。
△志愿者整理的 " 加害者学校地图 ",红点几乎要将韩国中心地带的地图淹没 来源:https://deepfakemap.kr
根据网络安全监测机构 SecurityHero 的统计,2023 年韩国的 Deepfake 色性产业,就占到了全球的 53% ——与之相对的,韩国 2023 年的 GDP,还不到全球的 2%。
△ 2023 年全球 Deepfake 色情产业分布 制图:智能涌现
被绝望和愤怒冲击的韩国女性,不得不在压抑的舆论中四处奔走。
" 我的生活不是你的色情片!"" 女性没有国家!" 她们愤怒地在社交媒体高呼。
沉默中的围剿战
没人知道确切的女性受害者数字是多少。大学生智英每日灌下大杯大杯的咖啡,只为了保持清醒状态。" 我害怕错过受害者的任何一条投稿。"
智英不敢停下。自 8 月下旬开始,她几乎失去了睡眠。
一场围剿战正在进行中。
在推特上,智英与韩国男性不停周旋。她的推特账号早已实时被男性们监控,刚上传的、呼吁大家举报的厌女内容网址,下一分钟网址就被修改了。这意味着,厌女者们一直在盯着智英的推文。
在和我们的交流中,她还尝试使用变声器——所有在推特上为这次事件活跃的女性博主,都是韩男 " 开盒 "(人肉搜索)的头号目标,她无法透露自己的任何信息。
在女性地位低下的韩国社会,女权主义者早已是个危险的标签。韩国最大的女权主义推特 Queens Archive 就因为最先披露 Deepfake 聊天室事件,被韩国男性举报至炸号。
" 有时候我们根本不洗澡、不睡觉,一直熬到凌晨三四点。" 智英对《智能涌现》表示。她和推特上的 " 战友 ",急切地将所有 Deepfake 相关信息、受害者保护指南、女性主义科普翻译成英语,在推特上不间断传播。
Deepfake 事件涉及的加害者、受害者双方,其年龄范围比起 N 号房 1.0 都要更小。2024 年 1 月至 7 月,韩国立案侦查了 297 起深度伪造性剥削犯罪,共计抓获 178 名嫌疑人,其中 131 人是十几岁的青少年,占比 73.6%。
不少人将其比作 "N 号房 2.0 事件 ",但与之相比,现在的舆论热度,根本不能同日而语。在不少女性眼中,韩国政府和警方的态度,可以用 " 消极 " 来形容。
用 AI 制作的性羞辱内容,由于 " 并不是真实的 ",一开始甚至没有进入到警方、政府的视野。
" 当年的 N 号房事件,政府就没有进行正当的处理。所以,现在 Deepfake 事件中的男性,很多都是未成年,受害者中也有很多是未成年人,加害者更不会觉得有什么后果,也不会坐牢。" 智英对《智能涌现》说。
在本次 Deepfake 事件中,目前韩国警方只逮捕了 15 个人左右,有的加害者直接跑到海外,以移民的方式逃避刑罚。
"Deepfake 事件,加上此前的 N 号房、Soranet 等数字性犯罪案例,受害者预计有超过 100 万人之多,没有人知道确切的数字。" 智英感到遗憾," 所以如果我们不尽快向政府施压,政府就不会做任何事情。"
韩国女性开始向外求救,接力将 Deepfake 事件的内容传播到中国、日本的社交媒体上。
△来源:微博
韩国大学生恩静就跑到小红书上,用机翻的生疏口吻请求关注、扩散,不断被封号、删帖也不曾放弃。而在微博上的韩女呼救微博,在短短两天内就被转近 15 万次。
△来源:小红书
无人知道这些努力最终能够导向何方。恩静告诉《智能涌现》,她的亲妹妹现在也是一位中学生,学校除了简单嘱咐女生保护自己,再无其他措施——她和妹妹只能将社交平台上所有带脸的照片删除,每日穿长裤出门。
而海外舆论爆发后,韩国政府才终于认真跟进这一事件。近期韩国不同政党最近的公开发言,都离不开 Deepfake 事件。" 事件必须短期内解决。" 他们表示。
"Deepfake 羞辱房 ",无处不在
当一名毫无 AI 技术基础、留在 " 墙内 " 的中国男性,成为 Deepfake 加害者,前期需要付出怎样的作案成本?
在 SecurityHero 的报告中,中国的 Deepfake 色情视频数量,占全球的 3%。与韩国(53%)和美国(20%)相比,这是一个并不高的数字。然而,由于报告统计的数据大多来源于海外网站,中国 Deepfake 色情产业的实际规模,远不止这些。
在海外社交平台 X(原为 Twitter)上检索 "Deepfake",很快出现一名中国 Deepfake 工具卖家。他的帖文露骨地写着 "AI 脱衣 "" 捆绑 "" 比基尼 " 等字眼,但主页却声明:" 仅提供 AI 工具,对用途概不负责。"
X、Instagram、Facebook 等海外社交平台,仅仅是打开潘多拉魔盒的一把钥匙。不少中国从业者,用 "vx"" 扣 ""zfb" 等字眼,隐晦地指代交易的最终场所:微信、QQ、闲鱼,甚至还有支付宝的交易界面。
通过留在 X 上的 QQ 号,我们联系上了一名卖家。为了逃避平台的监管,他的个性签名是 " 严禁违禁词,仅供娱乐使用,传播后果自负 "。从头至尾,他表现得和一般軟體销售无异,整段对话没有提及任何 " 性 " 相关的词汇。
但 " 性 ",又成了这场交易心照不宣的目的。很快,对方用 QQ" 闪照(点开 3 秒后照片就会消失)" 功能,发来两张打满马赛克的 Deepdake 效果图。
△作者与 Deepfake 工具卖家的 QQ 聊天记录,已举报给腾讯官方平台
点开大图,马赛克随即消失——一张凹着不自然 Deepfake 照,出现在了螢幕上。
3 秒后,女性的照片,连同用以维权举证的证据,一同消失在了聊天记录中。
即便在国内,让女性经历一场赛博羞辱,并从法律制裁中逃逸,也如此简单。
作为脱去女性外衣的新型凶器,AI 的出现,让网络性侵害的成本更低、速度却更快。在从业者发来的产品目录中,一段用 AI 生成的 10 秒内换脸视频 30 元,一张 AI 裸照只要 10 元,价目表上还特别注明:买 5 送 1。
但一开始,Deepfake 的背后、一项名为 " 生成对抗网络(GAN)" 的技术,还几近人畜无害。
2014 年诞生在谷歌大腦实验室的 GAN,有着难以普及的一切要素:軟體安装难度大、操作的技术门槛高,同时还需要昂贵的训练数据集和算力资源。这让 Deepfake 一度待在实验室里,没有被大众广泛使用。
事情走向失控,大致在 2019 年。
2019 年,一款号称 "30 秒就能一键脱衣 " 的应用 DeepNude 诞生了——讽刺的是,这款軟體用了一万张女性裸体照片训练而成,当用户输入一张男性照片,他无法脱下男性的衣物,只会为其添加一个女性的阴部。
DeepNude 的背后,是几年间性能飞速提高的 GAN 技术,以及让使用难度大幅下降的开源生态。这让一名匿名的男性程式员 Alberto(化名),基于加州大学伯克利分校的开源 GAN 架构,快速开发出了 DeepNude。
一边,是迅猛发展的 AI 技术,和逐渐繁荣的开源生态;另一边,又是野蛮生长的 Deepfake,和没有做好准备的社会意识和监管体系。
DeepNude 让非自愿裸照的制作,变得像点击按钮一样简单。迫于舆论压力,DeepNude 发布两周后,就选择了自主下架。Alberto(化名)在采访中解释,这款軟體的开发完全出于 " 有意思 " 和 " 好奇心 ":" 我不是偷窥狂。我是技术的爱好者。"
DeepNude 下架了,但千万个 "DeepNude",以更隐秘的姿态、更低的操作门槛、更逼真的生成质量,开始在互联网泛滥。
Deepfake 与色情产业的相关数据 制图:智能涌现
在论坛 Discord 上,DeepNude 的安装包以 20 美元的价格出售。匿名卖家在主页中表示,他们提高了 DeepNude 的稳定性,与此同时,还删除了正版 DeepNude 给生成图片添加的水印——这一切,都让 Deepfake 裸照,看上去更加逼真。
下架不到三周,DeepNude 又被开发出了更易上手的模式,成了嵌了 Telegram 上的一键脱衣 Bot。
此后,事件的走向,和如今的韩国 "N 号房 2.0" 十分类似。Bot 的使用者,自发在 Telegram 上建立了社群,超过 10 万名成员,成了 "N 号房 " 的初代居民。
最早监测到这款 Bot 的网络安全公司 Sensity 发现,上线不到一年,这款 Bot 已经产生了 68 万多名女性的虚假裸照,约 104852 张女性照片被公开发布在这款应用上。
向下的维权螺旋
从 2019 年至今,围剿 DeepNude 的行动一直在进行。
2019 年 7 月,美国弗吉尼亚州通过了一条有关色情禁令的法律修正案,禁止出售或传播计算机生成的色情内容。同年年末,推特、谷歌、Facebook 等平台着手整治 Deepfake 视频,措施包括给 Deepfake 视频打水印、赞助检测 Deepfake 的相关研究项目。
然而,无论是韩国 "N 号房 2.0",还是隐匿在 QQ、支付宝、闲鱼中的地下灰产,都印证了一个令人沮丧的现实:Deepfake 从未真正消失。
2019 年,多伦多大学公民实验室曾发表了一项研究,试图探索微信如何自动审查巨量聊天中的图片。结果显示,微信对朋友圈和群聊的审查力度,大于一对一的私密聊天,同时,政治和社会新闻,是微信图片审查的核心主题。
这意味着,平台对色情内容的监管,依然存在漏洞。私密聊天中进行的 Deepfake 色情交易,很难通过平台进行披露,除非由人主动检举。
但人一定能主动站出来吗?
北京市两高律师事务所副主任张荆,20 年来经手了不少侵害女性权益的案件。多年来,她帮助女性和具体到个人的加害者、不公平的结构,甚至法律系统的漏洞抗争。但 Deepfake 性侵害的发生,让她觉得女性的斗争,又走到了一个更为复杂的关卡。
" 在技术不那么发达的过去,女性遭受性犯罪,起码能知道具体的受害者是谁,女性受到的伤害可以通过司法鉴定被量化。" 张荆告诉《智能涌现》。但如今,无论是 Deepfake 内容的制作者,还是传播者,都面目模糊、数量难以确定,这对取证和量刑,都造成了极大的困难。
" 报警不就好了?" 在网络上,不少旁观者都提出了疑问,甚至有不少受害女性也曾认为,报警就好了。
但在报警之前,女性还要走过漫长的取证之路。张荆告诉《智能涌现》," 想要立案为刑事案件,去司法机关报案的前提是有基本的证据。"
而这些基本证据又包括:Deepfake 传播的具体网站、侵权图片的数量(数量过少不足以被立案)、传播范围(传播范围过小不足以被立案)。
" 说实话,对于不经常上网的人来说,完成这一步并不容易,她们可能甚至连网站该怎么进入都不知道。" 张荆总结。
即便女性顺利走到了报警、立案的一步,加害者的处置结果往往不尽如人意。
在中国裁判文书网中输入 "AI 换脸 ",一共只有 16 篇文书,最早的一起案件发生在 2022 年。两年来,能够诉诸刑事案件的 Deepfake 侵害事件,数量为 0。
在层层阻碍下,女性针对 Deepfake 的维权,成了一条不断向下的螺旋:社会的压力,和严苛的立案流程,导致鲜少有愿意站出来的女性受害者;女性声量的不足,以及立案数量的稀少,又让立法的推进变得愈发艰难。
2023 年 12 月,在中国台湾省,曾有一起判例,给了 Deepfake 受害女性些许希望。网名为 " 小玉 " 的男网红朱玉宸,使用 Deepfake 技术,将 100 多位知名女性合成 A 片,上网贩卖获利超过 1300 万台币(约 288 万元)。最终,他以违反《个人资料保护法》等罪名被起诉,并被判处 5 年有期徒刑。
只是,五年就够了吗?
" 过去的黄色录像带、3D 影片,是一个具体的小众产业,传播很难对一个鲜活的人产生伤害。" 张荆说," 但今天的 Deepfake,和过去色情产业的本质区别在于,它的传播,会对生活中具体的人产生伤害。"
这意味着," 依照传播淫秽色情内容对 Deepfake 进行量刑,程度一定是会偏轻的。" 她总结。
加害者面前的,是看得到头的 5 年刑罚,但创伤可能会伴随女性走过更为漫长的岁月。
15 岁那年,经历来自后桌男生的 Deepfake 骚扰后,小鱼开始不希望夏天到来。白色的短袖校服一旦被汗水浸湿,就会透出女生的内衣和身体的曲线。接近 40 摄氏度的高温下,小鱼依然选择穿两件短袖,阻挡男生的视线。
小鱼告诉《智能涌现》,她觉得告诉老师和家长,都是无用功。她记得,班上有男生曾经开女生的黄色玩笑,或是拽拉内衣的带子,但最后老师的回应是:都是小孩子之间的玩笑。
如今,离被骚扰已经过去了一年多的时间。升入高中后,小鱼和后桌男生失去了联系,生活又归于平淡。只是,夏天穿两件短袖的习惯,被小鱼保持到了现在。
人类,还没有做好应对 Deepfake 的准备
在很长一段时间内,现实可能依旧惨淡。
看到韩国 Deepfake 事件后,鹿影科技联创李倩愤怒透顶,当即拉着创始人头腦风暴到深夜,口干舌燥之余,二人都很沮丧。" 可能要带给你一个坏消息:没有什么办法能够从技术上,直接把 Deepfake 性暴力给杀掉。" 李倩对《智能涌现》说。
虽然无法直接根除," 以其人之道还其人之身 ",是一条常规路径。
瑞莱智慧联合创始人萧子豪向《智能涌现》介绍,公司内部会定期组织 " 红蓝对抗 ",把工程师会分为 " 红军 "" 蓝军 " 两派,让 " 红军 " 模拟真实的攻击,而 " 蓝军 " 负责应对处置。" 红军 " 一派的工程师们,为了了解黑产手段,甚至会潜伏到黑产群体中寻找线索,持续创新攻击手段。
对于用 AI 对抗 Deepfake 的人们来说,每天的工作,就是对抗各种意想不到的新案例。2 周调优一个新版本、2 个月迭代一版大模型,几乎是标配。
但这更多是在问题出现前后的预警提示。真正的侵害发生后,要想保护女性,更多需要依靠司法编织的网。
2022 年 11 月,中国出台了第一条明确针对 Deepfake 提出的规定:《互联网信息服务深度合成管理规定》。这一规定对 Deepfake 内容制作者、技术服务提供商,以及制作、传播发布行为,都做出了规制。
但从法规的制定到真正落实,还有一条漫长道路。近 20 年来,张荆观察到,无论是办理刑事案件的律师,还是接到报案的警察、最终负责审判的检察机关,大多都是男性。
" 这是一个结构性的问题,甚至立法机关,也基本上是男性。" 张荆曾经参加过一个有关废除嫖宿幼女罪(比强奸罪量刑更轻)的研讨会。
在场的不少男性律师,给出了不少支持保留嫖宿幼女罪的理由,其中一个是:如果改用强奸罪定罪,犯罪行为人可能会铤而走险,反而让女性受害人陷入危险的境地。
现有的成功让加害者被拘留、定罪的个例,大多是女性积极自救的结果。
2023 年的苏州大学黄谣和 AI 换脸事件中,受害者就潜入传播 AI 伪造影像的聊天房,进行取证,并利用排除法,将不同标记的照片在朋友圈中分组发布,进行逐个排除,最终将加害者抓获。
要进一步推动 Deepfake 性侵害的立法,和社会意识的前进,还需要一个真正的判例。
" 有了判例,这段女性被迫害史才更有可能被写进义务教育的教科书,让性别教育前进一步。"一名在日本的女权活动者告诉《智能涌现》。
当下的 AI 行业,其实还是一个相当由男性主导的领網域。某种程度上,从研发到产品落地过程中,都极易让女性成为被 AI" 压迫 " 的群体,成为产业中的一环。
李倩观察到的一个数据是,从互联网获得的视频模型训练数据,40% 涉及成人内容,而其中的 8 成,内容都是女性身体。
" 色情,是当下 AI C 端产品最成功的商业模式。"一名投资人对《智能涌现》如此评价。最终,Deepfake 的泛滥被归结到了一个商业现实:用 AI 贩卖女性身体,会给利益者带来丰厚的商业回报。
对抗商业惯性,十分困难。
在融资过程中,部分投资人,无论男女都会告诉李倩,YoYo(鹿影科技的 AI 视频创作平台)如果对黄色擦边内容稍微宽容些,商业化会更顺利。
从第一天起女性友好,对人力、资金有限的 AI 初创公司而言,要不要走出这一步,是个尤为艰难的决定。李倩告诉 " 智能涌现 ",从训练数据中剔除 40% 的黄色数据,意味着要花额外的成本补全;如果花人力和时间给用户输入的提示词設定违禁词,产品迭代的速度至少慢两个月。
" 做创业者,是不是就要无性别地,看待商业世界?" 但经历 Deepfake 事件后,李倩已经不这么认为了," 一旦开闸,行业又多了一块驱逐良币的劣币。"
如果女性能够在行业中获取更多技术主导权,未来会变得不一样。
2024 年 9 月 4 日,中科院的女工程师张欣怡,将自己团队研发的 Deepfake 对抗模型,向全球开源。一旦有人需要帮助,就可以免费使用模型来检测 Deepfake 内容。
在自己的微博中,张欣怡写到:" 如果一个人的火把太小,我们就把火把传给世界的每一个人。"
当新技术席卷世界,司法、技术都尚未完全跟上时,普通人每一次的发声、行动,才是社会进程得以向前推进的原因。
韩国就是一个活生生的例子——在极度男性主义的国家,女性权益的每进一步,都由布满血和汗的斗争之路造就。
自 2015 年之后,韩国女性在 #MeToo、消除网络性暴力、终止怀孕非刑罪化等议题上开展了一系列女性主义运动,通过展开议题讨论、集会游行等等形式,这些活动从社会意识、立法制度层面,都争取到了宝贵的成果。
曾经揭露 N 号房丑闻的两位女记者姜京允、朴孝实,经受了旷日持久的网络谩骂、侮辱和精神折磨,其中一位记者甚至多次流产。
但韩女从没有停下脚步。N 号房事件后,韩国就成立了专注于反对性剥削犯罪的女性团体 "RESET",推动了包括网络性犯罪相关法例的制定过程。而今年 5 月,将 Deepfake 其中一名嫌疑人送进监狱的,正是此前曾揭露 N 号房的两位大学生记者之一。
不能停止,不能放弃,是我们接触到的,奔走在 Deepfake 事件一线的韩国女性想法。" 这不是仅仅为了我们这一代而奋斗,而是为了所有人的命运," 智英说," 我想要一个我的朋友、家人和所有女性都感到安全的世界。"
不同人种、国籍的女性,都开始了对韩国女性的声援。当地时间 9 月 3 日,一群居住在伦敦的中国女权主义者,从特拉法加广场走到韩国大使馆,高唱起韩国女权运动的标志性歌曲《再次重逢的世界》,声讨韩国偷拍、AI 伪造等等非法行为。
红色的字,被印在各式各样的横幅标语上:" 我的生活,不是你的色情片。"
△当地时间 9 月 3 日,一群居住在伦敦的中国女性主义者进行了反偷拍、反 Deepfake 游行。图源:伦敦的中国女权主义者
(为保护受访者,智英、恩静、小鱼均为化名。感谢星星、xwf、十月、lakyo、阿鸡、伦敦姐妹在访谈中提供的协助。)