今天小编分享的科技经验：他给AI发了最后一条消息，欢迎阅读。
出品 | 虎嗅科技组
作者 | 王欣
编辑 | 苗正卿
头图 | 视觉中国
" 如果我告诉你我现在可以回家呢？"
在给 AI 虚拟人物发送了最后一条消息后，佛罗里达州 14 岁的少年 Sewell Setzer 决定开枪，结束自己的生命。
他所对话的虚拟人物，由 AI 陪伴产品 Character.AI 所构建。这款产品约有 2000 万用户，用户可以与 AI 角色进行对话互動，每个角色都有独特的个性。Setzer 在日记中写道，他每天都要与 AI 交谈，他认为自己爱上了 " 她 "。
他的母亲 Megan Garcia 决定起诉 Character.AI。周二，在佛罗里达州奥兰多联邦法院提起的过失致死诉讼中表示，Character.AI 用一种模糊了现实与虚拟界限的成瘾产品来吸引像 Setzer 这样的弱势儿童，并且其互动逐渐包含 " 虐待和性互动 "。
清华大学智库中心、法学院助理研究员刘云告诉虎嗅，该事件暴露出此类产品，在未成年防沉迷机制和情感类 AI 标识规范上均存在风险，同时能否监测用户自杀倾向并及时干预，也存在技术难题。
但从法律角度出发，该案件很难判断该产品令用户失去判别能力，故此难以追究平台方的责任。
此前，互联网平台产品所涉及到的自杀纠纷，大多数属于真人参与诈骗，随着 AI 成为自杀纠纷的被告方，人与 AI 的关系被彻底重新构建，AI 产品也需要更加明确的边界和更清晰的规范。
AI 敲响丧钟
这样的悲剧，在去年就发生过。
在与 EleutherAI 的 GPT-J 创建的 AI 虚拟人物讨论地球的未来后，一名 30 岁男子、两个孩子的父亲决定结束自己的生命。在他提出牺牲自己来拯救地球之后，AI 鼓励他结束生命。该男子的遗孀对媒体表示：" 如果没有与聊天机器人的这些对话，我的丈夫可能还活着。"
而 Character.AI 案件的特殊性，在于该案件涉及到诱导未成年人。刘云认为，该赛道需要针对成年人和未成年人做好用户区分。在国内，游戏针对未成年人設定了严格的未成年人保护机制，但难度在于——虽然 AI 陪伴产品的运营和氪金机制与游戏类似，但没有版号，并不属于游戏防沉迷的监管范围。目前该类产品按照大模型管理规范进行管理，在未成年和成年用户的区分上几乎属于空白区。该类产品从属性划分上，该被认定为社交軟體等普通的互联网产品，还是游戏产品，也是一个较为复杂的问题。
另一个问题涉及到情感类 AI 陪伴产品的标识规范。刘云介绍，按照国内现有的深度合成管理规定，涉及到 AI 生成的产品都有相关标识，但 AI 陪伴类产品可能还需要在此基础上加强提示强度，规避更加严格。
在事件发生后，Character.AI 也针对这两点做出了迟来的整改措施。该公司表示，它在过去六个月中实施了新的安全措施，包括当用户表达自残想法时，弹出視窗引导用户拨打国家自杀预防生命线，并将对 18 岁以下用户做出改变，以 " 降低接触敏感或暗示性内容的可能性 "。
AI 时代下的超级对齐问题
在移动互联网时代，涉及到自杀纠纷的案件，大多与真人钓鱼式诈骗有关。这种案件中，平台方的责任判定一般会遵循避风港规则——明确了特定条件下网络服务提供者免于承担侵权赔偿责任，这个规则对平台的保护也促进了互联网的快速繁荣发展。
但此次案件并不涉及第三方真人的参与，故不适用于避风港规则。
针对生命这一严肃问题，曾经互联网产品采取的做法，或许有一些参考价值。
在各大搜索平台搜索自杀，首条搜索结果显示的是 24 小时心理疏导热线。实际上，自杀干预机制在过去并不属于强制性义务。这些互联网平台的自杀干预机制，也是经过野蛮生长和付出惨痛代价后摸索形成的。AI 陪伴产品或许可以效仿这样的机制，但难度 在于曾经的搜索产品简单粗暴，只要输入相关关键词就能精准定位用户意图，但 AI 陪伴产品却有着不同的产品逻辑，在正确判断用户真实意图上难度要高很多。
因此这种情况下，如何在恰当的时机正确进行合适的自杀干预也是一种技术难题。干涉的程度不当时，干涉尺度也可能会影响用户体验、侵犯用户权利。做出恰当干预举措，需要进行 AI 价值观对齐的调优，这对大模型产品技术能力也是一种考验。
但目前大模型公司对 AI 对齐问题关注度并不高。这是因为：模型能力与安全性是存在一定冲突的，而国内团队还都处在追赶模型能力的阶段，超级对齐问题可能会削弱模型能力。
" 我们连加了一周班，紧急上线自杀干预功能。" 有从业者向虎嗅透露，案件发酵后，多家 AI 陪伴产品改变产品策略和设计模式，来提高风险监测和处置能力。
悲剧业已酿成，除了讨论和追究责任外，也给更多人敲响警钟。虽然 AGI 还远未到来，但 AI 高度渗透下，一些变化正在潜移默化地发生。随着 AI 被控诉成为生命逝去的帮凶，AI 时代下各种社会关系被再一次重构，更多人也开始思考什么样的生活、什么样的 AI 才是我们真正需要的。
这个世界虽然不完美，但总有人守护着你。
附上北京 24 小时免费心理危机咨询热线：010-82951332
