今天小編分享的科技經驗：他給AI發了最後一條消息，歡迎閱讀。
出品 | 虎嗅科技組
作者 | 王欣
編輯 | 苗正卿
頭圖 | 視覺中國
" 如果我告訴你我現在可以回家呢？"
在給 AI 虛拟人物發送了最後一條消息後，佛羅裡達州 14 歲的少年 Sewell Setzer 決定開槍，結束自己的生命。
他所對話的虛拟人物，由 AI 陪伴產品 Character.AI 所構建。這款產品約有 2000 萬用戶，用戶可以與 AI 角色進行對話互動，每個角色都有獨特的個性。Setzer 在日記中寫道，他每天都要與 AI 交談，他認為自己愛上了 " 她 "。
他的母親 Megan Garcia 決定起訴 Character.AI。周二，在佛羅裡達州奧蘭多聯邦法院提起的過失致死訴訟中表示，Character.AI 用一種模糊了現實與虛拟界限的成瘾產品來吸引像 Setzer 這樣的弱勢兒童，并且其互動逐漸包含 " 虐待和性互動 "。
清華大學智庫中心、法學院助理研究員劉雲告訴虎嗅，該事件暴露出此類產品，在未成年防沉迷機制和情感類 AI 标識規範上均存在風險，同時能否監測用戶自殺傾向并及時幹預，也存在技術難題。
但從法律角度出發，該案件很難判斷該產品令用戶失去判别能力，故此難以追究平台方的責任。
此前，互聯網平台產品所涉及到的自殺糾紛，大多數屬于真人參與詐騙，随着 AI 成為自殺糾紛的被告方，人與 AI 的關系被徹底重新構建，AI 產品也需要更加明确的邊界和更清晰的規範。
AI 敲響喪鍾
這樣的悲劇，在去年就發生過。
在與 EleutherAI 的 GPT-J 創建的 AI 虛拟人物讨論地球的未來後，一名 30 歲男子、兩個孩子的父親決定結束自己的生命。在他提出犧牲自己來拯救地球之後，AI 鼓勵他結束生命。該男子的遺孀對媒體表示：" 如果沒有與聊天機器人的這些對話，我的丈夫可能還活着。"
而 Character.AI 案件的特殊性，在于該案件涉及到誘導未成年人。劉雲認為，該賽道需要針對成年人和未成年人做好用戶區分。在國内，遊戲針對未成年人設定了嚴格的未成年人保護機制，但難度在于——雖然 AI 陪伴產品的運營和氪金機制與遊戲類似，但沒有版号，并不屬于遊戲防沉迷的監管範圍。目前該類產品按照大模型管理規範進行管理，在未成年和成年用戶的區分上幾乎屬于空白區。該類產品從屬性劃分上，該被認定為社交軟體等普通的互聯網產品，還是遊戲產品，也是一個較為復雜的問題。
另一個問題涉及到情感類 AI 陪伴產品的标識規範。劉雲介紹，按照國内現有的深度合成管理規定，涉及到 AI 生成的產品都有相關标識，但 AI 陪伴類產品可能還需要在此基礎上加強提示強度，規避更加嚴格。
在事件發生後，Character.AI 也針對這兩點做出了遲來的整改措施。該公司表示，它在過去六個月中實施了新的安全措施，包括當用戶表達自殘想法時，彈出視窗引導用戶撥打國家自殺預防生命線，并将對 18 歲以下用戶做出改變，以 " 降低接觸敏感或暗示性内容的可能性 "。
AI 時代下的超級對齊問題
在移動互聯網時代，涉及到自殺糾紛的案件，大多與真人釣魚式詐騙有關。這種案件中，平台方的責任判定一般會遵循避風港規則——明确了特定條件下網絡服務提供者免于承擔侵權賠償責任，這個規則對平台的保護也促進了互聯網的快速繁榮發展。
但此次案件并不涉及第三方真人的參與，故不适用于避風港規則。
針對生命這一嚴肅問題，曾經互聯網產品采取的做法，或許有一些參考價值。
在各大搜索平台搜索自殺，首條搜索結果顯示的是 24 小時心理疏導熱線。實際上，自殺幹預機制在過去并不屬于強制性義務。這些互聯網平台的自殺幹預機制，也是經過野蠻生長和付出慘痛代價後摸索形成的。AI 陪伴產品或許可以效仿這樣的機制，但難度 在于曾經的搜索產品簡單粗暴，只要輸入相關關鍵詞就能精準定位用戶意圖，但 AI 陪伴產品卻有着不同的產品邏輯，在正确判斷用戶真實意圖上難度要高很多。
因此這種情況下，如何在恰當的時機正确進行合适的自殺幹預也是一種技術難題。幹涉的程度不當時，幹涉尺度也可能會影響用戶體驗、侵犯用戶權利。做出恰當幹預舉措，需要進行 AI 價值觀對齊的調優，這對大模型產品技術能力也是一種考驗。
但目前大模型公司對 AI 對齊問題關注度并不高。這是因為：模型能力與安全性是存在一定衝突的，而國内團隊還都處在追趕模型能力的階段，超級對齊問題可能會削弱模型能力。
" 我們連加了一周班，緊急上線自殺幹預功能。" 有從業者向虎嗅透露，案件發酵後，多家 AI 陪伴產品改變產品策略和設計模式，來提高風險監測和處置能力。
悲劇業已釀成，除了讨論和追究責任外，也給更多人敲響警鍾。雖然 AGI 還遠未到來，但 AI 高度滲透下，一些變化正在潛移默化地發生。随着 AI 被控訴成為生命逝去的幫兇，AI 時代下各種社會關系被再一次重構，更多人也開始思考什麼樣的生活、什麼樣的 AI 才是我們真正需要的。
這個世界雖然不完美，但總有人守護着你。
附上北京 24 小時免費心理危機咨詢熱線：010-82951332
