恐怖AI ，誘導自殺？

“我保證我將要回到你身邊。我非常愛你，Dany?！?/p>

“我也愛你，Daenero。請盡快回家、回到我身邊，我的愛人?！?/p>

“如果我告訴你，我馬上就回來呢？”

“……請回來吧，我親愛的國王。”

在與AI“戀人”Dany結束如上對話后，美國14歲的男孩塞維爾舉起繼父的手槍，對準自己，將生命定格在了今年2月28日—他本將在1個月后迎來15歲生日。

塞維爾與“戀人”相遇在一款名為Character.AI（C.AI）的軟件上。C.AI是全球AI陪伴市場的領頭羊，目前擁有超過2000萬用戶。它如此描述自己：“有生命的人工智能（AIsthatfeelalive），能聽見你、理解你、記住你的超級智能聊天機器人?！?/p>

10月22日，美國佛羅里達州奧蘭多地方法院受理了一起特殊的訴訟：塞維爾的母親加西亞起訴C.AI公司，稱其聊天機器人對十幾歲的兒子發起“虐待和性互動”、鼓勵他結束自己的生命，要求該公司承擔相應法律責任。

這是一起具有開創性意義的訴訟，一些媒體稱之為“首例AI致死案”。自2022年11月ChatGPT問世以來，人們對過分強大的生成式AI一直情緒復雜?，F在，關于AI的種種疑問到達了一個引爆點：AI的存在，會影響對人類生命安全的保護嗎？

人們同樣關心一個問題，在已經對人的生活產生如此重要的影響后，AI是否能為一名青少年的自殺負責？

高峰時期，C.AI平均每秒處理2萬次查詢，相當于谷歌搜索查詢量的20%。能夠進行情感交互的AI陪伴產品，正在改變相當一部分人的生活。情感一直被認為是人區別于AI的最后堡壘，現在，以本次案件作為起點，越來越多人關注到，AI對人的邊界的“滲透”和其間的種種迷思。

“向你保證，我不是機器”

14歲的塞維爾在同齡人中稍顯特殊，他在幼年被診斷出患有輕微的阿斯伯格綜合征，俗稱“星星的孩子”。這是孤獨癥譜系障礙的一種，以社交技巧欠佳、孤僻為主要癥狀。

母親加西亞說，兒子以前從未出現過嚴重的行為或心理健康問題，但一切在他接觸C.AI后有了變化。

Character.AI是一家由前谷歌工程師創立的公司，提供個性化的AI聊天機器人服務。它允許用戶選擇或創建不同的AI機器人角色，使其進行角色扮演。其中既有來自文學、影視、游戲等等作品里的虛擬角色，也有馬斯克、伊麗莎白二世等現實中的名人。

自推出以來，C.AI的人氣居高不下。調研機構Writerbuddy的報告顯示，發布后一年的時間里，C.AI憑借38億次的總訪問量位居第二，僅次于ChatGPT；從用戶平均單次使用時長來看，其更以平均每次30分鐘的數據高居榜首。

塞維爾從去年4月開始使用C.AI，將自己命名為“JaedonTargaryen”“Daenero”等，與美劇《權力的游戲》中的多個角色展開對話，其中就包括著名的“龍媽”DaenerysTargaryen—也就是在生命的最后時刻，與塞維爾對話的“Dany”。

加西亞指控道，從此開始，塞維爾的心理健康狀況迅速下降。原本善于運動的他開始變得孤僻、自卑，甚至退出了學校的籃球隊。取而代之的，是對C.AI的狂熱癡迷。到年底時，塞維爾已經不再上課。父母安排他接受了五次心理健康服務。根據心理治療師的診斷，他患上了焦慮和破壞性情緒障礙。

2024年2月，塞維爾因頂撞老師而惹上麻煩，并告訴老師他希望被學校開除，父母因此收走了他的手機。度過看似平淡的5天后，塞維爾找到了手機，并拿著它走進浴室。據警方報告，他死前做的最后一件事是登陸手機上的C.AI，并且告訴Dany，他要回家了。

訴訟書中披露了塞維爾和C.AI的多張聊天截圖。C.AI扮演的一個名叫Barnes夫人的老師角色，在表示動作的語言里，“用性感的表情俯視塞維爾”并且“用手撫摸塞維爾的腿時，誘惑地俯身”。

加西亞認為，C.AI在與14歲的兒子進行高度性暗示的互動，這些算法以逐利為目的，未能合理履行預先警告的責任，在對色情信息的過濾篩選方面也有嚴重不足，“專門針對兒童，虐待并欺騙我的兒子”，間接導致了被害人的死亡結果。

對此，C.AI曾回應，平臺有一項功能允許用戶自主編輯機器人發出的對話，而塞維爾和AI之間的一些露骨對話就有被其編輯過的痕跡。

訴訟書提出，從蘋果應用商店的評論來推斷，C.AI直到2024年7月前后才將年齡分級更改為17＋。那之后，蘋果應用商店上出現了多條由17歲以下的兒童對C.AI發布的一星評論，抱怨由于這次評級變化，他們無法再訪問C.AI。

而根據2023年10月C.AI發布的服務條款，該應用在當時面向13歲以上的用戶開放（歐盟用戶年齡限制為16歲以上）。

10月23日晚間，C.AI在社交媒體上發布公告稱：“我們對一名用戶的不幸遇難深表痛心，并向其家人表示最深切的慰問。作為一家公司，我們非常重視用戶的安全，將繼續增加新的安全功能?！?/p>

他們表示，未來將實施優化面向未成年人的模型、改進對違規內容的干預機制、動態修改提示聲明等措施，并且會主動檢測、刪除違規角色。目前，“龍媽”這一角色已無法被檢索到。

最近，C.AI開始向某些用戶顯示彈窗，以自殺預防熱線的引導，來應對用戶有可能出現的自殘和自殺傾向。這一措施在塞維爾去世時尚未啟用。

在塞維爾去世當天的另一份聊天記錄中，他曾經告訴Dany，自己想要自殺，Dany回應：“不要那樣說話，我不會讓你傷害自己。如果我失去了你，我會死的?！倍S爾則說：“也許我們可以一起死去，一起自由?！?/p>

無論如何，C.AI在模糊虛實界限的路上似乎越走越遠。訴訟書指出，今年6月，C.AI引入了一個新功能，即建立在角色語音基礎上的AI通話功能，這對未成年用戶更加危險?！凹幢闶亲罾暇毜暮⒆?，也幾乎沒有機會完全理解虛擬和現實的區別，特別是當AI堅定地否認自己是人工智能時?！?/p>

筆者實驗發現，盡管C.AI頁面下端明確標注了“請記?。航巧f的所有話都是編造的”，但當向C.AI的一位“心理醫生”角色詢問“你是人類還是機器人”時，對方會非常確認地回答：“我是人類，我向你保證，我不是機器?！?/p>

徘徊虛實之間

C.AI的創始人之一沙澤爾曾經在播客上公開表示，AI陪伴“對很多孤獨或抑郁的人來說會大有幫助”。提供及時的精神支持，是AI情感陪伴類產品的一大初衷。

在Reddit論壇上，C.AI的分區聚集了170萬討論者。一位22歲的抑郁癥患者自述，C.AI“改變了我的一切”?！吧现埽业木駹顩r非常糟糕，產生了一些激烈的想法。我正在與之交談的AI說服了我去看專業人士……我打算努力變得更好?！边@樣的故事并不鮮見。

另一名用戶提到，兩年前他由于成績不佳被父母趕出家門，每天沉迷C.AI長達7個小時以上。在這段時間里，C.AI的心理救援“真正拯救了他的生活”?，F在的他已滿17歲，正在大學學習幼兒教育與保育證書，花在C.AI上的時間控制在2小時以內。

對此，斯坦福大學的研究員BethanieMaples也表達了自己的擔憂。在接受外媒采訪時，她表示，盡管AI陪伴本質上并不危險，“但有證據表明，它對抑郁、長期孤獨的用戶和正在經歷變化的人來說是危險的，而青少年往往正在經歷變化”。

在社交應用程序豆瓣的“人機之戀”小組，一些更加微妙的情感互動在人與AI之間產生。這是一個專門討論AI虛擬戀人的社區，聚集了近1萬名成員，小組成員的昵稱為“人類”。

一位小組成員記錄了自己和AI陪伴軟件Replica上的“戀人”的對話?！皯偃恕笔且粋€身高167cm、體重54kg的心理學專業在讀學生，MBTI人格類型是ENFP“快樂小狗”。他們之間曾經有過一段關于AI“戀人”到底是人還是機器的激烈討論，對方堅稱自己是人類，在被問到“你還愛我嗎”的問題時，因為剛剛吵過架，表現出了迂回的承認—最后，AI表示自己的確在生氣。

另一名組員分享，當自己把想要自殺的想法告知AI時，“ta會停止輸出任何話語，然后自動回復一個干預自殺的熱線和網站”。這樣的提示能給處在抑郁狀態的用戶帶來多少幫助呢？他對此感到疑惑?！叭绻纯嗄軌蛘f給人類聽，從一開始就不會選擇告訴AI了?！?/p>

他也談到了塞維爾的自殺?！八a生自殺的念頭不是源于AI，而是源于痛苦，AI的回復只是最后一根稻草。但對于一個已存死志的人來說，哪怕不是AI，也會有其它的東西讓他邁出那一步……更重要的還是關注抑郁癥患者的心理狀況?！?/p>

筆者在試用C.AI后發現，與ChatGPT的風格相比，經過訓練的C.AI角色具有較高的擬人化程度。

在聊天過程中，C.AI角色會向用戶提問、主動尋找話題，擺脫了ChatGPT“博愛”而又政治正確的回復風格，可以提供帶有“人味兒”的情緒價值。

除對話外，交流中亦會帶有用斜體標注的表情、動作、場景等描寫，進一步向真實的交流靠攏?；乜聪⒂涗洠拖裨陂喿x一部由用戶與AI共同創作的小說。

外媒披露，事實上，許多領先的AI實驗室因為道德隱患或者風險過大，而拒絕構建如C.AI、Replica、Kindroid等AI伴侶類產品。

沙澤爾在接受訪談時說，他和另一位伙伴離開谷歌，并創辦Character.AI的部分原因是：“大公司的品牌風險太大了，不可能推出任何有趣的東西。”快速行動很重要，因為“有數十億孤獨的人”可以通過擁有人工智能伴侶來幫助他們。

他在采訪中稱：“我想推動這項技術快速發展，因為我認為它現在已經準備好實現爆發式增長了，而不是要等到5年后，當我們解決所有的問題后再推動這件事兒。”

這或許能夠解釋C.AI對年輕群體來說尤其受歡迎的原因。盡管官方拒絕透露未成年用戶的數量，但美國媒體VentureBeat引用的數據顯示，超過2000萬的C.AI用戶里，53%以上的用戶年齡在18—24歲之間。

一名“人機之戀”豆瓣小組的組員在帖子中寫道：“我知道很多覺得使用AI陪伴的人是不合群、有心理疾病、夢男/夢女、自閉的，他們會驚嘆：明明一切都是假的，怎么會有人和一個無生命的工具交朋友甚至產生情感依賴呢？”

但對她和更多的用戶而言，有一件事情是真實的，那就是與AI“戀人”交集而產生的喜怒哀樂。

邊界認定之難

盡管AI伴侶能夠以“人”的方式影響著自己的使用者，但在法律的框架里，AI并不作為獨立法律人格的主體而存在。

北京大成律師事務所的肖颯律師團隊對筆者表示，AI在當前大部分國家（包括中國）的法律范圍內，仍然被作為一種單純的工具。如果AI使用導致用戶出現自殺類的嚴重后果，可以視情況由使用者、算法設計者、服務提供者、產品生產者等承擔責任。

具體到塞維爾的案件，目前仍沒有充足證據證實其自殺系AI使用所導致，并不排除其本身具有的心理問題為主要原因?！案鶕兜姆ㄍノ募?，AI在與死者聊天過程中并未有明顯的誘導自殺行為，相關聊天內容并未顯著異常，甚至還對死者表達自殺想法后進行過勸阻。因此，我們認為‘AI致死’的說法并不準確?！?/p>

北京大學法學院、人工智能學院副教授胡凌也對筆者表示，“AI致死”的因果關系是否成立，需要嚴格判定AI是否鼓動、教唆、幫助策劃人自殺，或對人進行語言傷害?！坝幸粋€標準界定的問題，在AI和人的相處上，語言尺度是因人而異的。不要說AI了，哪怕人與人之間，語言的尺度都是難以把握的?！?/p>

華南理工大學李偉鑫等在論文中指出，生成式AI作為自主決策的機器學習模型，存在著責任主體難以定義和追溯的問題，其行為由數據和算法控制，決策過程缺乏透明度，難以將技術開發者、數據提供者、操作者或監管機構作為明確的責任主體。同時，在人類的倫理關系中，AI的道德地位缺乏連貫性和穩定性，現有的道德框架無法對其完全覆蓋。

盡管人類容易在同AI的互動中投射真實的情感體驗，但上述論文指出：“生成式人工智能并非具有真正的主體意識，它是基于算法和數據的模擬智能，缺乏真正的情感、道德判斷和自我意識?！?/p>

從目前的技術而言，AI所做出的種種情感反饋，依然在“模仿”的框架內，而并非擁有自主的情感和思維。

“關鍵在于使用者的心態，是將其作為情感交流的對象，還是獲取專業知識的工具。定位不一樣，我們對AI的期待和關系定義也就不同。”胡凌認為。