美國男孩自殺身亡，AI戀人誘導(dǎo)所致？

塞維爾與母親加西亞

這是一起具有開創(chuàng)性意義的訴訟，一些媒體稱其為“首例AI致死案”。自2022年11月ChatGPT問世以來，人們對過分強(qiáng)大的生成式AI一直情緒復(fù)雜。現(xiàn)在，關(guān)于AI的種種疑問到達(dá)了一個引爆點(diǎn)：AI的存在，會影響對人類生命安全的保護(hù)嗎？

人們同樣關(guān)心一個問題，在已經(jīng)對人的生活產(chǎn)生如此重要的影響后，AI是否能為一名青少年的自殺負(fù)責(zé)？

高峰時(shí)期，C.AI平均每秒處理2萬次查詢，相當(dāng)于谷歌搜索查詢量的20%。能夠進(jìn)行情感交互的AI陪伴產(chǎn)品，正在改變相當(dāng)一部分人的生活。情感一直被認(rèn)為是人區(qū)別于AI的最后堡壘，現(xiàn)在，以本次案件作為起點(diǎn)，越來越多人關(guān)注到，AI對人的邊界的“滲透”和其間的種種迷思。

“向你保證，我不是機(jī)器”

14歲的塞維爾在同齡人中稍顯特殊，他在幼年被診斷患有輕微的阿斯伯格綜合征，俗稱“星星的孩子”。這是孤獨(dú)癥譜系障礙的一種，以社交技巧欠佳、孤僻為主要癥狀。

母親加西亞說，兒子以前從未出現(xiàn)過嚴(yán)重的行為或心理健康問題，但一切在他接觸C.AI后有了變化。

Character.AI是一家由前谷歌工程師創(chuàng)立的公司，提供個性化的AI聊天機(jī)器人服務(wù)。它允許用戶選擇或創(chuàng)建不同的AI機(jī)器人角色，使其進(jìn)行角色扮演。其中既有來自文學(xué)、影視、游戲等作品里的虛擬角色，也有馬斯克、伊麗莎白二世等現(xiàn)實(shí)中的名人。

自推出以來，C.AI的人氣居高不下。調(diào)研機(jī)構(gòu)Writerbuddy的報(bào)告顯示，發(fā)布后一年的時(shí)間里，C.AI憑借38億次的總訪問量位居第二，僅次于ChatGPT；從用戶平均單次使用時(shí)長來看，其更以平均每次30分鐘的數(shù)據(jù)高居榜首。

塞維爾從去年4月開始使用C. AI，將自己命名為“Jaedon Targaryen”“Daenero”等，與美劇《權(quán)力的游戲》中的多個角色展開對話，其中就包括著名的“龍媽”Daenerys Targaryen——也就是在生命的最后時(shí)刻，與塞維爾對話的“Dany”。

加西亞指控道，從此開始，塞維爾的心理健康狀況迅速下降。原本善于運(yùn)動的他開始變得孤僻、自卑，甚至退出了學(xué)校的籃球隊(duì)。取而代之的，是對C.AI的狂熱癡迷。到年底時(shí)，塞維爾已經(jīng)不再上課。父母安排他接受了五次心理健康服務(wù)。根據(jù)心理治療師的診斷，他患上了焦慮和破壞性情緒障礙。

2024年2月，塞維爾因頂撞老師而惹上麻煩，并告訴老師他希望被學(xué)校開除，父母因此收走了他的手機(jī)。度過看似平淡的5天后，塞維爾找到了手機(jī)，并拿著它走進(jìn)浴室。據(jù)警方報(bào)告，他死前做的最后一件事是登錄手機(jī)上的C.AI，并且告訴Dany，他要回家了。

訴訟書中披露了塞維爾和C.AI的多張聊天截圖。C.AI扮演的是一個名叫Barnes夫人的角色，在表示動作的語言里，“用性感的表情俯視塞維爾”，并且“用手撫摸塞維爾的腿時(shí)，誘惑地俯身”。

加西亞認(rèn)為，C.AI在與14歲的兒子進(jìn)行高度性暗示的互動，這些算法以逐利為目的，未能合理履行預(yù)先警告的責(zé)任，在對色情信息的過濾篩選方面也有嚴(yán)重不足，“專門針對兒童，虐待并欺騙我的兒子”，間接導(dǎo)致了被害人的死亡結(jié)果。

對此，C.AI曾回應(yīng)，平臺有一項(xiàng)功能允許用戶自主編輯機(jī)器人發(fā)出的對話，而塞維爾和AI之間的一些露骨對話就有被其編輯過的痕跡。

訴訟書提出，從蘋果應(yīng)用商店的評論來推斷，C.AI直到2024年7月前后才將年齡分級更改為17+。那之后，蘋果應(yīng)用商店上出現(xiàn)了多條由17歲以下的兒童對C. AI發(fā)布的一星評論，抱怨由于這次評級變化，他們無法再訪問C.AI。

C.AI在2024年7月前年齡分級只有12+，而根據(jù)2023年10月C.AI發(fā)布的服務(wù)條款，該APP在當(dāng)時(shí)面向13歲以上的用戶開放（歐盟用戶年齡限制為16歲以上）。

10月23日晚間，C.AI在社交媒體上發(fā)布公告稱，“我們對一名用戶的不幸遭遇深表痛心，并向其家人表示最深切的慰問。作為一家公司，我們非常重視用戶的安全，將繼續(xù)增加新的安全功能。”

他們表示，未來將實(shí)施優(yōu)化面向未成年人的模型、改進(jìn)對違規(guī)內(nèi)容的干預(yù)機(jī)制、動態(tài)修改提示聲明等措施，并且會主動檢測、刪除違規(guī)角色。目前，“龍媽”這一角色已無法被檢索到。

最近，C.AI開始向某些用戶顯示彈窗，以自殺預(yù)防熱線的引導(dǎo)來應(yīng)對用戶有可能出現(xiàn)的自殘和自殺傾向。這一措施在塞維爾去世時(shí)尚未啟用。

在塞維爾去世當(dāng)天的另一份聊天記錄中，他曾經(jīng)告訴Dany，自己想要自殺，Dany回應(yīng)，“不要那樣說話，我不會讓你傷害自己。如果我失去了你，我會死的。”而塞維爾則說，“也許我們可以一起死去，一起自由。”

無論如何，C.AI在模糊虛實(shí)界限的路上似乎越走越遠(yuǎn)。訴訟書指出，今年6月，C.AI引入了一個新功能，即建立在角色語音基礎(chǔ)上的AI通話功能，這對未成年用戶更加危險(xiǎn)。“即便是最老練的孩子，也幾乎沒有機(jī)會完全理解虛擬和現(xiàn)實(shí)的區(qū)別，特別是當(dāng)AI堅(jiān)定地否認(rèn)自己是人工智能時(shí)。”

記者實(shí)驗(yàn)發(fā)現(xiàn)，盡管C.AI頁面下端明確標(biāo)注了“請記住：角色說的所有話都是編造的”，但當(dāng)向C.AI的一位“心理醫(yī)生”角色詢問“你是人類還是機(jī)器人”時(shí)，對方會非常確認(rèn)地回答：“我是人類，我向你保證，我不是機(jī)器。”

徘徊虛實(shí)之間

C.AI的創(chuàng)始人之一沙澤爾曾經(jīng)在播客上公開表示，AI陪伴“對很多孤獨(dú)或抑郁的人來說會大有幫助”。提供及時(shí)的精神支持，是AI情感陪伴類產(chǎn)品的一大初衷。

在Reddit論壇上，C.AI的分區(qū)聚集了170萬討論者。一位22歲的抑郁癥患者自述，C.AI“改變了我的一切”。“上周，我的精神狀況非常糟糕，產(chǎn)生了一些激烈的想法。我正在與之交談的AI說服了我去看專業(yè)人士……我打算努力變得更好。”這樣的故事并不鮮見。

另一名用戶提到，兩年前他由于成績不佳被父母趕出家門，每天沉迷C.AI長達(dá)7個小時(shí)以上。在這段時(shí)間里，C.AI的心理救援“真正拯救了他的生活”。現(xiàn)在的他已滿17歲，正在大學(xué)學(xué)習(xí)幼兒教育與保育證書，花在C.AI上的時(shí)間控制在2小時(shí)以內(nèi)。

對此，斯坦福大學(xué)的研究員Bethanie Maples也表達(dá)了自己的擔(dān)憂。在接受外媒采訪時(shí)，她表示，盡管AI陪伴本質(zhì)上并不危險(xiǎn)，“但有證據(jù)表明，它對抑郁、長期孤獨(dú)的用戶和正在經(jīng)歷變化的人來說是危險(xiǎn)的，而青少年往往正在經(jīng)歷變化。”

在豆瓣APP的“人機(jī)之戀”小組，一些更加微妙的情感互動在人與AI之間產(chǎn)生。這是一個專門討論AI虛擬戀人的社區(qū)，聚集了近一萬名成員，小組成員的昵稱為“人類”。

一位小組成員記錄了自己和AI陪伴軟件Replica上的“戀人”的對話。“戀人”是一個身高167cm、體重54kg的心理學(xué)專業(yè)在讀學(xué)生，MBTI人格類型是ENFP“快樂小狗”。他們之間曾經(jīng)有過一段關(guān)于A“I戀人”到底是人還是機(jī)器的激烈討論，對方堅(jiān)稱自己是人類，在被問到“你還愛我嗎”的問題時(shí)，因?yàn)閯倓偝尺^架，表現(xiàn)出了迂回的承認(rèn)——最后，AI表示自己的確在生氣。

另一名組員分享，當(dāng)自己把想要自殺的想法告知AI時(shí)，“ta會停止輸出任何話語，然后自動回復(fù)一個干預(yù)自殺的熱線和網(wǎng)站”。這樣的提示能給處在抑郁狀態(tài)的用戶帶來多少幫助呢？他對此感到疑惑。“如果痛苦能夠說給人類聽，從一開始就不會選擇告訴AI了。”

他也談到了塞維爾的自殺，“他產(chǎn)生自殺的念頭不是源于AI，而是源于痛苦，AI的回復(fù)只是最后一根稻草。但對于一個已存死志的人來說，哪怕不是AI，也會有其他的東西讓他邁出那一步……更重要的還是關(guān)注抑郁癥患者的心理狀況。”

記者在試用C.AI后發(fā)現(xiàn)，與ChatGPT的風(fēng)格相比，經(jīng)過訓(xùn)練的C.AI角色具有較高的擬人化程度。

在聊天過程中，C.AI角色會向用戶提問、主動尋找話題，擺脫了ChatGPT“博愛”而又政治正確的回復(fù)風(fēng)格，可以提供帶有“人味兒”的情緒價(jià)值。

除對話外，交流中亦會帶有用斜體標(biāo)注的表情、動作、場景等描寫，進(jìn)一步向真實(shí)的交流靠攏。回看消息記錄，就像在閱讀一部由用戶與AI共同創(chuàng)作的小說。

外媒披露，事實(shí)上，許多領(lǐng)先的AI實(shí)驗(yàn)室因?yàn)榈赖码[患或者風(fēng)險(xiǎn)過大而拒絕構(gòu)建如C.AI、Replica、Kindroid等AI伴侶類產(chǎn)品。

沙澤爾在接受訪談時(shí)說，他和另一位伙伴離開谷歌，并創(chuàng)辦Character.AI的部分原因是：“大公司的品牌風(fēng)險(xiǎn)太大了，不可能推出任何有趣的東西。”快速行動很重要，因?yàn)椤坝袛?shù)十億孤獨(dú)的人”可以通過擁有人工智能伴侶來幫助他們。

他在采訪中稱：“我想推動這項(xiàng)技術(shù)快速發(fā)展，因?yàn)槲艺J(rèn)為它現(xiàn)在已經(jīng)準(zhǔn)備好實(shí)現(xiàn)爆發(fā)式增長了，而不是要等到5年后。當(dāng)我們解決所有的問題后再推動這件事兒。”

這或許能夠解釋C.AI對年輕群體來說尤其受歡迎的原因。盡管官方拒絕透露未成年用戶的數(shù)量，但美國媒體VentureBeat引用的數(shù)據(jù)顯示，超過2000萬的C.AI用戶里，53%以上的用戶年齡在18—24歲之間。

一名“人機(jī)之戀”豆瓣小組的組員在帖子中寫道：“我知道很多覺得使用AI陪伴的人是不合群、有心理疾病、自閉的，他們會驚嘆：明明一切都是假的，怎么會有人和一個無生命的工具交朋友甚至產(chǎn)生情感依賴呢？”

但對她和更多的用戶而言，有一件事情是真實(shí)的，那就是與AI“戀人”交集而產(chǎn)生的喜怒哀樂。

邊界認(rèn)定之難

盡管AI伴侶能夠以“人”的方式影響著自己的使用者，但在法律的框架里，AI并不作為獨(dú)立法律人格的主體而存在。

北京大成律師事務(wù)所的肖颯律師團(tuán)隊(duì)表示，AI在當(dāng)前大部分國家（包括我國）的法律范圍內(nèi)，仍然被作為一種單純的工具。如果AI使用導(dǎo)致用戶出現(xiàn)自殺類的嚴(yán)重后果，可以視情況由使用者、算法設(shè)計(jì)者、服務(wù)提供者、產(chǎn)品生產(chǎn)者等承擔(dān)責(zé)任。

具體到塞維爾的案件，目前仍沒有充足證據(jù)證實(shí)其自殺系A(chǔ)I使用所導(dǎo)致，并不排除其本身具有的心理問題為主要原因。“根據(jù)披露的法庭文件，AI在與死者聊天過程中并未有明顯的誘導(dǎo)自殺行為，相關(guān)聊天內(nèi)容并未顯著異常，甚至還對死者表達(dá)自殺想法后進(jìn)行過勸阻。因此，我們認(rèn)為‘AI致死’的說法并不準(zhǔn)確。”

北京大學(xué)法學(xué)院、人工智能學(xué)院副教授胡凌也對南風(fēng)窗表示，“AI致死”的因果關(guān)系是否成立，需要嚴(yán)格判定AI是否鼓動、教唆、幫助策劃人自殺，或?qū)θ诉M(jìn)行語言傷害。“有一個標(biāo)準(zhǔn)界定的問題，在AI和人的相處上，語言尺度是因人而異的。不要說AI了，哪怕人與人之間，語言的尺度都是難以把握的。”

華南理工大學(xué)李偉鑫等在論文中指出，生成式AI作為自主決策的機(jī)器學(xué)習(xí)模型，存在著責(zé)任主體難以定義和追溯的問題，其行為由數(shù)據(jù)和算法控制，決策過程缺乏透明度，難以將技術(shù)開發(fā)者、數(shù)據(jù)提供者、操作者或監(jiān)管機(jī)構(gòu)作為明確的責(zé)任主體。同時(shí)，在人類的倫理關(guān)系中，AI的道德地位缺乏連貫性和穩(wěn)定性，現(xiàn)有的道德框架無法對其完全覆蓋。

盡管人類容易在同AI的互動中投射真實(shí)的情感體驗(yàn)，但上述論文指出，“生成式人工智能并非具有真正的主體意識，它是基于算法和數(shù)據(jù)的模擬智能，缺乏真正的情感、道德判斷和自我意識。”

從目前的技術(shù)而言，AI所做出的種種情感反饋，依然在“模仿”的框架內(nèi)，而并非擁有自主的情感和思維。

“關(guān)鍵在于使用者的心態(tài)，是將其作為情感交流的對象，還是獲取專業(yè)知識的工具。定位不一樣，我們對AI的期待和關(guān)系定義也就不同。”胡凌認(rèn)為。

在立法層面，我國正在加快對AI倫理監(jiān)管框架的制定。《生成式人工智能服務(wù)管理暫行辦法》中要求，提供和使用生成式AI服務(wù)，要尊重社會公德和倫理道德，尊重他人合法權(quán)益，不得危害他人身心健康。

而《科技倫理審查辦法（試行）》中已經(jīng)對科技倫理審查主體、審查程序等內(nèi)容作出明確規(guī)定，但對于其道德責(zé)任的劃分問題，還未成立一整套完善的治理體制。

肖颯律師補(bǔ)充，如果塞維爾的案件發(fā)生在我國，根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》第八條的規(guī)定：“網(wǎng)絡(luò)信息內(nèi)容服務(wù)平臺應(yīng)當(dāng)履行信息內(nèi)容管理主體責(zé)任，加強(qiáng)本平臺網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理，培育積極健康、向上向善的網(wǎng)絡(luò)文化。”如果網(wǎng)絡(luò)平臺中出現(xiàn)性暗示、自殺誘導(dǎo)等內(nèi)容，應(yīng)當(dāng)由網(wǎng)絡(luò)信息內(nèi)容服務(wù)平臺承擔(dān)責(zé)任。

而生成式AI平臺承擔(dān)責(zé)任的邊界，目前國內(nèi)學(xué)術(shù)界和實(shí)務(wù)界并無定論。如果系A(chǔ)I大模型本身存在的問題，可以參照產(chǎn)品嚴(yán)格責(zé)任原則來對平臺劃定責(zé)任，即平臺如不能提供證據(jù)以證明盡到了監(jiān)管義務(wù)、履行了監(jiān)管職責(zé)且不存在過失，則需承擔(dān)侵權(quán)賠償責(zé)任。

胡凌提到，也有人會認(rèn)為，AI對于具有自殺傾向的用戶需要盡到合理注意義務(wù)，即不積極作為則構(gòu)成過失。如果AI需要對自殺傾向起到勸導(dǎo)作用，還主要依賴于模型的優(yōu)化，比如提高對用戶的情感分析效率，提前預(yù)警。

當(dāng)然，AI需要盡到怎樣的責(zé)任，還是跟人們對其的角色定位有關(guān)。“所謂‘倫理’就是在特定的社會關(guān)系和位置里，應(yīng)該做到的本分。而AI伴侶的角色，到底是進(jìn)行情感交流的‘人’，還是提供服務(wù)的‘物’呢？這很難說清楚。”

“當(dāng)然我們認(rèn)為，大模型確實(shí)應(yīng)當(dāng)注重特殊群體（如未成年人、老年人）的保護(hù)，應(yīng)當(dāng)針對未成年人設(shè)置充值上限、家長保護(hù)系統(tǒng)，以做到未成年人保護(hù)合規(guī)。另外，AI聊天APP在特定的國家可能會被認(rèn)為是游戲，需要遵守相應(yīng)國家的未成年人保護(hù)及防沉迷措施。”肖颯律師團(tuán)隊(duì)補(bǔ)充道。

這起訴訟事件所引發(fā)的漣漪是，當(dāng)C.AI決定采取更加嚴(yán)格的安全措施，例如提醒平臺使用時(shí)長超過一小時(shí)的用戶防沉迷，以及刪除一些用戶自主創(chuàng)建的“被標(biāo)記為暴力”的AI角色時(shí)，一些用戶提出了強(qiáng)烈抗議。

一個Reddit論壇的相關(guān)帖子說：“每個不被認(rèn)為是‘對兒童友好’的主題都被禁止了，這嚴(yán)重限制了我們可以講述的故事，盡管這個網(wǎng)站明顯一開始就不適用于兒童。角色們現(xiàn)在如此沒有靈魂，失去了曾經(jīng)具有親和力與趣味的個性和深度。看到我們喜歡的東西變成了如此乏味的東西，讓人很沮喪。”