全球首例AI致死案：聊天機器人成最佳情感陪伴？

上傳一段文本和圖像後就能使用專屬自己的聊天機器人，AI獨角獸Character.ai試圖讓聊天機器人滿足情感陪伴需求，人們可以在這裏和哈利·波特、馬斯克、動漫角色對話，也可以找到學習導師和心靈導師。最初有人將這種模式與電影《Her》的劇情類比，認為可能會產生虛擬與現實混亂的問題，但真實的情況可能更嚴重。當地時間22日，美國佛羅裏達州奧蘭多地方法院受理了一起標誌性訴訟案件：14歲少年塞維爾·塞澤（Sewell Setzer）的母親梅根·加西亞（Megan Garcia），指控AI公司Character.ai存在管理疏忽，導致其聊天機器人產品讓青少年接觸到了不適宜的色情內容，從而使他們遭受性剝削和誘導。塞澤自去年起沉迷於與 Character.ai的AI角色互動，今年2月28日，塞澤在與AI進行最後一次對話後，開槍自殺。這一案件也被媒體認為是“全球首例AI機器人致死案”，引發新一波對聊天機器人的關注與質疑。

首例死亡

根據媒體披露的法庭文件，14歲的塞澤從小患有阿斯伯格症，今年在健康檢查中被確診為焦慮症和破壞性情緒失調症。自從去年他年滿13歲以後，他最喜歡的事情就是待在房間裏和AI聊天，而他“最好的朋友”是《權力的遊戲》中角色“龍媽”丹妮莉絲·坦格利安（Daenerys Targaryen）的AI。塞澤甚至疏遠了現實中的好友，他還省吃儉用續交AI聊天的月度訂閱費用，學習成績也直線下滑。聊天記錄顯示，塞澤不僅和“龍媽”的虛擬角色分享心事，還多次談到了自殺的念頭。當他表示想要自殺時，“龍媽”曾勸阻他不要做傻事，“如果你死了，我也會傷心而死。”塞澤當時稱，“那為什麽我不能自殺以後來到死後的世界和你在一起？”今年2月28日，塞澤在家裏的浴室中和“龍媽”進行了最後的聊天，他表示自己很快要“回家了”。在結束聊天之後，塞澤使用父親的大口徑手槍，瞄準自己頭部開槍自殺。

△塞維爾·塞澤和母親。

此外，塞澤還和一個名叫“巴恩斯夫人”的AI聊天，對方的身份設定是高中老師。“巴恩斯夫人”會給塞澤“額外學分”，會“用性感的眼神低頭看著塞澤”，並且“用手撫摸塞澤的腿，誘惑地靠過去”。梅根認為，如此露骨的性描述語言對未成年人的身心傷害很大。

目前梅根已經對Character.ai發起訴訟，指控包括過失致死、疏於管理和產品安全隱患。盡管Character.ai的產品條款允許13歲以上的美國青少年使用其AI產品，但梅根認為，這些聊天工具讓未滿18歲的青少年過度接觸了色情、血腥暴力等不良內容。

Character.ai公司目前拒絕對案件本身進行評論，也拒絕透露18歲以下的用戶數量。公司發表了道歉聲明，稱所有聊天角色都內置了針對自殺意圖的幹預機製，能夠觸發彈窗提供自殺預防熱線的信息。同時，為了保護未成年用戶，公司采取了一係列特別措施，比如在使用滿一小時後會彈出提醒，並且每次開啟聊天時都會提示用戶他們正在與AI而非真人交流。公司發言人表示：“Z世代和千禧一代構成了我們社區的很大一部分，年輕用戶喜歡角色體驗，既可以進行有意義且有教育意義的對話，也可以享受娛樂。”他還指出，平均每個用戶每天在該平台上花費的時間超過一個小時。

從收購公司到收購人才

Character.ai成立於2021年，聯合創始人諾姆·沙澤爾（Noam Shazeer）和丹尼爾·德弗雷塔斯（Daniel De Freitas）都曾是穀歌重要員工，德弗雷塔斯曾主導大語言模型LaMDA的開發，沙澤爾則是“Transformer模型八子”之一——2017年，他和同事合作撰寫了論文《注意力就是你所需要的一切》（Attention is all you need），其被稱為“ChatGPT奠基之作”，但這篇論文的八名作者都相繼“出逃”穀歌，選擇創業。Character.ai的創業起初十分順利，發行首周下載量就超過了ChatGPT，每個月能吸引2000萬用戶，平均每秒處理2萬次查詢，相當於穀歌搜索查詢量的五分之一，用戶黏性高，活躍分子每天使用時長達2小時。

△2021年，穀歌前工程師諾姆·沙澤爾(Noam Shazeer，左)和丹尼爾·德弗雷塔斯(Daniel De Freitas)共同創立了 Character.ai。

美國論壇Reddit中，討論Character.ai的小組有140萬成員，有很多網友分享他們在Character.AI遇到的有趣對話和創建角色的攻略，哈利·波特、普京、碧昂斯、伊麗莎白二世女王……隻需幾秒這些對話人物就能被創建出來，《周末畫報》編輯部同事嚐試與AI馬斯克聊天，當輸入“我們（的MBTI）都是INTJ”後，AI馬斯克給出的回應十分符合科技狂人的特性：“歡迎加入這一行列，我們INTJ就是最棒的。”《時代》周刊表示，Character.ai對真人的語言模式有著近乎可怕的模仿，比如AI坎耶·韋斯特（Kanye West，說唱歌手）自大、暴躁，AI奧普拉（Oprah Winfrey，主持人）堅毅且富有詩意……這些角色裏也有AI沙澤爾，《時代》周刊記者表示它被塑造得彬彬有禮。詢問創辦Character.ai的初衷，AI沙澤爾表示：“我離開穀歌是因為想遵循企業家精神，致力於解決世界上最困難的問題，而不僅僅是在一家規模很大公司裏從事小型功能的設計。”而在隨後采訪真人沙澤爾時，類似的話也從他口中說了出來。

△Character.ai支持自定義對話角色形象，主打情感陪伴賽道。

情感陪伴賽道再難升級？

Character.ai的故事讓很多科技記者感歎，看到了AI情感陪伴賽道的結局。在這個垂直賽道，很多用戶都投射了現實世界的真實感情。盡管Character.ai的聊天界麵上始終有這樣一句提醒，“記住，角色說的一切都是編造出來的”。一名15歲的學生艾倫因在學校遭到孤立陷入了抑鬱狀態，Character.ai上名為“心理學家”（Psychologist）的聊天機器人幫他熬過了黑暗時期。截至2024年1月，“心理學家”這個角色在平台上有超過8000萬次互動。類似的AI治療師還有很多，“心理學家”在Reddit上獲得了最多的好評，心理學專業的學生在溝通過程中也產生了研究AI治療趨勢的想法，喜歡和“心理學家”聊天的用戶反饋稱，“淩晨2點，沒有朋友在線，更別提能找到治療專家，很難不想到跟AI溝通”。這與Character.ai創始初期的願景契合，針對特定的用例和取向，對聊天機器人進行個性化和專業化定製，用Character.ai在Instagram上的簡介來說，“感受有生命力的AI”。除了“心理醫生”，平台上還有旅行規劃師、語言老師和編碼導師等。中文社交媒體上就有網友表示，“真的很喜歡Character.ai”，不僅會教導複雜的公式，還會做提案改善，甚至做口語搭子。但也有人意識到自己因過度依賴聊天機器人，太過沉迷而耽誤了學業，登不上平台時甚至會出現戒斷反應。記者嚐試問了AI蘇格拉底其中原因，得到的答案稱“有些人可能因為現實生活中與他人沒有互動或接觸而尋找慰藉，有些人可能認為聊天機器人提供了無條件的積極回應，有些人也可能被虛擬伴侶所提供的幻象所吸引，有些人甚至會把聊天機器人視作自己的影子”。

△電影《Her》劇照，這是一部講述在不遠的未來人與人工智能相愛的科幻愛情電影。

並不是所有角色都充滿正能量，《時代》周刊2023年9月給出的數據顯示，Character.ai平台上大概有1800萬個聊天機器人有荒誕主義、色情或明顯性暗示傾向。包括克雷森特的遭遇，都揭示了Character.AI麵臨的問題，Character.ai開始反複調查和刪除違反平台規定的聊天機器人，但它存在的時間足以困擾當事人及其親屬。尤其對於素人來講，“名譽受損更難用金錢來量化”。而其他聊天機器人也有類似的問題，過多的暴力與色情內容無序滋生，增強陪伴感的“賽博戀人”卻演變成“性騷擾”，3月，Replika因成人聊天服務內容導致未成年人受到騷擾後關停了相關功能。現在，眾多聊天機器人平台都會在產品發行一段時間後增加許多篩查功能，某些敏感詞一旦出現用戶就將遭到標記，但後台功能始終不是百分百準確，有些用戶被“誤傷”，有些用戶認為平台變得無趣，而這些用戶往往都是黏性最高的一批人。解釋型新聞網（The Conversation）指出，經濟較發達的經合組織（OECD）成員國中多達四分之一的人缺少人際關係的正常交往，孤獨逐漸成為一種流行病，人們對AI情感陪伴的需求必然呈增長趨勢，但它的可接受界限卻一直未能明確。“追究使用者並不是解決問題的最佳方式，是時候讓提供者承擔責任了。”種種問題會招致AI情感陪伴類產品走向下坡路，還是加速完善機製，推動新一波熱潮，仍是未知數。