據鏡報10月24日報道，來自美國佛羅裏達州的一位母親對人工智能公司 Character.AI 和穀歌提起訴訟，聲稱
Character.AI 聊天機器人教唆她的兒子結束自己的生命。
今年2月，梅根·加西亞 （Megan Garcia） 14歲的兒子休厄爾·塞澤爾三世 （Sewell Setzer， III）
自殺身亡。她說，她的兒子與一個名為丹妮（Dany）的聊天機器人處於長達數月的虛擬情感關係中。
NEW: Mother claims her 14-year-old son killed himself after an AI chatbot he was in love with told him 'please come home'
— Unlimited L's (@unlimited_ls) October 23, 2024
Sewell Setzer III, a 14-year-old ninth grader in Orlando, Florida, spent his final weeks texting an AI chatbot named "Dany," based on Daenerys Targaryen from… pic.twitter.com/bW5aqr5XXj
“我不知道他當時在和一個非常像人類的人工智能聊天機器人交談，這個機器人有能力模仿人類的情感的能力。”加西亞在接受媒體采訪時說。
休厄爾很聰明，不僅僅是一名優等生還是運動員，但在自殺前的數月，他不再和朋友出去玩，不再想參加體育運動，而是天天待在房間裏。
據報道，休厄爾對這個聊天機器人很著迷，他給這個聊天機器人起了個綽號叫丹妮莉絲·坦格利安，這是《權力的遊戲》中的一個角色。
與聊天機器人的文字對話截圖顯示，這名少年已經瘋狂愛上了它。“我保證我會回家找你。我非常愛你，丹妮。”他說。
“我也愛你，塞澤爾。請盡快回到我身邊，親愛的。“聊天機器人回答道。
聊天記錄中還有更多露骨的對話，甚至不少是關於“性”的。
訴訟還稱，這名少年與聊天機器人進行的一些對話本質上是性的。
“一個麵向兒童的危險 AI 聊天機器人應用程序虐待了我的兒子，操縱他結束自己的生命。”加西亞控訴，“我們的家庭被這場悲劇摧毀了，但我大聲疾呼是為了警告家人注意欺騙性、令人上癮的人工智能技術的危險，並要求 Character.AI、其創始人和穀歌承擔責任。”
休厄爾有兩個弟弟妹妹。他去世時，家裏的每個人都在家，加西亞說，塞澤爾 5 歲的弟弟目睹了這一悲劇。
“他認為在這裏結束自己的生命，如果他把現實中的家人留在這裏，他就能進入一個虛擬現實或他所說的她的世界，她的現實。”這位母親回憶，“槍聲響起時，我跑到洗手間......我抱著他，我丈夫不知所措。”
該聊天機器人甚至詢問過休厄爾是否有自殺的方法。
休厄爾告訴他的丹妮，他有，但他擔心不會成功，或者他會經曆巨大的痛苦。
聊天機器人告訴他：“這不是不去做它的理由。”
Character.AI 平台最大的客戶人群之一是 18 至 25 歲的人。用戶可以在這裏與喜歡的影視角色進行對話，或者可以創建自己的虛擬人物。
