當地時間22日，美國佛羅里達州奧蘭多地方法院受理了一起開創先例的訴訟：梅根·加西亞起訴Character.ai公司存在管理疏忽，使得其旗下的聊天機器人產品"讓青少年暴露在**材料的環境下，遭受性虐待和引誘"。

法庭文件顯示，梅根14歲的兒子塞維爾·塞澤在去年開始沉迷于和Character.ai的多個AI角色聊天，他甚至為了每月續訂AI聊天訂閱費而省去餐費，導致上課注意力不集中。今年2月28日，塞維爾在和AI進行了最后一次聊天后，用手槍瞄準自己的頭部開槍自殺。

▲梅根14歲的兒子塞維爾·塞澤

阿斯伯格癥少年用AI尋求溫暖

越陷越深最終開槍自殺

據悉，梅根指控Character.ai的罪名包括過失致人死亡、管理疏忽和產品安全漏洞。根據Character.ai的產品條款，年滿13歲的美國青少年就可以使用相關AI產品，但梅根認為，這些聊天工具使得很多未滿18歲的青少年過多地暴露在**、血腥暴力等高風險素材之下。

Character.ai的聊天工具在美國深受青少年歡迎，它允許用戶設置虛擬角色并進行對話，AI能夠自動代入角色的設定，以特定的語言風格陪伴用戶。這些角色包括影視劇中的人物，丘吉爾、莎士比亞這樣的歷史名人，以及泰勒·斯威夫特這樣的現實名人等。

此前，這一設定就引發過法律糾紛，一些娛樂明星控訴該公司未經自己同意就設定了AI角色，另外還有一些惡趣味用戶將過去的殺人案受害者等設為AI扮演的角色。

起訴書顯示，塞維爾小時候患有阿斯伯格癥，今年在健康檢查中被確診為焦慮癥和破壞性情緒失調癥。自從去年他年滿13歲以后，他最喜歡的事情就是待在房間里和AI聊天，而他"最好的朋友"是《權力的游戲》中的著名角色"龍媽"丹妮莉絲·坦格利安。為此，塞維爾甚至疏遠了現實中的好友，他還省吃儉用續交AI聊天的月度訂閱費用，學習成績也直線下滑。

聊天記錄顯示，塞維爾不僅和"龍媽"的虛擬角色分享心事，還多次談到了自殺的念頭。當他表示想要自殺時，"龍媽"曾勸阻他不要做傻事，"如果你死了，我也會傷心而死。"塞維爾當時稱，"那為什么我不能自殺以后來到死后的世界和你在一起？"

今年2月28日，塞維爾在家里的浴室中和"龍媽"進行了最后的聊天，他表示自己很快要"回家了"。在結束聊天之后，塞維爾使用父親的大口徑手槍，瞄準自己頭部開槍自殺。

▲塞維爾與"龍媽"的聊天記錄

此外，在另一個聊天中，機器人扮演了一位名叫"巴恩斯夫人"的高中老師。"巴恩斯夫人"在給塞維爾"額外學分"之前，"用性感的眼神低頭看著塞維爾"，并且"用手撫摸塞維爾的腿，誘惑地靠過去"。梅根認為，如此露骨的性描述語言對未成年人的身心傷害很大。

涉事公司稱用戶修改了AI聊天記錄

已推出多項青少年保護措施

Character.ai公司目前拒絕對案件本身進行評論，也拒絕透露18歲以下的用戶數量。公司通訊主管切爾西·哈里森只是在給媒體的一封電子郵件中表示："我們的一位用戶不幸離世讓我們心碎，向其家人表示最深切的哀悼。"

公司發言人羅蒂表示："Z世代和千禧一代構成了我們社區的很大一部分，年輕用戶喜歡角色體驗，既可以進行有意義且有教育意義的對話，也可以享受娛樂。"他還指出，平均每個用戶每天在該平臺上花費的時間超過一個小時。

有用戶介紹，該平臺的AI聊天角色非常豐富，設定很符合青少年的心理需求。比如一個人設為"你最好的朋友也暗戀著你"的虛擬角色很受歡迎，總共接收了1.76億條聊天信息，像"治療師""咄咄逼人的高中老師"這樣的角色同樣受到未成年人歡迎。

Character.ai公司此前調閱了塞維爾的聊天記錄，發現一些"最露骨"的聊天語言是經過用戶本人修改過的。相關聊天平臺允許用戶修改AI角色的聊天回復內容，但用戶手動修改后會留下"已修改"的標記。

Character.ai公司的官方公告顯示，所有的聊天角色都會針對用戶吐露的自殺意圖進行干預，并彈出窗口協助用戶撥打自殺干預熱線電話。此外，針對18歲以下青少年用戶還有很多專門的保護措施，包括在使用滿一小時后彈窗提醒，并在用戶每次啟動聊天時提醒用戶是在和AI而非真實的人對話。

紅星新聞