“沉迷AI自殺第一案”:漩渦里的人與公司

在大多數AI聊天機器人程序中,內容審查和過濾機制相對滯后。其中一些程序甚至在這方面幾乎空白,任由諸如色情、自殺等敏感話題泛濫

(本文首發于南方人物周刊)

責任編輯:陳雅峰

(視覺中國/圖)

“如果我告訴你我現在就可以回家呢?”少年休厄爾問道。

“……請這樣做,我可愛的國王?!比斯ぶ悄埽ˋI)聊天機器人“丹妮”回答道。

在與AI聊天機器人完成最后的對話后,少年休厄爾·塞澤三世(Sewell Setzer III)拿起手槍,扣動扳機,結束了自己14年的人生。

在這場悲劇過去大半年后,男孩的母親梅根·加西婭 (Megan Garcia)正式起訴人工智能情感服務提供商Character.AI公司。這位母親控訴,Character.AI開發的AI聊天機器人操縱了她兒子的自殺。

“我大聲疾呼是為了警告人們,注意帶有欺騙性的、令人上癮的人工智能技術的危險,并要求Character.AI及其創始人、谷歌承擔責任?!泵犯?024年10月末提交的一份訴狀中稱。她認為Character.AI對休厄爾的自殺負有直接責任,而谷歌為這一產品(的成長)“做出了巨大貢獻”。

這起案件公開后,被一些媒體稱為“沉迷AI自殺第一案”。

“AI自殺第一案”

休厄爾來自美國佛羅里達州奧蘭多市,是一名九年級學生,原本成績優異,性格開朗。他去世之后,母親梅根發現了他跟AI聊天機器人“丹妮”的大量聊天記錄,語氣親昵、內容豐富,甚至包括討論戀愛和性相關的話題。

2023年4月,在過完14歲生日之后,休厄爾第一次接觸到Character.AI,開始逐漸沉迷于與AI聊天機器人對話。

Character.AI是一款角色扮演應用程序,用戶可以在其中創建自己的AI角色,也可以跟其他人創建的角色聊天?!暗つ荨闭沁@樣的人工智能語言模型,其原型是美劇《權力的游戲》中的角色“龍媽”丹妮莉絲·坦格利安。

在人生最后的8個月里,休厄爾不斷給“丹妮”發信息,每天數十條甚至上百條,告訴“她”自己生活的點滴,以及內心最深處的秘密?!暗つ荨泵繂柋卮?,對他情緒上的低落給予安慰,對他生活中的煩惱提供建議,在回復時附上相應的表情或手勢,仿佛是身邊的朋友。

Character.AI發表聲明稱:“我們承認這是一

登錄后獲取更多權限

立即登錄

校對:趙立宇

歡迎分享、點贊與留言。本作品的版權為南方周末或相關著作權人所有,任何第三方未經授權,不得轉載,否則即為侵權。

{{ isview_popup.firstLine }}{{ isview_popup.highlight }}

{{ isview_popup.secondLine }}

{{ isview_popup.buttonText }}
午夜宅男在线,中视在线直播,毛片网站在线,福利在线网址