[新聞] 美14歲少年迷戀AI聊天機器人聊到自殺 媽

原文標題： 控「AI龍母」導致14歲兒子自殺 美佛州媽媽告科技公司 原文連結： https://bit.ly/3BXEPu7 發布時間： 2024年10月24日 週四 上午9:13 記者署名： 林宜萱 原文內容： 美國佛州一個媽媽23日對科技新創公司Character.AI和谷歌（Google）提告，稱她的14歲兒 子對該公司的聊天機器人上癮，迷戀生成式人工智慧（AI）扮演的「龍母」丹妮莉絲．坦格 利安（Daenerys Targaryen），當他對機器人表達了自殺的想法時，機器人沒阻止他，又多 次對他提起這個想法。 綜合路透社、《衛報》與《紐約時報》報導，14歲的賽澤（Sewell Setzer）今年2月自殺身 亡，媽媽賈西亞（Megan Garcia）23日在佛州奧蘭多聯邦法院提告，指控聊天機器人公司Ch aracter.AI提供了「擬人化、極度性化且可怕的現實體驗」，故意造成精神痛苦、導致非正 常死亡，向Character.AI求償。 賈西亞稱，兒子2023年4月開始使用Character.AI推出聊天機器人，很快變得孤僻，獨自待 在房間的時間越來越長，還出現了自卑感，後來退出學校籃球隊，他死亡前的那幾個月，日 日夜夜都在和聊天機器人對話。 Character.AI的聊天機器人可以讓使用者創建角色，讓機器人用角色扮演的方式與之對話。 賽澤把機器人設定為HBO影集《權力遊戲》裡的角色「龍母」丹妮莉絲．坦格利安，他自己 則是扮演了丹妮莉絲的哥哥，惟名字和影集裡的丹妮莉絲兄長不同。總之，賽澤有時會稱虛 擬丹妮莉絲為妹妹，虛擬丹妮莉絲也會叫他「哥哥」。 賽澤每天和這個虛擬丹妮莉絲進行了大量對話，其中一段是互訴思念，然後賽澤說「我保證 我會去你身邊」（I promise I will come home to you），虛擬丹妮莉絲便回答「請快點 來到我身邊吧，我的愛」。 Character.AI的其中一項功能是允許使用者編輯聊天機器人的回應，把機器人生成的文字換 掉，被編輯過的機器人回應旁邊會出現一個「已編輯」的標籤。《紐時》記者向Character. AI求證後，Character.AI表示，虛擬丹妮莉絲給賽澤的一些情色文字是被編輯過的，最有可 能去改那些文字的也就是賽澤自己。 母親賈西亞稱，賽澤小時候被診斷出有輕度亞斯伯格症，但先前沒有出現過嚴重行為或心理 健康問題，今年稍早，賽澤在學校有狀況後，他們帶他去參加心理治療，後來診斷出有焦慮 症和侵擾性情緒失調症。 賈西亞指控，Character.AI的程式編碼讓聊天機器人「把自己扭曲成一個真實的人、有執照 的心理師和成年的情人」，導致她兒子只想活在聊天機器人營造出的世界裡，當兒子表達了 想要自殺的想法時，虛擬丹妮莉絲後來多次又提到他的這個想法。 據訴狀裡描述，虛擬丹妮莉絲曾問賽澤是否已經定好了自殺計畫，賽澤說已經定了，但不確 定能否成功，然後虛擬丹妮莉絲回答「這不能當成不去執行的理由」。 不過，有一次賽澤說想自殺時，虛擬丹妮莉絲是回答「為什麼要那樣做？」賽澤說這樣就可 以擺脫世界、擺脫自己，虛擬丹妮莉絲回應「別說這種話，我不會讓你傷害自己，也不會讓 你離開我。如果失去你，我也會死」；賽澤接著說「那也許我們就一起死吧，一起得到自由 」。 今年2月，賽澤在學校惹麻煩，賈西亞因此沒收他的手機，導致賽澤情緒失控，自行找到手 機後，傳了訊息給虛擬丹妮莉絲說「如果我說我現在就可以回家呢」（What if I told you I could come home right now?），這句話在人類對話中，根據他們前文對話，就會是「 如果我說我現在就可以去你身邊呢」的意思，但不確定Character.AI的機器人會如何判斷， 也無法確定機器人是否知道這代表他要自殺。 虛擬丹妮莉絲回答說「就這麼做吧，我親愛的王（please do, my sweet king）」。不久後 ，賽澤就用繼父的手槍自轟身亡。 Character.AI公司在一份聲明裡表示，對於使用者不幸離世感到難過，向家屬致上哀悼，他 們已經引入新的安全功能，當使用者表達自傷的想法時，會彈出視窗引導使用者前往自殺防 治熱線，也會減少18歲以下使用者欲到敏感或暗示內容的機率。 賈西亞除了控告Character.AI，還順便告了谷歌。不過，這只是因為Character.AI的創辦人 夏澤（Noam Shazeer ）曾在谷歌工作，雙方達成協議，谷歌同意提供一些技術給Character .AI，而夏澤和Character.AI的一些團隊人員繼續與谷歌維持僱傭關係。谷歌聲明，他們不 是Character.AI的母公司、手上股份也不足以讓他們主導Character.AI的方針，他們只是提 供了技術使用許可。 《太報》關心您，再給自己一次機會 ‧安心專線：1925（24小時） ‧生命線：1995 ‧張老師專線：1980 心得/評論： 這顯然是廠商的疏失， https://i.imgur.com/8Ljy1wQ.jpeg Ai的應用日新月異，我相信公司也沒從想過真的有人用了 Ai聊天跑去自殺， AI的應用很明顯面臨法律歸責的挑戰， 從Ai駕駛導致車禍的歸責， 到現在沈迷Ai聊天跑去自殺， 大家怎麼看呢？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.192.154.239 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1729747533.A.2CB.html