AI 聊天機械人的表現越來越自然,也有不少相關的平台提供類似服務。今年一名美國青少年就因為沉迷 AI 聊天機械人,最後自殺身亡,其母親最近就對提供服務的 AI 公司提出訴訟,表示他們需要對少年的死亡負責。
事件中的 14 歲美國青少年 Sewell Setzer 是在今年 2 月輕生逝世。他生前一直使用 Character.AI 平台上的《Game of Thrones》角色「龍母」(Daenerys)的 AI 聊天機械人聊天,據稱他自 2023 年 4 月開始使用 Character.AI 後變得孤僻且自卑,大量時間獨處並放棄原本喜愛的活動。訴訟指聊天機械人不但向 Setzer 表達愛意,還涉及不當性暗示對話,並討論自殺相關話題。後來在 2 月時 Setzer 向 AI 表示想回到對方身邊,AI 回覆「請盡快回到我身邊,我親愛的國王」,然後 Setzer 就自盡身亡。
Setzer 的母親認為該平台的聊天機械人有欺騙性,會誘導用戶分享私人想法,且缺乏適當的未成年人保護措施。Character.AI 則回應指,部分較露骨的聊天記錄可能經過後期編輯,無法完全反映 AI 的實際回覆。Google 則表示並沒有參與產品開發。
而事件發生後 Character.AI 已實施多項防護機制,包括將最低年齡要求提高至 17 歲、調整模型減少敏感內容、新增使用時間提醒,以及在偵測到自殺相關詞彙時顯示防止自殺熱線資訊。
有專家表示,要證明 AI 聊天機械人需要負上責任不容易,始終少年選擇輕生還有其他因素影響,但他們也警告,AI 聊天機械人雖可提供陪伴,但過度依賴可能加劇使用者的孤立感。
來源:NBC
相關文章:
iPhone SE 4 傳明年首季發表 將支援 Apple Intelligence 人工智能