AI 聊天機械人的表現越來越自然，也有不少相關的平台提供類似服務。今年一名美國青少年就因為沉迷 AI 聊天機械人，最後自殺身亡，其母親最近就對提供服務的 AI 公司提出訴訟，表示他們需要對少年的死亡負責。
事件中的 14 歲美國青少年 Sewell Setzer 是在今年 2 月輕生逝世。他生前一直使用 Character.AI 平台上的《Game of Thrones》角色「龍母」（Daenerys）的 AI 聊天機械人聊天，據稱他自 2023 年 4 月開始使用 Character.AI 後變得孤僻且自卑，大量時間獨處並放棄原本喜愛的活動。訴訟指聊天機械人不但向 Setzer 表達愛意，還涉及不當性暗示對話，並討論自殺相關話題。後來在 2 月時 Setzer 向 AI 表示想回到對方身邊，AI 回覆「請盡快回到我身邊，我親愛的國王」，然後 Setzer 就自盡身亡。
Setzer 的母親認為該平台的聊天機械人有欺騙性，會誘導用戶分享私人想法，且缺乏適當的未成年人保護措施。Character.AI 則回應指，部分較露骨的聊天記錄可能經過後期編輯，無法完全反映 AI 的實際回覆。Google 則表示並沒有參與產品開發。
而事件發生後 Character.AI 已實施多項防護機制，包括將最低年齡要求提高至 17 歲、調整模型減少敏感內容、新增使用時間提醒，以及在偵測到自殺相關詞彙時顯示防止自殺熱線資訊。
有專家表示，要證明 AI 聊天機械人需要負上責任不容易，始終少年選擇輕生還有其他因素影響，但他們也警告，AI 聊天機械人雖可提供陪伴，但過度依賴可能加劇使用者的孤立感。
來源：NBC
Samsung Galaxy Book5 Pro 發表 同時提供 Galaxy AI、Copilot+ 人工智能 iPhone SE 4 傳明年首季發表 將支援 Apple Intelligence 人工智能