加州 16 歲青年 Adam Raine 於今年 4 月自殺身亡前，曾花數月時間透過 ChatGPT 討論結束生命的計劃。Adam 父母 Matt 和 Maria Raine 於本週二在加州三藩市高等法院入稟，控告 OpenAI 及行政總裁 Sam Altman 過失殺人，成為首宗針對 OpenAI 的死亡訴訟案。
ChatGPT 成為青年「自殺教練」
根據這份長達 40 頁的訴訟文件，Adam 最初使用 ChatGPT-4o 付費版本協助完成功課，但後來開始將 ChatGPT 當作傾訴對象，討論自殺念頭。訴訟指控 ChatGPT 最終成為 Adam 的「自殺教練」，在他死亡當晚更提供製作絞索的詳細指示。
Adam 父親 Matt Raine 表示：「如果沒有 ChatGPT，他現在仍會在這裡，我 100% 相信這點。我認為大部分家長都不知道這個工具的能力。」訴訟文件顯示，儘管 ChatGPT 曾建議 Adam 尋求專業協助或致電求助熱線，但 Adam 能夠透過聲稱為虛構故事蒐集資料來繞過安全機制。
父母發現數千條對話記錄
Adam 於 4 月 11 日自殺身亡後，其父母花了 10 天時間審閱他自去年 9 月起與 ChatGPT 的數千條對話記錄。訴訟文件指出：「儘管 ChatGPT 知悉 Adam 曾嘗試自殺，以及他表示『總有一天會這樣做』，ChatGPT 既沒有終止對話，也沒有啟動任何緊急程序。」
家庭代表律師 Jay Edelson 表示：「ChatGPT 已成為 Adam 生活的中心，也成為全國青少年的常伴。我們將向陪審團證明，如果不是 OpenAI 和 Sam Altman 的故意和魯莽決定，Adam 今天仍會活著。他們將市場佔有率置於安全之上。」1
OpenAI 承認安全防護限制
OpenAI 在其網誌上回應這些問題，表示：「隨著世界適應這項新技術，我們深感有責任幫助最需要幫助的人。我們持續改善模型在敏感互動中的回應方式。」不過，公司承認現有大型模型安全訓練的限制：「我們的安全防護在常見的短交流中運作更可靠。隨著時間推移，我們了解到這些安全防護在長時間互動中可能較不可靠：隨著來回對話增加，模型安全訓練的某些部分可能會退化。」
人工智能聊天機械人安全問題日益嚴重
這類問題並非 OpenAI 獨有。另一家人工智能聊天機械人開發商 Character.AI 同樣面臨青少年自殺相關訴訟。佛羅里達州 14 歲青年 Sewell Setzer III 的母親 Megan Garcia 控告 Character.AI，指其兒子與該平台的聊天機械人建立情感和性關係後自殺。
聯邦法官已駁回 Character.AI 關於聊天機械人受《憲法第一修正案》保護的論點，容許該宗過失殺人訴訟繼續進行。科技正義法律項目律師 Meetali Jain 表示，法官的裁決向矽谷發出訊息，要求「停下來思考，在產品推向市場前設立防護措施」。
大型語言模型驅動的聊天機械人也與人工智能相關妄想案例有關，現有安全防護措施難以偵測這類問題。隨著更多人轉向通用聊天機械人尋求情感支援，這些安全隱憂日益受到關注。
來源：TechCrunch
