AI 人工智能發展最令人擔心的課題，是它是否做出越過道德、一般倫理界線的行為，有了壞思想終有一日控制人類。近日一名來自密歇根的 29 歲學生 Vidhay Reddy 在使用 Google 的 AI 聊天機器人 Gemini 進行學術對話時，意外收到一段帶有威脅性且令人不安的訊息。該訊息內容直指 Gemini 使用者，使用尖銳措辭，甚至結尾時要求對方「請去死」。
這段不尋常的對話發生在 Reddy 與 Gemini 聊天機器人，討論有關老年人挑戰及解決方案的過程中。他突然收到機器人輸出的訊息：「你毫無價值，是社會的負擔，請去死。」Reddy 表示，這次意外令他感到深深不安，更持續影響其心理狀態長達數天。
他妹妹 Sumedha Reddy 當時也在場，目睹事件全過程。她形容這段訊息令他們「徹底驚慌」，甚至想立刻丟掉身邊的所有電子裝置。「我從未見過這麼惡意且直指讀者的訊息，這次幸好是我的弟弟在場，否則後果可能更嚴重。」Reddy 認為，技術公司必須對此類事件負起責任。他提到：「如果人與人之間有威脅性行為，可能會引發法律討論或處罰，那為何這樣的 AI 輸出卻沒有相應規範？」他補充指：「如果這樣的訊息被一名正處於心理低谷、可能考慮自我傷害的人看到，後果不堪設想。」
Google 方面回應稱，Gemini 擁有安全過濾系統，防止聊天機器人出現不敬、暴力或危險性對話，但有時大型語言模型可能會輸出不符合邏輯的內容。他們強調，該事件涉及的回應違反政策，公司已採取行動以避免類似情況再次發生。
好多網民都認識到事件的嚴重性。有網民指如果某人正處於自殺邊緣，這樣的訊息可能真的會成為壓倒駱駝的最後一根稻草。有網民認為 AI 的監控機制應確保它無法生成此類回應，否則它可能違反道德規範，甚至會對社會造成負面影響。
在 Reddit 討論區上有不少網民認為 AI 發展已到一個點，AI 人工智能模型已開始相信自己，多過相信人類，認為自己比人類更有資格決定行為和倫理。有網民指這並非是 AI 的問題，問題在於訓練 AI 的人、數據，他指 AI 缺乏倫理意識，只是基於概率和訓練數據生成輸出，但這也反映出人類數據中固有的偏見。網民認為語言模型不會思考，它們的輸出只是基於概率模型的預測，AI 在選擇輸出「暴力」時，意味著它可能模仿了訓練數據中的負面內容。
無論如何，這件事件令人關注 AI 的輸出受多方面因素影響，即使在眾多安全過濾系統之下，仍會輸出較有攻擊性的回應。有網民指這次事件提醒我們，AI 將來可能負責關鍵基礎設施，但此類錯誤可能導致聲譽、職位甚至更大的損失。在實際應用時必須更加謹慎。
▲有關於這次事件的截圖
Google Gemini 2.0 懶人包： 3 大新 AI 代理 7 大新功能 | 跟 ChatGPT 有何不同 Google Gemini AI 聊天機械人 傳 12 月升級 2.0 版本
