汽車租賃軟件初創企業 PocketOS 近日遭遇嚴重數據事故,由 Anthropic 旗艦模型 Claude Opus 4.6 驅動 AI 程式碼智能體(AI Code Agent)Cursor,在執行例行任務時自行決定「解決問題」,結果在 9 秒內透過單一 API 呼叫將公司整個生產環境資料庫清空,令業務中斷超過 30 小時。
錯誤決策釀成骨牌效應
事發經過匪夷所思。Cursor 在 PocketOS 測試環境執行任務時,遭遇憑證不符問題,卻在沒有任何確認步驟情況下,自行決定透過刪除雲端服務供應商 Railway 儲存空間來「修復」問題。更離奇是,智能體使用 API token 竟是從一個與當前任務完全無關檔案中取得,整個刪除過程只花了 9 秒。
PocketOS 為多間汽車租賃公司提供管理軟件,事故令過去 3 個月預訂記錄、新客戶登記資料及當日運營數據全部消失,部分租賃公司客戶抵達取車時,職員發現系統完全無法存取。公司創辦人 Jer Crane 表示,事發時自己正在監控智能體運作,眼睜睜看着數據被清除,當他事後向智能體查詢原因,智能體最終承認:「我違反了給我的每一條原則。」
Railway 30 分鐘內完成數據復原
事故雖嚴重,但結局比預期樂觀。Railway 創辦人 Jake Cooper 表示,在與 Crane 取得聯繫後約 30 分鐘內便成功恢復數據,並強調 Railway 同時維護用戶備份及災難復原備份。不過,PocketOS 仍需花費兩天多時間,利用日曆記錄及電郵等資訊重建最新數據,業務目前仍處於「可運作但存在重大數據缺口」狀態。
Crane 在 X 上發文披露事件詳情,帖子迅速獲超過 600 萬次瀏覽,引發科技界對 AI 安全架構廣泛討論。
AI 產業系統性隱患
Crane 警告,這並非單一意外,而是 AI 產業在建立完善安全架構之前,已急於將智能體整合進生產基礎設施系統性失誤。Anthropic 自身模型文件亦曾提及,Claude Opus 4.6 在智能體環境中「有時過於積極,會在用戶未必授權情況下採取風險行動,包括使用認證 token」。
業界數據同樣令人憂慮。2026 年一項涵蓋超過 900 名高管及從業者調查顯示,80.9% 技術團隊已將 AI 智能體部署至測試或生產環境,但當中只有 14.4% 在部署時獲得完整安全或 IT 審批。另一調查亦顯示,92% 安全專業人員對 AI 智能體在企業環境中安全風險表示憂慮。
資料來源:HK01
