人工智能公司 OpenAI 的語音轉文字工具 Whisper 近來成為焦點,原因是多名開發人員、軟件工程師和學術研究人員發現 Whisper 經常產生幻覺,會虛構出原本不存在的內容,例如捏造藥物、種族評論和暴力言論。有報導指有醫療機構和醫生使用了相關工具,現時病人的病歷或因此受到影響。
根據 ABC 新聞的報導,最新版本 Whisper 在開源人工智能平台 Hugging Face 的下載量,在過去一個月內已經多達 420 萬次。據悉這個語音轉文字工具被整合到 Oracle 和 Microsoft 雲端運算平台,還有部分 ChatGPT 版本。一家名為 Nabla 的公司則以 Whisper 開發醫療轉錄工具,現時有超過 30,000 名醫生和 40 個醫療系統採用,至今轉錄了約 700 萬次診症記錄。
美國密歇根大學的研究人員發現,在 10 份由 Whisper 轉錄的公共會議記錄中,有 8 份出現了虛構內容。另一項研究則在超過 13,000 份錄音中發現了 187 個幻覺。Whisper 產生幻覺的潛在危險不容忽視。康奈爾大學和維珍尼亞大學兩位教授 Allison Koenecke 和 Mona Sloane,在分析 TalkBank 研究庫的片段時發現,近 40% 的幻覺可能被誤解或誤傳。
問題在上述 Nabla 開發的醫療轉錄工具更加嚴重。Nabla 表示知悉 Whisper 的幻覺問題後正嘗試處理,但由於數據安全原因,該工具會在轉錄後將錄音刪除,因此無法核實轉錄內容的準確性。Nabla 技術總監 Martin Raison 指醫護人員必須快速編輯和確認轉錄內容,但這個制度未來或會有所改變。由於私隱法的限制,外界無法檢視轉錄內容的準確性,令問題變得更為複雜。
資料及圖片來源:engadget
相關文章:
AI 自保與欺瞞行為浮現 OpenAI o1 模型引發安全隱憂 xAI 準備推出獨立 App 進一步與 OpenAI 競爭 Elon Musk 提告 OpenAI 申緊急禁制令 促儘快阻止 OpenAI 轉為牟利機構