美國新墨西哥州最高法院裁定，律師 Stephen Aarons 因未有核實 AI 生成上訴狀內容準確性，任由文件出現虛構證人及捏造警方證供，裁定其藐視法庭並罰款 5,000 美元（約港幣 HK$39,000），法院於 9 月 9 日發出裁決，同時將個案轉交律師紀律委員會調查。
案件背景
Aarons 是駐 Santa Fe 的私人執業律師，負責處理 Oscar Renee Sandoval 的謀殺罪上訴，Sandoval 早前否認謀殺其子女母親罪，最終被裁定罪成，去年判處終身監禁。Aarons 去年接手上訴工作時，將電腦生成的審訊逐字紀錄及其他案件資料輸入 ChatGPT，原意是製作一份他形容為「無懈可擊」的審訊摘要，結果生成內容混入完全虛構的證人證供，以及涉及槍手服裝及外貌的假警方證供，包括聲稱槍手當時穿著深色長褲及白色上衣的虛構描述。
墨西哥州最高法院上月已要求 Aarons 解釋上述虛構內容如何混入上訴狀正文，8 月 21 日聽證會上，Aarons 承認將電腦生成的逐字紀錄及案件資料輸入 ChatGPT，並表示原本以為系統會生成「無懈可擊的摘要」。法院裁決指，上訴狀「載有完全虛構證人的失實證供」，同時批評 Aarons「缺乏悔意，亦未有顧及當事人利益」。
法官當庭質問
法官 C. Shannon Bacon 在聽證會上直接質問 Aarons 是否留意時事，質疑他為何毫不知悉 AI 生成內容存在幻覺（hallucination）風險，她表示：「律師，你有看新聞嗎？有聽電台嗎？有留意世界上正在發生的事嗎？因為律師依賴 AI 幻覺內容出事，幾乎每日都成為頭條新聞。」
Aarons 發表聲明回應，承認未有完全理解 AI「幻覺」問題的嚴重程度，形容事件「是個誠實的錯誤」，並希望紀律委員會考慮這一點。他形容事件為「所有依賴這項強大但有時不穩定技術的專業人士的一課」，上訴案目前仍未審結，案件已於 9 月 2 日轉交公共辯護律師 Kim Chavez Cook 跟進，Doña Ana County 地區檢察官辦公室及 Cook 均拒絕評論。OpenAI 未有即時回應 Reuters 置評請求。
律師濫用 AI 已非孤例
消息指出，已有數十名律師因在法庭文件中使用 AI 捏造案例引文或錯誤引述法律條文而遭處分，但 Aarons 一案情況更為嚴重，涉及在刑事上訴案中直接捏造證人證供。法律界近月接連出現類似案例，今年較早時，佛羅里達州法官 Kathryn Kimball Mizelle 在處理記者 Tim Burke 一案時，發現代表律師提交的動議中存在 9 項 AI 幻覺內容，涉及嚴重誤引及扭曲相關案例，最終下令將該動議剔出案卷。
另外 AI 公司 Anthropic 的律師團隊在一宗音樂出版商提出的版權侵權訴訟中，亦被發現使用 Claude AI 協助撰寫專家證人聲明，結果引文出現標題及作者資料錯誤。加州一名審理 State Farm 保險訴訟的法官 Michael Wilner 亦曾表示，他原本被一份法律陳詞說服，細查後才發現所引用案例根本不存在。美國律師公會已於 2024 年發出首份 AI 使用指引，要求律師具備理解生成式 AI 運作及風險的專業能力，不應將 AI 工具視為「超級搜尋引擎」。
來源：Reuters
