斯坦福大學生物醫學數據科學助理教授 James Zou 領導的科學家們,對七種流行的人工智能文本檢測器的測試運行了 91 篇由非英語母語人士撰寫的英文論文發現,母語不是英文的人士撰寫的文章經常被錯誤地標記為人工智能生成,這種偏見可能會對學生、學者和求職者產生嚴重影響。
測試結果顯示,超過一半的論文是為一項廣泛認可的英語水平測試(即 TOEFL)而寫的,這些論文被標記為人工智能生成,其中一個程序將 98% 的論文標記為由人工智能撰寫。而當以英語為母語的,八年級美國學生寫的論文通過這些程序運行時,相同的人工智能檢測器將超過 90% 的論文歸為人類生成的論文。
科學家們在《Patterns》上撰文表示,將這種其實追溯到探測器評估什麼是人類、什麼是人工智能生成的方式。這些程序著眼於所謂的「文本困惑度」,這是衡量生成語言模型在嘗試預測句子中的下一個單詞時的「驚訝」或「困惑」程度的指標。如果模型可以輕鬆預測下一個單詞,則文本困惑度排名較低,但如果下一個單詞難以預測,則文本困惑度排名較高。
他們表示,隨著 ChatGPT 興起,現在許多老師將人工智能檢測視為「阻止 21 世紀作弊形式的關鍵對策」,但他們警告稱,一些探測器聲稱的 99% 準確率「充其量只是誤導」。
科學家們在文章中警告稱,「GPT 檢測器對非母語作家的影響是嚴重的,我們需要仔細考慮以避免出現歧視情況。」他們補充,「在教育領域,可以說是 GPT 檢測器最重要的市場,非母語學生面臨更多被虛假指控作弊的風險,這可能不利於學生的學術生涯和心理健康。」
資料來源:theguardian
分享到 :
最新影片
![](https://cdn.unwire.hk/wp-content/uploads/2024/09/iphone16_d_web2-694x390.jpg)