ChatGPT 作為應用範疇極廣的強勁 AI 工具,早前已經推出了第 4 代人工智能 GPT-4。不過近日有 2 篇研究指,GPT-4 在推理方面的能力較為遜色,更有科學家指 GPT-4 完全不具備推理能力。
美國麻省理工學院(Massachusetts Institute of Technology,MIT)校友Konstantine Arkoudas使用了 21 種推理測試評估 GPT-4,然後就 GPT-4 的表現進行詳細分析。Konstantine Arkoudas 的研究發現,GPT-4 完全不具備推理能力。(相關論文地址:https://www.preprints.org/manuscript/202308.0148/v2)
▲圖片來源:cnBeta
Robust. AI公司創辦人兼紐約大學教授 Gary Marcus 在 X(前稱 Twitter)上發文表示: 「如果上述研究屬實,那麼就如我一直說的一樣—我們離 AGI (artificial general intelligence)仍然非常遠。」Gary Marcus 指,沒有推理能力就沒有 AGI。
— Gary Marcus (@GaryMarcus) August 8, 2023
而另一篇來自美國洛杉磯加利福尼亞大學 (University of California, Los Angeles,UCLA)和華盛頓大學(University of Washington,UW)的研究亦表示 GPT-3.5、GPT-4 在大學的數學、物理、化學的推理上表現不佳。(論文地址:https://arxiv.org/pdf/2307.10635.pdf)
研究人員使用一個大學科學問題解決基礎 SCIBENCH,裏面有 2個數據集:開放數據集及封閉數據集。研究人員對 GPT-4 和 GPT-3.5 採用不同提示策略進行深入研究,結果顯示,GPT-4 成績平均總分僅為35.8%。
資料來源:cnBeta
相關文章:
【教學】ChatGPT 視像隔空教你養魚 用相機攝取現場環境 實時 AI 回應用家問題 【教學】冗長文章 AI 變成有趣電台節目 Reader by ElevenLabs「聽」文章不再暈車浪 + 學習外語方便 【教學】MacWhisper 語音轉錄文字 AI 工具 本地 AI 模型處理 + 支援廣東話、多國語言 + 輸出字幕檔