據《中國科學報》報導,百度表示其於今年 3 月份推出的大型 AI 語言模型「文心一言」聊天機械人,即將迎來 3.5 版本,目前已經投入測試,並且聲稱在多項測試指標中均超越了 ChatGPT。
百度董事兼行政總裁李彥宏表示,文心一言的新版本名為「文心大模型 3.5」,在本月 13 日和 ChatGPT-3.5、GPT-4 在内的 6 個現有的語言機械人模型進行 AGIEval、C-Eval 和 MMLU 三個權威評測。20 日,百度公佈一份測試報告,顯示文心大模型 3.5 的綜合能力超越了 ChatGPT,特別是中文能力方面表現優異。
在 AGIEval 中文能力測試中,以 64.37 的分數超越了 GPT-3.5(40.27分)和 GPT-4(56.96分),另外,在中文 C-Eval 的測試中,文心大模型 3.5 以 71.93 分獲得第一,超越了 GPT-3.5(51.70分)和 GPT-4(68.57分)。
英語方面,文心大模型 3.5 表現稍遜,在 AGIEval 的英語測試中位列第二,獲 50.59 分,落後於 GPT-4(65.55分),但得分仍超越 GPT-3.5(48.75分)。在另一項英文測試 MMLU 中,文心大模型 3.5 的分數為 65.10 分,落後於 GPT-4(82.47分)和 GPT-3.5(68.85分)。
百度首席技術官王海峰表示,文心大模型 3.5 的訓練速度相比舊版本提升了兩倍,推理能力大幅提升 17 倍,在創作、問答、分析等多方面都有全面性提升。王海峰稱,百度接下來將會發佈更多的官方和第三方插件,也會逐步開放文心一言給第三方,讓更多開發者開發自己的應用。
資料來源:TVBS
相關文章:
ChatGPT 官方學生寫作指南 如何活用AI、學習更智能高效 FevaWorks 三大免費大數據 + AI 活用工作坊 掌握新科技 + 大數據及 AI 運動尋找新商機 百度 AI 眼鏡最快明年初上市 支援「文心一言」語音互動