聊天式機械人在科技界掀起一股熱潮，國內多家科技企業紛紛投入人工智能（AI）聊天機械人領域，其中包括由清華大學計算機系知識工程實驗室技術成果轉化而成的清華系公司「智譜AI」。該公司推出了類似 ChatGPT 的人工智能聊天機械人，並宣布推出開源版中英雙語對話模型 ChatGLM-6B，該模型支援在消費級顯示卡上使用，為 AI 聊天機械人的應用提供了更加便捷的工具。
據中文開源技術社區平台 OSChina 的文章指出，ChatGLM-6B 是一個開源、支援中英雙語問答的對話語言模型，並對中文進行了改進。該模型基於 General Language Model (GLM) 架構，擁有 62 億參數。結合模型量化技術，用戶可在消費級顯示卡上進行本地部署（以 INT4 量化級別計算，最低只需 6GB 顯示卡記憶體）。
中國媒體報導引述了一些應用實例：
ChatGLM-6B 經過約 1T token（標識符）的中英雙語訓練，加上監督微調、反饋自助、人工反饋強化學習等技術的加持，擁有相當強大的問答和對話能力。儘管模型規模不及千億模型，但成功降低了推理成本，提高了效率，並且已經能夠生成相當符合人類偏好的回答。
此外，結合模型量化技術，可以稍微降低硬件門檻，用戶只需具有 10GB（INT8）和 6GB（INT4）顯示記憶體（VRAM），便可以在消費級的顯示卡上使用該模型。
資料來源：智譜微信
圖片來源：智譜網站
相關文章:
【教學】ChatGPT 視像隔空教你養魚 用相機攝取現場環境 實時 AI 回應用家問題 【教學】冗長文章 AI 變成有趣電台節目 Reader by ElevenLabs「聽」文章不再暈車浪 + 學習外語方便 【教學】MacWhisper 語音轉錄文字 AI 工具 本地 AI 模型處理 + 支援廣東話、多國語言 + 輸出字幕檔
分享到 :
最新影片
