聊天式機械人在科技界掀起一股熱潮，國內多家科技企業紛紛投入人工智能（AI）聊天機械人領域，其中包括由清華大學計算機系知識工程實驗室技術成果轉化而成的清華系公司「智譜AI」。該公司推出了類似 ChatGPT 的人工智能聊天機械人，並宣布推出開源版中英雙語對話模型 ChatGLM-6B，該模型支援在消費級顯示卡上使用，為 AI 聊天機械人的應用提供了更加便捷的工具。
據中文開源技術社區平台 OSChina 的文章指出，ChatGLM-6B 是一個開源、支援中英雙語問答的對話語言模型，並對中文進行了改進。該模型基於 General Language Model (GLM) 架構，擁有 62 億參數。結合模型量化技術，用戶可在消費級顯示卡上進行本地部署（以 INT4 量化級別計算，最低只需 6GB 顯示卡記憶體）。
中國媒體報導引述了一些應用實例：
ChatGLM-6B 經過約 1T token（標識符）的中英雙語訓練，加上監督微調、反饋自助、人工反饋強化學習等技術的加持，擁有相當強大的問答和對話能力。儘管模型規模不及千億模型，但成功降低了推理成本，提高了效率，並且已經能夠生成相當符合人類偏好的回答。
此外，結合模型量化技術，可以稍微降低硬件門檻，用戶只需具有 10GB（INT8）和 6GB（INT4）顯示記憶體（VRAM），便可以在消費級的顯示卡上使用該模型。
資料來源：智譜微信
圖片來源：智譜網站
