Elon Musk 日前透過其社交平台 X 帳號宣佈,大型語言模型的新版本 Grok 2 將會在 8 月推出,而 Grok 3 則會在年底前面世。目前有關上述兩款語言模型的資訊甚少,但 Elon Musk 提到 Grok 3 將會用上 100,000 張 Nvidia H100 顯卡去進行訓練,因此應該會相當特別。
Grok 2 在 8 月推出的消息,是 Elon Musk 在回應 Cohere CEO Aidan Gomez 影片時透露的。Gomez 在影片中解釋許多模型 以 OpenAI 的模型輸出進行訓練,由於 Cohere 並沒有採用這種方法去訓練其大型語言模型,因此用戶會覺得效果有所不同。Musk 在回應中同意 Gomez 的觀點,並指出清除互聯網訓練數據中的大型語言模型涉及大量工作,他又提到 Grok 2 在這方面將會有巨大改進。
Grok 是 X 平台的大型語言模型,標榜擁有幽默感和栩栩如生的對答,但與 ChatGPT 提供免費版不同,Grok 需要付費才能使用,現時最新的版本 Grok 1.5 於今年 3 月推出,擁有經改良的推理能力和 128,000 個 tokens 的上下文長度。雖然在 MMLU、MATH 和 GSM8K 基準測試中不敵 GPT-4,但在 HumanEval 基準測試則超越了 GPT-4。
資料及圖片來源:neowin
相關文章:
【有片睇】馬斯克將成《Diablo 4》遊戲全球第一 破記錄後笑言:「遊戲中可學到很多人生教訓」 Elon Musk 與 OpenAI 官司繼續 Microsoft 被納入為新被告 Elon Musk 效率部招超高智商者 零薪酬每周工作 80 小時