Meta 今日正式推出了 Llama 3.1,分別為 8B、70B 和 405B 三個規模的模型。Meta CEO Mark Zuckerberg 稱 Llama 3.1 405B 是 Meta 至今最強大的開源人工智能模型,性能測試更直逼 GPT-4o 和 Claude 3.5,這將是首次有 GPT-4 等級的大語言模型免費開放給所有人使用。
圖片來源:Meta
Meta 使用了超過 16000 個 Nvidia H100 GPU 和超過 15 兆 token 來訓練 Llama 3.1 405B。根據 Meta 提供不同基準測試的結果中顯示,Llama 3.1 405B 在 MMLU、GSM8K 及 HumanEval 等基準測試中的表現十分接近 GPT-4、GPT-4o 及 Claude 3.5 Sonnet。Llama 3.1 405B 在不同範疇的基準測試中都至少有一次是得分最高(除了程式編碼),NIH/Multi-needle 基準測試雖不及兩個 GPT-4 模型的 100 分但仍有接近的 98.1 分,代表其有接近完美的處理複雜資訊能力。
雖然 Meta 聲稱 Llama 3.1 405B 為開源模型,但卻被指濫用了「開源」二字。業界認為 Llama 3.1 405B 只是開放了「模型權重」,而不是真正開源。
資料來源:The Register
圖片來源:Meta
相關文章:
Meta 加入阻止 OpenAI 營利化 「利用慈善資源謀取商業利益」 針對 Meta 不再與傳媒續約 澳洲政府宣佈實施科技企業新聞稅 Meta 斥資 100 億美元建 AI 數據中心 加速 AI 發展並推動可再生能源