大型語言模型除了規模越來越大,同時小規模的模型也是各科技企業爭相開發的目標。Microsoft 新推出的 AI 模型 Phi-3 Mini 就是其中之一。
今次 Microsoft 推出的 Phi-3 Mini 專為智能手機等運算能力有限的裝置而開發,參數為 38 億個,雖然規模細小,但其性能並不弱。據 Microsoft 表示,其效能除了超越上代 Phi-2 模型,益可以與 Llama 2 等大規模的模型相媲美。其訓練數據集採用經過大量過濾的網絡數據和合成數據,並由另一個 LLM 事先處理,提升了模型的學習效率。這種方法可以用更簡單的語言表達複雜的概念,改善模型理解和生成自然文字的能力。
Phi-3 Mini 可獨立於雲端系統運作,無需互聯網連接,就可以在流動裝置上直接運作,支援從數學計算到編程等。對於注重私隱和反應速度的應用,這樣的輕型模型就有一定的需要。雖然礙於規模,Phi-3 Mini 在需要大量知識的情況下表現不算理想,但仍然可以覆蓋大部分日常應用。Phi-3 Mini 目前可在 Azure、Hugging Face 和 Ollama 等平台上使用。未來更會有較大規模的 Phi-3 Small 和 Phi-3 Medium 模型推出,提供更多不同的規模來配合需要。
來源:Microsoft
相關文章:
iPhone SE 4 傳明年首季發表 將支援 Apple Intelligence 人工智能