大型語言模型除了規模越來越大，同時小規模的模型也是各科技企業爭相開發的目標。Microsoft 新推出的 AI 模型 Phi-3 Mini 就是其中之一。
今次 Microsoft 推出的 Phi-3 Mini 專為智能手機等運算能力有限的裝置而開發，參數為 38 億個，雖然規模細小，但其性能並不弱。據 Microsoft 表示，其效能除了超越上代 Phi-2 模型，益可以與 Llama 2 等大規模的模型相媲美。其訓練數據集採用經過大量過濾的網絡數據和合成數據，並由另一個 LLM 事先處理，提升了模型的學習效率。這種方法可以用更簡單的語言表達複雜的概念，改善模型理解和生成自然文字的能力。
Phi-3 Mini 可獨立於雲端系統運作，無需互聯網連接，就可以在流動裝置上直接運作，支援從數學計算到編程等。對於注重私隱和反應速度的應用，這樣的輕型模型就有一定的需要。雖然礙於規模，Phi-3 Mini 在需要大量知識的情況下表現不算理想，但仍然可以覆蓋大部分日常應用。Phi-3 Mini 目前可在 Azure、Hugging Face 和 Ollama 等平台上使用。未來更會有較大規模的 Phi-3 Small 和 Phi-3 Medium 模型推出，提供更多不同的規模來配合需要。
來源：Microsoft
Apple 加入 AI 戰場 發表 300 億參數 AI 人工智能「MM1」論文