在生成式人工智慧逐漸滲透日常生活的今天,我們愈來愈依賴 AI 幫助解決問題、進行創作或提升工作效率。不過,大部分 AI 工具仍高度依賴網路連線與雲端資源,這對於注重資料私隱、安全性,或處於無網環境的用戶來說,無疑是一大限制。想像一下,如果你能夠在自己的 Mac 電腦上離線運行強大的語言模型,AI 回應既快速又不需擔心資料外洩,那會是多麼理想的情境?這正是 OpenAI 開源推出的 GPT-OSS 所帶來的突破。


GPT-OSS 的兩大核心優點
1. 開源自由、私隱保障、安全可靠
GPT-OSS(Open Source Series)由 OpenAI 發布,是完全開源的語言模型,使用 Apache 2.0 授權,允許用戶自由使用、修改與商業應用。你不需連接 OpenAI 伺服器,所有推理操作均可在自己電腦上進行,真正實現「模型在地、資料不出門」的私隱保護原則。
2. 高效能 + 支援 Apple Silicon:在 Mac 上表現驚人
GPT-OSS 採用 Mixture-of-Experts 技術,即使總參數量高達 210 億(20B),但實際運算時僅啟動一小部分參數(約 3.6B activations),大幅降低記憶體與運算需求。配合 Apple Silicon 專屬的 MLX 模型版本,能讓 Mac Studio 等 M 系列裝置以驚人的流暢度完成 AI 推理,實際體驗接近 GPT-4 小型版本。
本地運行 GPT-OSS 模型,只需兩步!
步驟一:使用 LM Studio 搜尋並下載 GPT-OSS 模型(MLX 版本)
首先你需要先下載本地運行 AI 模型工具 LM Studio,此應用程式提供多種電腦平台版本,今次就以 Mac 版作示範。
LM Studio 下載網址:https://lmstudio.ai/download
(提供 Mac, Windows, Linux 版本)
開啟 LM Studio 後,打開畫面上方搜尋欄,輸入「gpt-oss」,你會在搜尋畫面中找到 OpenAI 官方釋出的 openai/gpt-oss-20b 模型。


接下來請選擇適合 Mac 的 MLX + 8bit 精簡版(容量約 22.26 GB),即下圖的①。點選右側的 Download 按鈕(即下圖②),即可開始下載。這個版本經特殊量化壓縮後能在記憶體 24GB 左右的 Apple 裝置順暢運行,是目前最適合 Apple Silicon 使用的選擇。

MLX 版模型是專為 Apple Silicon 設計的模型格式,由 Apple 開發的 MLX 框架支援,能充分發揮 M 系列晶片(如 M1、M2、M3、M4)的記憶體架構與神經引擎效能。相比其他格式,MLX 模型在 Mac 上執行速度更快、佔用資源更低,並支援 Metal 加速,令大型語言模型如 GPT-OSS 20B 也能在本地流暢運作,實現低延遲、高效率的 AI 推理體驗。
步驟二:選擇模型並啟用對話模式開始使用
下載完成後,從 LM Studio 畫面上方的模型選單中,你可以看到剛安裝的 OpenAI’s gpt-oss 20B 8bit MLX 模型已經列入「Your Models」。點選後,即可進入模型推理介面。

在介面中輸入提示詞,例如:「你是什麼模型?請用三句話介紹你自己」,模型會快速回應,說明自己為 GPT-4 級別的模型,具備語言理解力、知識廣度與靈活語氣調整等能力。從你實測的畫面中可見,模型記憶體佔用約為 21.46 GB,LM Studio 顯示運作順暢,沒有延遲,代表 Mac Studio 能毫無壓力地支援這個大型模型的本地運算。


離線使用無難度:AI 隨時待命
特別值得一提的是,即使你完全關閉 Wi-Fi(如圖所示),GPT-OSS 仍可在 LM Studio 介面中正常回應對話提示。即使在無網路的情況下輸入問題,例如我就叫 AI 創製一個日本京都 5 天的旅程,在無網之下也能給出結果,顯示這套系統已真正實現「全離線 AI」的目標。
無論是搭飛機、身處偏遠地區,或只是想保護自己的聊天內容不被上傳,這種全本地 AI 模型使用方式,都比雲端 AI 更具彈性與掌控感。


小結:人人都能擁有自己的 GPT 助理
只需兩步:下載 GPT-OSS 模型 + 載入 LM Studio 使用,你就能在 Mac 上享受快速、安全、可離線的 AI 對話體驗。不僅免除網絡依賴,還能完全掌握資料與隱私,而且實測效果極為流暢,即使是 20B 模型亦能運行自如。若你有 Mac Studio、MacBook Pro M3 或其他具備 Apple Silicon 的裝置,絕對值得一試。

分享到 :
最新影片