在生成式人工智慧逐漸滲透日常生活的今天，我們愈來愈依賴 AI 幫助解決問題、進行創作或提升工作效率。不過，大部分 AI 工具仍高度依賴網路連線與雲端資源，這對於注重資料私隱、安全性，或處於無網環境的用戶來說，無疑是一大限制。想像一下，如果你能夠在自己的 Mac 電腦上離線運行強大的語言模型，AI 回應既快速又不需擔心資料外洩，那會是多麼理想的情境？這正是 OpenAI 開源推出的 GPT-OSS 所帶來的突破。
GPT-OSS 的兩大核心優點
1. 開源自由、私隱保障、安全可靠
GPT-OSS（Open Source Series）由 OpenAI 發布，是完全開源的語言模型，使用 Apache 2.0 授權，允許用戶自由使用、修改與商業應用。你不需連接 OpenAI 伺服器，所有推理操作均可在自己電腦上進行，真正實現「模型在地、資料不出門」的私隱保護原則。
2. 高效能 + 支援 Apple Silicon：在 Mac 上表現驚人
GPT-OSS 採用 Mixture-of-Experts 技術，即使總參數量高達 210 億（20B），但實際運算時僅啟動一小部分參數（約 3.6B activations），大幅降低記憶體與運算需求。配合 Apple Silicon 專屬的 MLX 模型版本，能讓 Mac Studio 等 M 系列裝置以驚人的流暢度完成 AI 推理，實際體驗接近 GPT-4 小型版本。
本地運行 GPT-OSS 模型，只需兩步！
步驟一：使用 LM Studio 搜尋並下載 GPT-OSS 模型（MLX 版本）
首先你需要先下載本地運行 AI 模型工具 LM Studio，此應用程式提供多種電腦平台版本，今次就以 Mac 版作示範。
LM Studio 下載網址：https://lmstudio.ai/download
（提供 Mac, Windows, Linux 版本）
開啟 LM Studio 後，打開畫面上方搜尋欄，輸入「gpt-oss」，你會在搜尋畫面中找到 OpenAI 官方釋出的 openai/gpt-oss-20b 模型。
接下來請選擇適合 Mac 的 MLX + 8bit 精簡版（容量約 22.26 GB），即下圖的①。點選右側的 Download 按鈕（即下圖②），即可開始下載。這個版本經特殊量化壓縮後能在記憶體 24GB 左右的 Apple 裝置順暢運行，是目前最適合 Apple Silicon 使用的選擇。
MLX 版模型是專為 Apple Silicon 設計的模型格式，由 Apple 開發的 MLX 框架支援，能充分發揮 M 系列晶片（如 M1、M2、M3、M4）的記憶體架構與神經引擎效能。相比其他格式，MLX 模型在 Mac 上執行速度更快、佔用資源更低，並支援 Metal 加速，令大型語言模型如 GPT-OSS 20B 也能在本地流暢運作，實現低延遲、高效率的 AI 推理體驗。
步驟二：選擇模型並啟用對話模式開始使用
下載完成後，從 LM Studio 畫面上方的模型選單中，你可以看到剛安裝的 OpenAI’s gpt-oss 20B 8bit MLX 模型已經列入「Your Models」。點選後，即可進入模型推理介面。
在介面中輸入提示詞，例如：「你是什麼模型？請用三句話介紹你自己」，模型會快速回應，說明自己為 GPT-4 級別的模型，具備語言理解力、知識廣度與靈活語氣調整等能力。從你實測的畫面中可見，模型記憶體佔用約為 21.46 GB，LM Studio 顯示運作順暢，沒有延遲，代表 Mac Studio 能毫無壓力地支援這個大型模型的本地運算。
離線使用無難度：AI 隨時待命
特別值得一提的是，即使你完全關閉 Wi-Fi（如圖所示），GPT-OSS 仍可在 LM Studio 介面中正常回應對話提示。即使在無網路的情況下輸入問題，例如我就叫 AI 創製一個日本京都 5 天的旅程，在無網之下也能給出結果，顯示這套系統已真正實現「全離線 AI」的目標。
無論是搭飛機、身處偏遠地區，或只是想保護自己的聊天內容不被上傳，這種全本地 AI 模型使用方式，都比雲端 AI 更具彈性與掌控感。
小結：人人都能擁有自己的 GPT 助理
只需兩步：下載 GPT-OSS 模型 ＋ 載入 LM Studio 使用，你就能在 Mac 上享受快速、安全、可離線的 AI 對話體驗。不僅免除網絡依賴，還能完全掌握資料與隱私，而且實測效果極為流暢，即使是 20B 模型亦能運行自如。若你有 Mac Studio、MacBook Pro M3 或其他具備 Apple Silicon 的裝置，絕對值得一試。
分享到 :
最新影片
