AI 初創公司 PrismML 於 7 月 14 日推出 Bonsai 27B，宣稱是首個可在 iPhone 運行的 27B 級別大型模型。新模型同時支援 Mac 及 iPad 原生運作，亦可以 CUDA 在 NVIDIA GPU 上運行，並已以 Apache 2.0 授權開放權重及開發者預覽 API。
模型基於 Qwen3.6 建立
Bonsai 27B 實際上以阿里巴巴 Qwen3.6 27B 模型為基礎，並經 PrismML 低位元壓縮技術改造而成。PrismML 表示，壓縮技術將原本約 54 GB、具 27.8 億參數的模型，大幅縮小至最低約 3.9 GB，壓縮比率達 14 倍，足以裝入 iPhone 17 Pro 記憶體預算內。模型提供 1-bit 及 1.58-bit 三元（ternary）兩個版本。1-bit 版本主打極致壓縮，容量僅約 3.9 GB；ternary 版本則為 5.9 GB，主打手提電腦級別質素。
官方公布基準測試數據顯示，在 15 項基準測試中（涵蓋知識、推理、數學、程式編寫、指令跟隨、工具使用及視覺），ternary 版本保留全精度模型 95% 表現，1-bit 版本則保留 90%。PrismML 承認壓縮後模型準確度會稍微下降，且事實性知識退化速度比推理及程式能力更快。
Apple 評估合作 但仍屬初步階段
PrismML 早前傳出與 Apple 接觸。行政總裁 Babak Hassibi 接受 CNBC 訪問時證實，Apple 與其他企業正評估其模型技術，包括速度、耗電及裝置端效能表現。Babak Hassibi 未有透露洽談細節，但形容雙方討論仍屬初步階段，進展「相當順利」。有分析指出，合作範圍可能由單純技術授權，甚至 Apple 直接收購 PrismML 亦有可能。Apple 對此未有即時回應。
效能數據及裝置支援
效能數據方面，PrismML 表示 Bonsai 27B 在 NVIDIA GeForce RTX 5090 上，1-bit 版本每秒最高可處理 163 個 token，ternary 版本則可達 134 個 token。在 M5 Max 晶片上，兩個版本分別可達每秒 87 及 58 個 token。1-bit 版本專為高階流動裝置設計，官方 Hugging Face 頁面顯示，該版本在 iPhone 17 Pro Max 上每秒可處理約 11 個 token。模型同時上架 Together AI 平台，ternary 版本可經該平台免費 API 存取。
技術源自 Caltech 研究
PrismML 是加州理工學院（Caltech）衍生公司，行政總裁 Babak Hassibi 為該校電機工程學教授。Babak Hassibi 與聯合創辦人在校內完成支援此技術的數學研究，Caltech 持有相關專利並已獨家授權予 PrismML 商業化。公司今年初已完成 1,625 萬美元（約港幣 1 億 2,675 萬元）種子輪融資，投資者包括 Khosla Ventures 及 Cerberus Capital。是次發表令外界更關注 Apple 於裝置端 AI 的佈局，若技術成熟並得以實行，將有助縮短回應時間、降低雲端基礎設施成本，並強化 Apple 一貫主打的私隱訴求。
資料來源：TechNews
