Google XR Labs 推出「Vibe Coding XR」,透過 Gemini Canvas 配合開源框架 XR Blocks,將自然語言指令轉化為可運作的 WebXR 應用程式原型,整個生成過程最快只需 60 秒。目前支援 Android XR 生態系統及 Samsung Galaxy XR 裝置,降低 VR 與 AR 內容開發門檻。
這套工具的核心是開源模組化 WebXR 框架 XR Blocks,將空間運算複雜性抽象化為以人為本的組件,涵蓋物理模擬、手勢操控、空間介面、深度感應等功能,並基於 WebXR、three.js 及 LiteRT.js 等網頁技術構建。Gemini 透過 Gemini Canvas 介面接收用戶文字描述,自動組裝組件並生成完整可用 Android XR 應用程式。Google 展示的應用案例包括數學家教(視覺化歐拉定理)、物理實驗室、化學實驗室,以及 XR 版 Chrome 恐龍遊戲,後者的開發時間從原本需要數小時壓縮至幾分鐘以內。
即使未持有 Android XR 頭戴裝置,用戶亦可透過桌面 Chrome 內建「模擬實境」環境即時測試原型,體驗互動效果。深度感應、手部追蹤及物理模擬等進階功能,則需在實體 Android XR 裝置上才能完整體驗。Google 亦同步發布 VCXR-60 基準測試資料集,內含 20 位參與者在 4 次工作坊中提交的 60 個應用程式提示,並邀請 HCI、AI 及 XR 社群共同貢獻開源框架,同時將於 ACM CHI 2026 大會設立展位作現場示範。
根據 XR Blocks v0.11.0 的測試結果,使用 Gemini Pro 並啟用高階思考(High Thinking)模式,一次生成成功率可達 95.5%;Gemini Flash 則可在 17 至 22 秒內快速完成生成,成功率約 87%。Google 建議進行複雜 XR 原型設計時使用「Pro Mode」,以獲得最可靠的效果並減少 AI 幻覺(hallucination)問題。Vibe Coding XR 現階段主要針對快速原型設計,而非開發成熟商業產品,生成的應用程式可能仍需進一步改善。
資料來源:Google Research