人工智能公司 H Company 正式發布全新客戶端 HoloDesktop CLI，允許 AI 代理直接操作專為人類設計的桌面螢幕。新工具為 AI 代理加入「檢視螢幕」與「操作電腦」全新功能，打破以往 AI 只能處理背後數據的限制。HoloDesktop CLI 讓 AI 代理能夠像人類一樣看著螢幕、移動滑鼠並輸入鍵盤，在沒有專用 API 情況下也能跨作業系統執行複雜任務，全面解放自動化工作流程。
▲ H Company 推出 HoloDesktop CLI，讓 AI 代理能像人類一樣看著螢幕並操作電腦。
突破傳統手眼限制 模擬人類鍵盤滑鼠操作
以往 AI 代理在編寫程式碼、呼叫外部工具和總結搜尋結果等工作上表現出色。然而對於人類通常需要手眼協調完成的操作，例如點擊螢幕上的按鈕，或者查看以相片形式儲存的單據，以往 AI 就難以勝任。
HoloDesktop CLI 作為執行 H Company 旗下電腦操作 AI 代理「H Agent」的客戶端，能夠在檢視螢幕的同時，執行整個作業系統範圍內的滑鼠操作與鍵盤輸入。即使應用程式沒有提供專用 AI API，H Agent 也能像人類一樣瀏覽螢幕並完成工作。
▲ 透過檢視螢幕功能，AI 代理可自行尋找畫面按鈕並進行點擊操作。
協同現有 AI 工具 實現全自動除錯測試
系統同時支援 MCP（連接外部工具）、ACP（主代理指派任務予子代理）以及 A2A（代理之間相互連接）架構，可以輕鬆整合到現有 AI 代理環境中，與 Claude Code、Cursor、Codex、HermesClaw 和 Nemolaw 等工具協同工作。
舉例而言，如果使用 Claude Code 為網頁應用程式新增功能，以往只能處理程式碼變更，但實際登入、瀏覽畫面以及驗證篩選器是否正常運作，則必須透過圖形介面（GUI）互動。現在配合 HoloDesktop CLI，自由度大幅提升。Claude Code 建立新功能後，就能將測試工作交給 HoloDesktop CLI 執行。當 HoloDesktop CLI 找出螢幕上的錯誤，Claude Code 就會進行修復，隨後再由 HoloDesktop CLI 重新檢查，實現全自動除錯。
本地模式保障私隱 設緊急雙擊停止開關
在處理效能與私隱方面，用戶可以自由選擇運作方式。用戶可以選用 H Company 的模型 API 享受便利服務，或者選擇自行架設配置，在個人硬件裝置上執行 Holo3.1 系列模型。在本機模式下，螢幕截圖、按鍵輸入以及應用程式內容均不會對外傳送，全面保障資料安全。
由於程式會直接操作個人電腦，為確保安全，系統除了提供停止操作的指令，還特別加入緊急停止開關。用戶只需快速連按兩次「Esc」鍵，即可立即暫停並取消正在執行的操作。目前 HoloDesktop CLI 以及發布在程式碼庫中的整合部分均採用開源 Apache 2.0 授權發行，不過實際執行代理程式的「hai-agent-runtime」二進位檔案仍屬於閉源組件。H Company 計劃開發後台模式，讓 H Agent 能夠在用戶繼續使用手提電腦的同時於背景運作，並計劃推出原生應用程式與雲端電腦操作代理服務，在單一電腦之外同時執行多個代理程式。
資料來源：H Company
