Meta 旗下個人 AI Agent 人工智能代理「Muse」推出全新 Chrome 瀏覽器擴充功能「Muse from Meta」,讓人工智能直接操作用戶電腦上的 Chrome 瀏覽器,包括搜尋資料、開啟網站、填寫表格、比較商品價格及跟進退款。最特別之處是 Muse 可以直接使用用戶已登入的網站帳戶,毋須重新輸入密碼,令 AI Agent 更容易接手日常網上工作。擴充功能現已登上 Chrome 線上應用程式商店,免費提供安裝。


直接操作你本身一直用緊的 Chrome 不用再將帳戶資料交給雲端瀏覽器
我們之前都介紹過 Meta Muse 人工智能助理,但當時它屬於一個獨立軟件,幫你在網上做事時,需要動用 Meta 雲端電腦所提供的瀏覽器。但問題來了,現時網絡服務眾多,你需要在 Meta Muse 的虛擬電腦上重新登入帳戶,才可命令 AI 幫你做事。很多用家都不會放心,將自己的帳戶在 Muse 的虛擬電腦上登入。
今次 Muse 的 Chrome 瀏覽器插件就完全解決了這個問題。它的最重要突破,是 Muse 可以沿用 Chrome 現有網站登入狀態。例如用戶已在 Chrome 登入某個購物網站或社交平台,Muse 便可以在獲授權的操作範圍內使用該網站,毋須重新登入帳戶。除了更加安全,效能亦可以比起雲端電腦更好。
安裝方法
進入 Chrome Web Store 的下載頁面,就可下載及安裝「Muse from Meta」插件。安裝後,按插件工具列的 Muse 按鈕一Chrome 側邊欄會出現 Muse 對話介面。用戶無論正在瀏覽哪個網站,都可以直接向 Muse 下達指令,毋須離開當前頁面或另外開啟 AI 網站。
(((點擊這個連結,跳到 Chrome Web Store 下載頁面)))

▲利用 Chrome 瀏覽器到 Chrome 線上應用程式商店的下載頁面,按「加到 Chrome」按鈕便可安裝

▲在工具列點擊 Muse 圖示,它就會在瀏覽器右方顯示側邊欄,第一次使用時按「登入」登入你的 Facebook 帳戶

▲看過幾頁小介紹後,Muse AI 代理就可以開始工作
用戶可以要求 Muse 在不同購物網站搜尋指定商品,整理價格及優惠資訊;亦可以交由 AI 填寫網上表格、跟進訂單及退款進度。這類操作與一般 AI 聊天機械人有明顯分別。傳統 AI 主要提供答案及建議,Muse 則可以按照指令,在瀏覽器內執行多個連續步驟。
示範 1:叫 Muse 幫我為正在觀看的影片截圖
今次小編正在觀看一段 YouTube 影片,開啟 Muse 側邊欄,希望他為我截取我們的主持人沙律,在此影片中的不同鏡頭。你可以點擊對話框上方的「讓 Muse 控制此分頁」功能,賦予 AI 操作該網頁的權限。


▲首先,你要按「讓 Muse 控制此分頁」給 AI 代理權限
接著可以直接在訊息欄輸入複雜的指令。

▲之後,寫出你的要求。你可以叫 AI 助理做任何事,所有按滑鼠、看網頁的工作它都可以做,也包括今次我們叫它為我截圖
送出指令後,瀏覽器頂部會出現「已與 Muse 分享」的小圖示與偵錯提示橫幅,代表 AI 已經獲得畫面讀取權限,正在背景觀看並分析這段影片。AI 代理會像真人一樣逐段觀看影片,精準尋找目標人物出現的位置。

▲Muse 收到指令後,就會接管你的瀏覽器視窗。例如今次要他幫我截取畫面截圖,它就會不斷操作瀏覽器
收集完所需的截圖後,它會將圖片與說明文件打包成一個壓縮檔。當你下載了這個壓縮檔後,就會找到今次示範的輸出成果,就是 Muse 為我截取的影片畫面截圖,內裡有主持人不同角度的鏡頭。

▲Muse 幫我做好畫面截圖,之後輸出 ZIP 檔案,按允許就可建立連結

▲點擊連結就可下載

▲我們叫 AI 幫手做的事就完成。他還會附有一個 README 說明檔案
用戶可隨時按 Esc 中止 AI 瀏覽器操作
讓 AI 控制已登入個人帳戶的瀏覽器,同時帶來安全及私隱問題。Meta 為 Chrome 擴充功能加入操作控制機制。當 Muse 正在使用 Chrome 時,用戶可以透過瀏覽器視窗觀看操作過程。如果發現 AI 前往錯誤網站,或正在進行不符合預期的操作,用戶可以直接點擊網頁、按下鍵盤 Esc 鍵,或將分頁移出 Muse 專用群組,暫停 Muse 並接管操作。
涉及購物付款等重要行為,Muse 預設會要求用戶確認;相關審批設定亦可以在權限選項中管理。系統會保留活動紀錄,方便用戶查閱。
示範 2:叫 Muse 在淘寶頁面幫我找資料
Muse 的 Chrome 插件能夠沿用瀏覽器的登入狀態,直接幫你處理私人的帳戶事務。例如我們已經登入了購物網站(如淘寶),只需喚醒側邊欄的 Muse AI 助理並點擊控制此分頁,就可讓 AI 為你工作。

你可以直接輸入口語化的指令:「請找出我最後訂的貨送到來未」。 系統接收到指令後,會自動在背景執行網頁導航,前往訂單管理頁面進行盤查。它會精準鎖定最新交易,並自動點開該筆訂單的物流詳情視窗。

▲同樣我們先按「讓 Muse 控制此分頁」給 AI 助理權限去控制 Chrome 瀏覽器

▲再輸入你的指令
讀取視窗內的文字狀態後,它會在側邊欄生成一份條理分明的物流摘要報告,直接告訴您負責的快遞公司以及包裹目前的最新位置。

▲AI 助理可從購物網站主頁,自動進入訂單頁面,並且為我找出了最新一張訂單,之後為我查看物流情況;

▲在處理完畢後,Muse 會為我報告我的訂單進度
這次小編就繼續追問「我訂的一條hifi喇叭線而家送到去邊」,助理不會因為前一個查詢目標而感到混淆,它會繼續在訂單列表中往下搜尋,準確找出對應的喇叭線商品,最後 AI 幫我找到這件產品現在到了集運倉。

▲之後我可以繼續追問其他訂單的情況

▲Muse 會在我的訂單頁面一直找下去,直到找出 HiFi 線的最新訂單為止

▲最後 Muse 為我找出來這條 HiFi 線的運輸進度,看到它已在集運倉
總結:識得用 AI 助理,你可以騰出好多空閒時間
過去需要人手不斷開啟網頁、點擊連結、輸入資料的工作,現在可以逐步交由 AI 執行,特別是你不用將網購、訂機票的帳戶資料交給雲端電腦,感覺上安全得多。

雖然 AI 助理工作速度仍然很慢,但好處是你可以不斷將工作交給他。一些趕急的事,你自己操作瀏覽器會更快,但你想處理一大堆不趕急的事,你大可交給 AI 助理幫你處理,你就可以去喝杯咖啡,回頭返來 AI 助理就會為你做好。
現時 Muse 人工智能助理在指定額度下可以免費使用,根據實際體驗,一般正常用家都可一直免費用而不用擔心用量。有興趣的朋友,可參考我們之前的一篇文章登記使用。

