今天小編分享的科學經驗：阿裡全新Agent玩轉手機：刷短視頻自主點贊評論，還學會了跨應用操作，歡迎閱讀。
會操縱手機的智能體，又迎來了全新更新！
新的 Agent 打破了 APP 的界限，能夠跨應用完成任務，成為了真 · 超級手機助手。
比如根據指示，它可以自行搜索籃球比賽的結果，然後根據賽況在備忘錄中撰寫文稿。
來自阿裡的一篇最新論文，展示了全新手機操縱智能體框架Mobile-Agent，可以玩轉 10 款應用，還能跨越 APP 完成用戶交給的任務，而且即插即用無需訓練。
依托多模态大模型，整個操縱過程完全基于視覺能力實現，不再需要給 APP 編寫 XML 操作文檔。
在 Mobile-Agent 還只有演示視頻的時候，就已經讓一眾網友為之驚豔：
和樹莓派結合到一起，将完爆 Rabbit R1（一款大模型硬體）。
想象一下如果它支持語音操縱，并且學會了說話……
那麼，Mobile-Agent 操縱手機到底有多 6 呢？
支持跨應用任務
目前，Mobile-Agent 已經學會了十個 APP 的操作，以及一些跨應用任務。
比如搜索導航路線、幫忙在購物網站下單，它總能精準找到搜索框并完成目标。
也可以 " 刷 " 視頻，然後點贊評論，看上去就像熟練的老手。
甚至是安裝應用、修改系統設定，也難不倒它。
而 Mobile-Agent 支持的跨應用操作，也是讓 " 手機助手 " 更加接近人類……
只見它打開天氣預報軟體，然後迅速根據讀取到的天氣數據在備忘錄中生成了報告。
而在 Mobile-Eval 數據集上的測試結果也顯示，Mobile-Agent 操縱手機的效率已經達到了人類的 80%。
研究人員在 10 款 APP 和跨應用任務上各測試了三種指令，收集了是否成功（SU）、操作評分（PS）、相對效率（RE）和完成率（CR）四項指标。
其中 SU 只有成功和不成功兩種情況，RE 是 Agent 所需操作步驟數和人類所需步驟數的比值，CR 則是 Agent 相對于人類操作的完成比例，PS 則以打分形式得出。
結果，針對三種指令，Mobile-Agent 的平均完成率都在 90% 以上，成功次數也不低于 80%。
而且，與此前的智能體不同，Mobile-Agent 不需要依賴應用說明文檔，而是完全依靠視覺能力實現。
基于 GPT-4V 實現
具體來說，Mobile-Agent 基于最強多模态大模型 GPT-4V 實現。
通過視覺感知模塊，Mobile-Agent 從設備的螢幕截圖中準确定位視覺和文本元素文本和圖示。
這一過程涉及到使用 OCR 工具和 CLIP 模型來确定圖示的位置。
通過這些視覺信息，Mobile-Agent 能夠将語言模型生成的操作指令映射到具體的螢幕位置，從而執行點擊等操作。
在執行任務時，Mobile-Agent 首先接收用戶的指令，然後根據當前螢幕截圖、操作歷史和系統提示生成下一步操作。
這個過程是迭代進行的，直到任務完成。
Mobile-Agent 還具備自我規劃能力，能夠根據操作歷史和系統提示自主規劃新的任務。
此外，它還引入了自我反思機制，在執行過程中，如果遇到錯誤或無效操作，它會根據螢幕截圖和操作歷史進行反思，嘗試替代操作或修改當前操作的參數。
目前，研究人員已經在 GitHub 中開源了 Mobile-Agent 測試過程中生成的指令記錄，程式代碼也已經發布，未來還計劃推出 APP 版本。
感興趣的小夥伴可以試一試了 ~
GitHub 主頁：
https://github.com/X-PLUG/MobilAgent
論文地址：
https://arxiv.org/abs/2401.16158
— 完 —
點這裡關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
