今天小编分享的科学经验：阿里全新Agent玩转手机：刷短视频自主点赞评论，还学会了跨应用操作，欢迎阅读。
会操纵手机的智能体，又迎来了全新更新！
新的 Agent 打破了 APP 的界限，能够跨应用完成任务，成为了真 · 超级手机助手。
比如根据指示，它可以自行搜索篮球比赛的结果，然后根据赛况在备忘录中撰写文稿。
来自阿里的一篇最新论文，展示了全新手机操纵智能体框架Mobile-Agent，可以玩转 10 款应用，还能跨越 APP 完成用户交给的任务，而且即插即用无需训练。
依托多模态大模型，整个操纵过程完全基于视觉能力实现，不再需要给 APP 编写 XML 操作文档。
在 Mobile-Agent 还只有演示视频的时候，就已经让一众网友为之惊艳：
和树莓派结合到一起，将完爆 Rabbit R1（一款大模型硬體）。
想象一下如果它支持语音操纵，并且学会了说话……
那么，Mobile-Agent 操纵手机到底有多 6 呢？
支持跨应用任务
目前，Mobile-Agent 已经学会了十个 APP 的操作，以及一些跨应用任务。
比如搜索导航路线、帮忙在购物网站下单，它总能精准找到搜索框并完成目标。
也可以 " 刷 " 视频，然后点赞评论，看上去就像熟练的老手。
甚至是安装应用、修改系统設定，也难不倒它。
而 Mobile-Agent 支持的跨应用操作，也是让 " 手机助手 " 更加接近人类……
只见它打开天气预报軟體，然后迅速根据读取到的天气数据在备忘录中生成了报告。
而在 Mobile-Eval 数据集上的测试结果也显示，Mobile-Agent 操纵手机的效率已经达到了人类的 80%。
研究人员在 10 款 APP 和跨应用任务上各测试了三种指令，收集了是否成功（SU）、操作评分（PS）、相对效率（RE）和完成率（CR）四项指标。
其中 SU 只有成功和不成功两种情况，RE 是 Agent 所需操作步骤数和人类所需步骤数的比值，CR 则是 Agent 相对于人类操作的完成比例，PS 则以打分形式得出。
结果，针对三种指令，Mobile-Agent 的平均完成率都在 90% 以上，成功次数也不低于 80%。
而且，与此前的智能体不同，Mobile-Agent 不需要依赖应用说明文档，而是完全依靠视觉能力实现。
基于 GPT-4V 实现
具体来说，Mobile-Agent 基于最强多模态大模型 GPT-4V 实现。
通过视觉感知模块，Mobile-Agent 从设备的螢幕截图中准确定位视觉和文本元素文本和圖示。
这一过程涉及到使用 OCR 工具和 CLIP 模型来确定圖示的位置。
通过这些视觉信息，Mobile-Agent 能够将语言模型生成的操作指令映射到具体的螢幕位置，从而执行点击等操作。
在执行任务时，Mobile-Agent 首先接收用户的指令，然后根据当前螢幕截图、操作历史和系统提示生成下一步操作。
这个过程是迭代进行的，直到任务完成。
Mobile-Agent 还具备自我规划能力，能够根据操作历史和系统提示自主规划新的任务。
此外，它还引入了自我反思机制，在执行过程中，如果遇到错误或无效操作，它会根据螢幕截图和操作历史进行反思，尝试替代操作或修改当前操作的参数。
目前，研究人员已经在 GitHub 中开源了 Mobile-Agent 测试过程中生成的指令记录，程式代码也已经发布，未来还计划推出 APP 版本。
感兴趣的小伙伴可以试一试了 ~
GitHub 主页：
https://github.com/X-PLUG/MobilAgent
论文地址：
https://arxiv.org/abs/2401.16158
— 完 —
点这里关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>
