克雷西 发自 凹非寺量子位 | 公众号 QbitAI
会操纵手机的智能体，又迎来了全新升级！
新的Agent打破了APP的界限，能够跨应用完成任务，成为了真·超级手机助手。
比如根据指示，它可以自行搜索篮球比赛的结果，然后根据赛况在备忘录中撰写文稿。
![]()
来自阿里的一篇最新论文，展示了全新手机操纵智能体框架Mobile-Agent，可以玩转10款应用，还能跨越APP完成用户交给的任务，而且即插即用无需训练。
依托多模态大模型，整个操纵过程完全基于视觉能力实现，不再需要给APP编写XML操作文档。
在Mobile-Agent还只有演示视频的时候，就已经让一众网友为之惊艳：
和树莓派结合到一起，将完爆Rabbit R1（一款大模型硬件）。
想象一下如果它支持语音操纵，并且学会了说话……
![]()
那么，Mobile-Agent操纵手机到底有多6呢？
支持跨应用任务
目前，Mobile-Agent已经学会了十个APP的操作，以及一些跨应用任务。
![]()
比如搜索导航路线、帮忙在购物网站下单，它总能精准找到搜索框并完成目标。
![]()
也可以“刷”视频，然后点赞评论，看上去就像熟练的老手。
![]()
甚至是安装应用、修改系统设置，也难不倒它。
![]()
而Mobile-Agent支持的跨应用操作，也是让“手机助手”更加接近人类……
只见它打开天气预报软件，然后迅速根据读取到的天气数据在备忘录中生成了报告。
![]()
而在Mobile-Eval数据集上的测试结果也显示，Mobile-Agent操纵手机的效率已经达到了人类的80%。
研究人员在10款APP和跨应用任务上各测试了三种指令，收集了是否成功（SU）、操作评分（PS）、相对效率（RE）和完成率（CR）四项指标。
其中SU只有成功和不成功两种情况，RE是Agent所需操作步骤数和人类所需步骤数的比值，CR则是Agent相对于人类操作的完成比例，PS则以打分形式得出。
![]()
结果，针对三种指令，Mobile-Agent的平均完成率都在90%以上，成功次数也不低于80%。
而且，与此前的智能体不同，Mobile-Agent不需要依赖应用说明文档，而是完全依靠视觉能力实现。
基于GPT-4V实现
具体来说，Mobile-Agent基于最强多模态大模型GPT-4V实现。
通过视觉感知模块，Mobile-Agent从设备的屏幕截图中准确定位视觉和文本元素文本和图标。
这一过程涉及到使用OCR工具和CLIP模型来确定图标的位置。
通过这些视觉信息，Mobile-Agent能够将语言模型生成的操作指令映射到具体的屏幕位置，从而执行点击等操作。
![]()
在执行任务时，Mobile-Agent首先接收用户的指令，然后根据当前屏幕截图、操作历史和系统提示生成下一步操作。
这个过程是迭代进行的，直到任务完成。
![]()
Mobile-Agent还具备自我规划能力，能够根据操作历史和系统提示自主规划新的任务。
![]()
此外，它还引入了自我反思机制，在执行过程中，如果遇到错误或无效操作，它会根据屏幕截图和操作历史进行反思，尝试替代操作或修改当前操作的参数。
![]()
目前，研究人员已经在GitHub中开源了Mobile-Agent测试过程中生成的指令记录，程序代码也已经发布，未来还计划推出APP版本。
感兴趣的小伙伴可以试一试了~
GitHub主页：https://github.com/X-PLUG/MobilAgent论文地址：https://arxiv.org/abs/2401.16158
— 完 —
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
![]()
会操纵手机的智能体，又迎来了全新升级！
新的Agent打破了APP的界限，能够跨应用完成任务，成为了真·超级手机助手。
比如根据指示，它可以自行搜索篮球比赛的结果，然后根据赛况在备忘录中撰写文稿。
来自阿里的一篇最新论文，展示了全新手机操纵智能体框架Mobile-Agent，可以玩转10款应用，还能跨越APP完成用户交给的任务，而且即插即用无需训练。
依托多模态大模型，整个操纵过程完全基于视觉能力实现，不再需要给APP编写XML操作文档。
在Mobile-Agent还只有演示视频的时候，就已经让一众网友为之惊艳：
和树莓派结合到一起，将完爆Rabbit R1（一款大模型硬件）。
想象一下如果它支持语音操纵，并且学会了说话……
那么，Mobile-Agent操纵手机到底有多6呢？
支持跨应用任务
目前，Mobile-Agent已经学会了十个APP的操作，以及一些跨应用任务。
比如搜索导航路线、帮忙在购物网站下单，它总能精准找到搜索框并完成目标。
也可以“刷”视频，然后点赞评论，看上去就像熟练的老手。
甚至是安装应用、修改系统设置，也难不倒它。
而Mobile-Agent支持的跨应用操作，也是让“手机助手”更加接近人类……
只见它打开天气预报软件，然后迅速根据读取到的天气数据在备忘录中生成了报告。
而在Mobile-Eval数据集上的测试结果也显示，Mobile-Agent操纵手机的效率已经达到了人类的80%。
研究人员在10款APP和跨应用任务上各测试了三种指令，收集了是否成功（SU）、操作评分（PS）、相对效率（RE）和完成率（CR）四项指标。
其中SU只有成功和不成功两种情况，RE是Agent所需操作步骤数和人类所需步骤数的比值，CR则是Agent相对于人类操作的完成比例，PS则以打分形式得出。
结果，针对三种指令，Mobile-Agent的平均完成率都在90%以上，成功次数也不低于80%。
而且，与此前的智能体不同，Mobile-Agent不需要依赖应用说明文档，而是完全依靠视觉能力实现。
基于GPT-4V实现
具体来说，Mobile-Agent基于最强多模态大模型GPT-4V实现。
通过视觉感知模块，Mobile-Agent从设备的屏幕截图中准确定位视觉和文本元素文本和图标。
这一过程涉及到使用OCR工具和CLIP模型来确定图标的位置。
通过这些视觉信息，Mobile-Agent能够将语言模型生成的操作指令映射到具体的屏幕位置，从而执行点击等操作。
在执行任务时，Mobile-Agent首先接收用户的指令，然后根据当前屏幕截图、操作历史和系统提示生成下一步操作。
这个过程是迭代进行的，直到任务完成。
Mobile-Agent还具备自我规划能力，能够根据操作历史和系统提示自主规划新的任务。
此外，它还引入了自我反思机制，在执行过程中，如果遇到错误或无效操作，它会根据屏幕截图和操作历史进行反思，尝试替代操作或修改当前操作的参数。
目前，研究人员已经在GitHub中开源了Mobile-Agent测试过程中生成的指令记录，程序代码也已经发布，未来还计划推出APP版本。
感兴趣的小伙伴可以试一试了~
GitHub主页：https://github.com/X-PLUG/MobilAgent论文地址：https://arxiv.org/abs/2401.16158
— 完 —
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~