梦晨 发自 凹非寺量子位 | 公众号 QbitAI
这一天还是来了，AI在操作系统里启动了一个自己的副本。
![]()
往小了说，不过是多模态大模型通过操纵鼠标键盘的API执行任务。
往大了说，也可以算是“AI复制自己”的雏形了。
![]()
（别被作者的蓝天白云壁纸骗到了，这其实是MacOS）
从AI这一顿眼花缭乱的操作中可以看出，核心是多模态大模型，通过截图判断屏幕上正在发生什么，生成下一步操作的计划，调用系统接口执行之后再次截图。
![]()
要按网友建议加上语音识别功能，真就能模拟钢铁侠的贾维斯了。
![]()
AI能不能复制自己，是OpenAI内部始终关注的安全测试内容之一。但GPT-4出道至今，这项测试结果一直没有公布。
![]()
如今，先不管模型本身有没有这个能力，接入GPT4V的开源项目已经可以做到了。
AI与操作系统结合
这个开源项目叫做Open Interpreter，GitHub热榜常客，半年时间已积攒3.7万星。
![]()
从名字也可以看出，最早只是一个ChatGPT代码解释器的开源升级版。
与OpenAI官方版相比，没有3小时50条对话的限制，以及可以连接网络、可以自定义预安装的Python包等等好处。
发布不久后初代作者Killian Lucas就想到，为什么一定要在虚拟沙箱环境执行代码？直接让AI接入真实系统有更大的可能性。
于是，第二个大版本就是操作系统级AI Agent了。
![]()
Open Interpreter最近更新了第三个大版本，其中接入的大模型改为多模态版本。
![]()
核心贡献者Ty Fiero展示了AI自动发送邮件。
![]()
以及更复杂的AI操作专业编曲软件作曲。
![]()
团队在这个版本设计了全新的Computer API，并且与原本的Open Interpreter分离，可以独立运作。
![]()
在新版本更新文档中，可以看出团队更大的野心：着手开发AI时代新的计算机架构，也就是语言模型计算机LMC（Language Model Computer）。
![]()
Kilian借助CES上199元的AI掌机Rabbit R1爆火的机会公开招募开发者加入，打算快速复刻一个开源版本，硬件成本不到50美元。
![]()
不到48小时，就有超过200位工程师和设计师愿意加入这个项目，评论区中还不断有人继续申请中。
![]()
不知道这个团队回复大量应聘邮件和私信，用的是不是AI。
参考链接：[1]https://twitter.com/fieroty/status/1746639975234560101[2]https://github.com/KillianLucas/open-interpreter
— 完 —
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
![]()
这一天还是来了，AI在操作系统里启动了一个自己的副本。
往小了说，不过是多模态大模型通过操纵鼠标键盘的API执行任务。
往大了说，也可以算是“AI复制自己”的雏形了。
（别被作者的蓝天白云壁纸骗到了，这其实是MacOS）
从AI这一顿眼花缭乱的操作中可以看出，核心是多模态大模型，通过截图判断屏幕上正在发生什么，生成下一步操作的计划，调用系统接口执行之后再次截图。
要按网友建议加上语音识别功能，真就能模拟钢铁侠的贾维斯了。
AI能不能复制自己，是OpenAI内部始终关注的安全测试内容之一。但GPT-4出道至今，这项测试结果一直没有公布。
如今，先不管模型本身有没有这个能力，接入GPT4V的开源项目已经可以做到了。
AI与操作系统结合
这个开源项目叫做Open Interpreter，GitHub热榜常客，半年时间已积攒3.7万星。
从名字也可以看出，最早只是一个ChatGPT代码解释器的开源升级版。
与OpenAI官方版相比，没有3小时50条对话的限制，以及可以连接网络、可以自定义预安装的Python包等等好处。
发布不久后初代作者Killian Lucas就想到，为什么一定要在虚拟沙箱环境执行代码？直接让AI接入真实系统有更大的可能性。
于是，第二个大版本就是操作系统级AI Agent了。
Open Interpreter最近更新了第三个大版本，其中接入的大模型改为多模态版本。
核心贡献者Ty Fiero展示了AI自动发送邮件。
以及更复杂的AI操作专业编曲软件作曲。
团队在这个版本设计了全新的Computer API，并且与原本的Open Interpreter分离，可以独立运作。
在新版本更新文档中，可以看出团队更大的野心：着手开发AI时代新的计算机架构，也就是语言模型计算机LMC（Language Model Computer）。
Kilian借助CES上199元的AI掌机Rabbit R1爆火的机会公开招募开发者加入，打算快速复刻一个开源版本，硬件成本不到50美元。
不到48小时，就有超过200位工程师和设计师愿意加入这个项目，评论区中还不断有人继续申请中。
不知道这个团队回复大量应聘邮件和私信，用的是不是AI。
参考链接：[1]https://twitter.com/fieroty/status/1746639975234560101[2]https://github.com/KillianLucas/open-interpreter
— 完 —
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~