惊讶!吴恩达:AI 智能体可以接近GPT-5


大家好,我是花哥。本文总结了吴恩达最新的演讲《AI 智能体的未来》,以下正文:
我很期待与大家分享我在 AI 智能体中所看到的。我认为(大模型+AI智能体)是一个令人兴奋的趋势,每个 AI 从业者都应该关注这个趋势。

我要分享的是AI智能体。现在,我们大多数人使用大型语言模型的方式是:在对话框中输入提示并生成答案。这类似于让一个人根据提示写出相关文章。AI大模型在不使用退格键的前提下,完成这样的任务仍然非常出色。

智能体工作流包括:使用AI大模型撰写论文大纲,按需联网查资料,写初稿并审阅,思考并修改需要改进的部分,然后继续迭代此过程。这种工作流程使迭代变得更加容易,可以通过AI大模型的思考和修改,多次迭代优化文章。

很多人都没有意识到的是,这么做的效果好得多。其实我自己也很惊讶。对于它们的工作决策流程,以及它们优秀的表现。除了这些个案研究,我的团队也分析了一些数据,使用名为 HumanEval 的编程评估基准。这是 OpenAI 几年前发布的。这上面有一些编程问题,比如给定一个非空整数列表,返回位于偶数位置的所有奇数元素的和。AI 生成的答案是像这样的代码片段。

如今,很多人使用零样本提示,例如让 AI 编写代码并运行。但事实上,直接使用 GPT-3.5 的准确率只有 48%,而 GPT-4 则达到了 67%。但如果在智能体工作流中使用 GPT-3.5,其表现可能会更好,甚至超过 GPT-4。这说明在特定工作流中,GPT-3.5 的性能可以超过 GPT-4。这是一个值得我们关注的信号。

人们围绕智能体及其任务进行了大量讨论,并产生了众多咨询报告。我想分享我在智能体领域观察到的常见设计模式。这是一个充满混乱和变革的空间,众多研究和活动正在进行。我尝试对其进行更具体的分类和讨论。
在演讲中,吴恩达介绍了 AI 智能体工作流的四种设计模式:
反思(Reflection):LLM 检查自己的工作,以提出改进方法。
工具使用(Tool use):LLM 拥有网络搜索、代码执行或任何其他功能来帮助其收集信息、采取行动或处理数据。
规划(Planning):LLM 提出并执行一个多步骤计划来实现目标(例如,撰写论文大纲、进行在线研究,然后撰写草稿......)。
多智能体协作(Multi-agent collaboration):多个 AI 智能体一起工作,分配任务并讨论和辩论想法,以提出比单个智能体更好的解决方案。

Reflection是一种有效的工具,与广泛认可的“tool use”一样强大。我使用它们时,常能取得良好效果。尽管规划和多智能体协作是新兴技术,其效果有时令人震惊,但目前尚不可靠。
接下来,我将解释四种设计模式。若你们或你们的工程师采用这些模式,我相信生产力将得到提升。
首先是reflection。例如,请系统编写给定任务的代码,然后利用代码智能体检查代码的正确性、效率等。根据提示,大模型可能发现代码中的问题,如第五行的bug,并提供改进建议。这种方法值得尝试。

关于tool use,如果单元测试未通过,通过对话可找出原因并尝试修正。对于技术兴趣者,我在PPT底部提供了推荐阅读资料。再谈多智能体系统,它可视为单个代码智能体,通过对话进行互动。一个自然演变是单个编程智能体,包含编码和评价两个智能体,背后可能使用同一大模型但提示不同。这种工作流易实现且通用,能显著提升大型语言模型性能。

第二种设计模式是tool use(工具使用)。Copilot和GPT-4都是基于大模型的系统使用工具。Copilot通过上网检索解决问题,而GPT-4则能生成并运行代码。人们使用多种工具分析、收集信息以采取行动、提高个人生产力。早期tool use的工作多在计算机视觉社区,因为以前的大型语言模型无法处理图像,所以只能通过函数调用操作图像,如生成图像或目标检测等。tool use扩展了大型语言模型的能力。

关于planning(规划),对于未深入接触过规划算法的人来说,可能会觉得ChatGPT等AI技术令人惊叹。实际上,规划算法同样令人印象深刻。在现场演示中,即使AI智能体偶尔失败,它们也能迅速重新规划路径,这同样令人惊叹。例如,在HuggingGPT论文改编的例子中,AI智能体可以根据指令生成一张女孩看书的图像,其姿态与给定男孩图像中的姿态相同。这一过程中,首先确定男孩的姿态,然后找到合适的模型提取姿态。接着,使用姿态图像模型生成女孩的图像,再使用图像-文本模型得到描述,最后使用文本转语音模型读出描述。这一系列操作展示了AI智能体在规划方面的强大能力。

我们已有 AI 智能体,尽管它们可能挑剔且并非总是可靠,但当它们有效时,效果惊人。使用智能体循环,有时可以解决前期问题。我使用研究智能体处理部分工作,避免长时间的谷歌搜索。多智能体协作模式特别有趣,效果超乎想象。ChatDev 是多智能体系统的一个开源实例,可以扮演不同角色并协作。虽然结果有时不尽如人意,但技术正在改进。此外,多智能体辩论也能带来更好的性能。因此,多个 AI 智能体共同工作是一种强大的设计模式。

总结一下,这些是我看到的模式。我认为如果我们在我们的工作中使用这些模式,我们中的很多人可以很快获得实践上的提升。我认为智能体推理设计模式将会非常重要。这是我的简要 PPT。我预计,今年 AI 能做的事情将大幅扩展,这得益于智能体工作流。

人们往往期望在输入提示后立即得到结果,这是人性使然。然而,对于许多AI智能体工作流,我们需要学会分配任务并耐心等待它们的回应,即使可能需要几分钟或几小时。此外,快速生成大量token对于迭代和优化AI智能体至关重要。尽管使用质量稍低的大模型可能带来争议,但快速生成更多token仍然可以带来良好的结果。
我期待着Claude 4、GPT-5和Gemini 2.0等出色的大模型,我感觉,如果你期待在 GPT-5 上运行你的任务,以零样本的方式,你可能在一些 AI 智能体应用上可以接近那个水平的性能,这可能超乎你的想象,有了智能体推理,再加上之前发布的大模型。我认为这是一个重要的趋势。
通往AGI的道路更像是一段旅程而非目的地,而智能体工作流可以帮助我们在这漫长的旅程中向前迈进。
到顶部