英伟达揭秘新的工业革命范式:AI工厂,下一代GPU平台 Rubin ,机器人,数字人交互



刚刚NVIDIA 黄仁勋在本周举行的 COMPUTEX 技术大会上分享人工智能时代如何在全球范围内推动一场新的工业革命
黄仁勋透露了新半导体的路线图,该路线图将以一年的节奏推出。 Rubin 平台首次亮相,将接替即将推出的 Blackwell 平台,配备新的 GPU、新的基于 Arm 的 CPU — Vera — 以及采用 NVLink 6、CX9 SuperNIC 和 X1600 融合 InfiniBand/以太网交换机的高级网络AI 工厂,推动新工业革命
以下是老黄演讲中文实录
开场白‍‍‍‍‍‍‍‍‍
英伟达Omniverse

今天,我想和大家谈谈几件事:
1. 我们共同努力的意义和当前所发生的事情‍
2. 生成式人工智能是什么,它对我们的行业和所有行业的影响‍
3. 我们将如何前进,如何抓住这个绝佳的机会,以及未来会发生什么
生成式人工智能及其影响、我们的蓝图以及未来发展,这些都是激动人心的时刻。 这标志着我们计算机行业的重启,一个由你们塑造和创造的行业,而现在你们已经为下一段重大旅程做好了准备。
在开始之前,我想介绍一下英伟达。 英伟达位于计算机图形学、模拟和人工智能的交汇点。这是我们的核心。今天我向大家展示的一切都是模拟,是数学,是科学,是计算机科学,是令人惊叹的计算机架构,没有一个是动画,全部都是我们自己制作的。这是英伟达的灵魂,我们把它倾注到这个名为“Omniverse”的虚拟世界中
一段虚拟现实场景视频,展示了英伟达 Omniverse 的强大功能



我想用中文和大家交流,但我有很多要讲,用中文思考太费力了,所以只能用英文和大家交流。
一切的基础是两项根本技术 
加速计算和人工智能
一切的基础是两项根本技术: 加速计算和人工智能,它们在 Omniverse 中运行。这两项技术,这两股计算领域的力量,将重塑计算机行业。计算机行业至今已有 60 年历史,在许多方面,我们今天所做的一切都是 1964 年,也就是我出生后的第二年,由 IBM System 360 发明的。IBM System 360 引入了中央处理单元 (CPU),通用计算,通过操作系统将硬件和软件分离,多任务处理,I/O 子系统,DMA,以及我们今天使用的所有技术。架构兼容性、向后兼容性、系列兼容性,所有我们今天所知道的关于计算的知识,基本上都在 1964 年就已描述出来了。
当然,个人电脑革命使计算普及,让每个人都能拥有和使用计算机。 然后在 2007 年,iPhone 推出了移动计算,将计算机放进了我们的口袋。从那时起,一切都被连接起来,并始终在运行,通过移动云。
在过去 60 年中,我们见证了几个,实际上并没有很多,只有两到三个重大的技术转变。 计算机领域发生了两到三次剧烈变化,而我们即将再次见证这种变化。
有两个基本的事情正在发生:
第一,处理器的性能,也就是计算机行业的运行引擎,中央处理单元 (CPU) 的性能提升速度急剧放缓,而我们必须完成的计算量却在快速增长,呈指数级增长。如果处理需求,也就是我们需要处理的数据继续呈指数级增长,而性能却无法跟上,我们将面临计算通货膨胀。事实上,我们现在正在经历这种情况。全世界使用的机房电力正在大幅增长,计算成本正在上升,我们正在目睹计算通货膨胀
‍‍
这种情况当然无法持续。数据将继续呈指数级增长,而 CPU 的性能提升速度将永远不会恢复
‍‍
有更好的方法。 近二十年来,我们一直在研究加速计算。CUDA 增强了 CPU,将工作卸载到专用处理器,使其能够做得更好,事实上,性能非常出色,现在已经非常明确,随着 CPU 性能提升速度放缓,甚至基本停止,我们应该加速所有东西。
我预测,每个需要大量处理的应用程序都会被加速,而且每个数据中心都将被加速。 这是未来的趋势。
加速计算非常明智,非常合乎常理。 如果你看一下应用程序,这里 “100t” 代表 100 个时间单位,可能是 100 秒,也可能是 100 小时,在许多情况下,我们现在正在开发运行 100 天的人工智能应用程序。ONT 是需要顺序处理的代码,单线程 CPU 在这种情况下非常重要。操作系统控制逻辑,必须确保一条指令在另一条指令执行后才执行。然而,许多算法,例如计算机图形学,可以完全并行执行。计算机图形学、图像处理、物理模拟、组合优化、图处理、数据库处理,当然还有深度学习中非常著名的线性代数,这些都是非常适合通过并行处理进行加速的算法类型。
因此,我们发明了一种架构来做到这一点,即在 CPU 中添加 GPU。 专用处理器可以将耗时很长的任务加速到极快的速度,因为这两个处理器可以并排工作,它们都是自主的,都是独立的,这意味着我们可以将原本需要 100 个时间单位才能完成的任务缩短到一个时间单位。速度提升令人难以置信,几乎令人难以置信,但今天我将向大家展示很多例子,其好处非常显著。
速度提升 100 倍,而功耗却只增加了大约 3 倍,成本只增加了大约 50%。 我们在个人电脑行业一直都在做这件事,我们在 1000 美元的个人电脑中添加一个 500 美元的 GPU,也就是 GeForce GPU,性能会大幅提升。我们在价值数十亿美元的数据中心中添加价值 5 亿美元的 GPU,它瞬间就变成了一个 AI 工厂。这一切今天都在世界各地发生。
节省的成本非常惊人。 你能获得 60 倍的性能/美元比,速度提升 100 倍,功耗只增加 3 倍,速度提升 100 倍,成本只增加 1.5 倍。节省的成本是巨大的,用美元来衡量。
很明显,许多公司花费数亿美元在云端处理数据。 如果这些数据被加速处理,那么节省数亿美元也就不足为奇了。
为什么会出现这种情况? 原因很简单,我们长期以来一直经历着通用计算的通货膨胀。现在我们终于决定加速,因此我们能够重新获得大量被捕获的损失,能够消除大量被捕获的浪费。这将转化为节省,节省资金,节省能源。
这就是为什么你经常听到我说,买得越多,省得越多。 现在我已经向你展示了数学原理,它可能不精确,但它是正确的。这就是我所说的 CEO 数学,CEO 数学可能不精确,但它是正确的。买得越多,省得越多。
加速计算确实带来了非凡的结果,但这并不容易。 为什么它能节省这么多钱,但人们却一直没有这样做?原因是,它非常困难。没有一个软件可以简单地通过 C 编译器运行,然后突然间该应用程序的运行速度提升 100 倍,这甚至是不合逻辑的。如果这真的可以做到,他们早就改变 CPU 来实现这一点。事实上,你必须完全重写软件,以便你能够重新设计针对 CPU 编写的算法,使其能够被加速,被卸载,被加速并在并行环境中运行。这项计算机科学任务非常困难。
我们在过去 20 年里让全世界变得容易。 当然,著名的 cuDNN 是深度学习库,它处理神经网络。我们有一个 AI 物理库,你可以用于流体力学和许多其他应用程序,其中神经网络必须遵守物理定律。我们有一个很棒的新库,叫做 AERIAL,它是一个 CUDA 加速的 5G 无线库,因此我们可以软件定义并加速电信网络,就像我们软件定义了全球网络和互联网一样。我们能够加速电信网络,使我们能够将所有电信网络转变为本质上与云计算相同的平台,就像我们在云中所做的那样。
KITHOL 是一个计算光刻平台,它使我们能够处理芯片制造中最计算密集的部分,生成掩模。 台积电正在生产 KITHOL,节省了大量的能源和资金。但台积电的目标是加速他们的堆栈,以便他们为算法的进一步发展和更深层次的计算做好准备,以制造更小更精密的晶体管。
PARABRACKETS 是我们的基因测序库,它是世界上吞吐量最高的基因测序库。
COOPT 是一个用于组合优化的不可思议的库。 路线规划优化,旅行推销员问题,非常复杂。科学家们普遍认为,你需要一台量子计算机才能做到这一点。我们创建了一种运行在加速计算上的算法,速度快如闪电。我们拥有所有主要世界纪录的 23 项世界纪录。
C QUANTUM 是一个量子计算机仿真系统。 如果你想设计一台量子计算机,你需要一个模拟器。如果你想设计量子算法,你需要一个量子模拟器。如何才能做到呢?在量子计算机不存在的情况下,如何设计这些量子计算机,创建这些量子算法?你可以使用现今世界上最快的计算机,我们称之为英伟达 CUDA,我们在此基础上拥有一个模拟量子计算机的模拟器。它被全世界数十万名研究人员使用,集成到所有领先的量子计算框架中,并在世界各地的科学超级计算中心使用。
KDF 是一个用于数据处理的令人难以置信的库。 如今,数据处理消耗了绝大多数云支出。所有数据都应该被加速。KDF 加速了世界上使用最多的主要库,例如 Spark,你们中的许多人可能在自己的公司中使用 Spark,还有 Pandas,以及一个叫做 Polar 的新库,当然还有 NetworkX,这是一个图处理数据库库。
这些只是几个例子,还有很多。 每个库都需要被创建,这样我们才能使生态系统能够利用加速计算。如果我们没有创建 cuDNN,那么仅靠 CUDA 就无法让全世界深度学习科学家使用,因为 CUDA 和 TensorFlow 和 PyTorch 中使用的算法相差太远,就像试图在没有 Open GL 的情况下进行计算机图形学,就像试图在没有 SQL 的情况下进行数据处理一样。
这些特定领域的库确实是我们公司的珍宝,我们拥有 350 个这样的库。 这些库是必不可少的,也是我们能够拥有如此之多市场的原因。今天我还会向大家展示其他例子。
就在上周,谷歌宣布他们已将 KDF 放入云端,并加速了 Pandas。 Pandas 是世界上最流行的数据科学库。你们中的许多人可能已经使用过 Pandas,它被世界上 1000 万名数据科学家使用,每月下载次数达到 1.7 亿次。它是数据科学家的 Excel,是数据科学家的电子表格。只需点击一下,你就可以在 Google 的云数据中心平台 Colab 中使用 Pandas,该平台由 KDF 加速。速度提升真的非常惊人。
[视频] 展示了加速后的 Pandas 库运行速度,以及与未加速版本之间的对比。

那真是一个很棒的演示,对吧? 它没有花很长时间,当你在数据处理中加速如此之快时,演示就不会花很长时间。
CUDA 现在已经实现了人们所说的“临界点”,但它比这还要好,CUDA 现在已经实现了一个良性循环。 这很少发生。如果你回顾历史,看看所有计算架构和计算平台,例如微处理器 CPU,它已经存在了 60 年,在这一层面上,这种计算方式还没有发生过 60 年的变化。
创建一种新的平台极其困难,因为这是一个鸡和蛋的问题。 如果没有开发人员使用你的平台,那么当然也不会有用户,如果没有用户,就没有安装基础,如果没有安装基础,开发人员就不会感兴趣。开发人员希望为一个拥有庞大安装基础的平台编写软件,但一个庞大的安装基础需要大量应用程序,这样用户才能创建这个安装基础。这个鸡和蛋的问题很少被打破,而我们花了 20 年时间才打破它,一个接一个地创建特定领域的库,一个接一个地创建加速库。现在,我们拥有 500 万名开发人员,他们遍布世界各地,服务于各个行业,从医疗保健到金融服务,当然还有计算机行业、汽车行业,基本上是世界上所有主要的行业,几乎是世界上的所有科学领域,因为我们的架构拥有如此多的客户,原始设备制造商 (OEM) 和云服务提供商都希望构建我们的系统,系统制造商,例如中国台湾的优秀系统制造商,都希望构建我们的系统,然后将这些系统推向市场,这当然为我们创造了更大的机会,使我们能够扩大研发规模,从而进一步加速应用程序。
每次我们加速应用程序时,计算成本就会下降。 这张幻灯片是我之前展示的那张,速度提升 100 倍,转化为 97%、96%、98% 的节省。因此,当我们从速度提升 100 倍到 200 倍,再到 1000 倍时,计算的边际成本会继续下降。
我们相信,通过大幅降低计算成本,市场、开发人员、科学家和发明家将继续发现新的算法,这些算法将消耗越来越多的计算资源。 有一天,当计算的边际成本降到如此之低,以至于出现一种新的使用计算机的方式时,就会发生质的转变。事实上,我们现在正在目睹这种转变。
多年来,我们一直在降低计算的边际成本。 在过去十年中,在一个特定的算法中,我们降低了百万倍的边际成本。因此,现在使用互联网上的所有数据来训练大型语言模型非常合乎逻辑,也非常合乎常理。没有人会再对此感到怀疑。
这个想法是,你可以创建一个计算机,它可以处理如此庞大的数据,并编写自己的软件,人工智能的出现正是因为我们完全相信,如果我们能够不断降低计算成本,总会有人找到很棒的应用。 今天,CUDA 已经实现了良性循环。安装基础正在不断增长,计算成本正在下降,这促使更多开发人员提出更多想法,推动更多需求。现在,我们正处于一件非常重要的事件的开端。
但我向大家展示这些内容之前,我想让大家看看,如果没有我们创建 CUDA,如果没有我们创造现代版的人工智能,现代版的人工智能大爆炸,也就是生成式人工智能,我即将展示给你们的这一切都不可能实现。
这是“地球 2”。 我们创造一个地球的数字孪生,模拟地球,以便预测地球的未来,更好地应对灾害,更好地了解气候变化的影响,以便我们能够更好地适应,以便我们能够改变我们的行为习惯。
这个地球的数字孪生可能是世界上最雄心勃勃的项目之一。 我们每年都在取得巨大的进步,我每年都会向大家展示成果。但今年,我们取得了一些重大突破,让我们来看一看。
[视频] 展示了地球 2 的虚拟场景,模拟了台风等自然灾害的发生,并预测了台风的走向

在不久的将来,我们将实现对地球上每一平方公里区域的持续天气预测。这意味着您将始终了解气候变化趋势。这将成为现实,因为我们已经训练了 AI,而 AI 需要的能量非常少。这是一个令人难以置信的成就!希望您对此感到兴奋
NVIDIA 的 AI 革命
ChatGPT 的影响
NVIDIA 与 AI 的缘分
在 2012 年,AI 研究人员发现了 CUDA,这是 NVIDIA 首次接触人工智能。这是一个非常重要的日子,我们有幸与科学家合作,使深度学习成为可能。AlexNet 取得了巨大的计算机视觉突破,但我们更深远地认识到,深度学习的基础是什么?它的长期影响是什么?它的潜力是什么?我们意识到,这项技术具有巨大的扩展潜力。
一个几十年以前发明的算法,因为拥有更多数据、更大的网络以及更强大的算力,突然间能够实现人类算法无法想象的目标。如果我们进一步扩展架构,例如更大网络、更多数据和更强大的算力,那么还能实现什么?
NVIDIA 的 AI 革命
从 2012 年开始,我们致力于重新设计一切。我们改变了 GPU 架构,增加了张量核心,发明了 MVLink(现在已有 10 年历史),还有 CNN、TensorRT、Nsight、收购了 Mellanox、TensorRT-LM、Triton 推理服务器等等。所有这些技术汇聚在一起,形成了一个全新的计算机,而当时没有人理解它,没有人要求它,没有人理解它。事实上,我确信没有人想购买它。因此,我们在 GTC 上宣布了它,而旧金山的一家小型公司 OpenAI 看到了它,他们要求我提供一台。2016 年,我将世界上第一台 AI 超级计算机 DGX-1 送给了 OpenAI。
此后,我们继续扩展,从一台 AI 超级计算机,一台 AI 设备,扩展到更大的超级计算机,再到更大的超级计算机。在 2017 年,世界发现了 Transformer,因此我们可以训练海量数据,并识别和学习跨越较长时间范围的序列模式。现在,我们能够训练这些大型语言模型,以理解和实现自然语言理解的突破。
我们在此之后一直在不断前进,构建了更大的模型,然后在 2022 年 11 月,OpenAI 在一台由数千台英伟达 GPU 组成的超级计算机上训练了 ChatGPT,并在五天内获得了 100 万用户,两个月后达到了 1 亿用户,成为历史上增长最快的应用程序。原因很简单:它易于使用,并且能够像人类一样与计算机交互,非常神奇。你无需明确说明你的需求,计算机就能理解你的意思,理解你的意图。
ChatGPT 的影响
我记得有一次,我询问 ChatGPT,"离我最近的夜市在哪里?"
正如您所知,夜市对我来说非常重要。当我还是个孩子的时候,大约四岁半,我非常喜欢去夜市,因为我喜欢观看人们,我喜欢观察周围的一切。我的父母经常带我们去夜市。
有一天,我的脸被割伤了,因为有人在洗刀子,而我当时还只是个小孩。我的脸上留下了一道很长的伤疤,但关于夜市的记忆依然深刻,那是美好的回忆。我仍然很喜欢去夜市。我要告诉大家,"台中的夜市真的很棒!"那里有一位卖水果的女士,她已经在那里工作了 43 年,她在两条街中间,快去找到她吧!
她真的非常棒!我认为,大家在听完我的演讲后,去看看她会很有趣。她每年都在进步,她的摊位越来越好。我真的很喜欢看到她取得成功。
生成式 AI 的时代
ChatGPT 问世后,发生了一件非常重要的事情。请看这张幻灯片。
这张幻灯片,这张幻灯片,最根本的差异在于:在 ChatGPT 向世界揭示之前,AI 一直专注于感知,例如自然语言理解、计算机视觉、语音识别。所有这些都与感知和检测有关。这是世界第一次看到生成式 AI,它一次生成一个标记,而这些标记就是单词。当然,有些标记现在可以是图像、图表、表格、歌曲、单词、语音、视频。这些标记可以是任何东西,只要你能理解它的含义。它们可以是化学标记、蛋白质标记、基因标记。您之前在 Earth-2 中看到过,我们正在生成天气标记。我们能够学习物理学,如果您能学习物理学,您就可以教 AI 模型物理学,AI 模型可以学习物理学的含义,然后它就可以生成物理学。我们正在缩放到 1 公里范围,不是通过使用过滤,而是通过生成。因此,我们可以使用这种方法为几乎任何东西生成标记,几乎任何有价值的东西,我们可以为汽车生成方向盘控制,我们可以为机械臂生成关节运动,我们可以生成任何我们能够学习的东西。
我们现在已经进入了一个新的时代,不是 AI 时代,而是生成式 AI 时代。
真正重要的是,最初作为超级计算机诞生的这种计算机,现在已经发展成为数据中心,并且它只生产一种东西:标记。它是一家 AI 工厂,这家 AI 工厂正在生成、创造、生产具有巨大价值的东西,一种新的商品。
在 19 世纪 90 年代末,尼古拉·特斯拉发明了交流发电机。我们发明了 AI 发电机。交流发电机生成电子,NVIDIA 的 AI 发电机生成标记。这两项技术都拥有巨大的市场机遇,它们在几乎所有行业都具有完全的可替代性。这就是为什么它是一场新的工业革命的原因。我们现在拥有一个新的工厂,为每个行业生产一种新的商品,这种商品具有非凡的价值。这种方法非常可扩展,这种方法也非常可重复。请注意,有多少种不同的 AI 模型,生成式 AI 模型,每天都在被发明出来。实际上,每个行业都正在加入这场盛宴。
对 IT 行业的影响
这是第一次,价值 3 万亿美元的 IT 行业即将创造出能够直接服务价值 100 万亿美元的行业的东西。它不再仅仅是信息存储或数据处理的工具,而是为每个行业生成智能的工厂。这将是一个制造业,不是制造计算机的制造业,而是利用计算机进行制造。这以前从未发生过,这真是非凡。
这一切都始于加速计算,它导致了 AI,导致了生成式 AI,现在又引发了一场工业革命。
对 NVIDIA 的影响
当然,我们可以为许多行业创造一种新的商品,一种新的产品,我们称之为标记。但对我们自身的影响也相当深远。正如我之前所说,在过去 60 年中,计算的每一层都发生了变化,从通用 CPU 计算转变为加速 GPU 计算。现在计算机需要指令,计算机处理大型语言模型 (LLM)、AI 模型,而过去基于检索的计算模型,每次您触摸手机时,都会检索一些预先录制的文本、图像或视频,然后根据推荐系统进行重新组合,并根据您的习惯向您展示。
但在未来,您的计算机将尽可能多地生成内容,只检索必要的内容。原因是生成的数据需要更少的能量去获取信息,生成的数据也更具上下文相关性,它将编码知识,它将了解您。您不再需要说 "给我那个信息" 或 "给我那个文件",您只需要说 "告诉我答案"。
您的计算机不再是工具,它现在将生成技能,它将执行任务。
想想 90 年代初,微软为软件打包创建的理念,它彻底改变了个人电脑行业。如果没有软件打包,我们将如何使用个人电脑?它推动了这个行业的发展。现在我们有了新的工厂,新的计算机,我们将在此基础上运行一种新型的软件,我们称之为 NIM,NVIDIA 推理微服务。
NIM 在这个工厂内部运行,它是一个预先训练的模型,它是一个 AI。当然,AI 本身非常复杂,但运行 AI 的计算栈极其复杂。当您使用 ChatGPT 时,它的底层栈是一堆软件,在这个提示的背后,还有大量软件,它极其复杂,因为模型很大,参数数十亿甚至数万亿。它不是在单个计算机上运行,而是在多台计算机上运行,它必须将工作负载分布到多个 GPU 上,包括张量并行、管道并行、数据并行,以及各种专家并行,所有这些并行都是为了将工作负载分布到多个 GPU 上,并尽可能快地进行处理。
因为如果您在一个工厂里,如果您运营一个工厂,您的吞吐量直接与您的收入相关,您的吞吐量直接与服务质量相关,您的吞吐量直接与可以使用您服务的人数相关。我们现在正处于一个数据中心吞吐量利用率至关重要的世界。过去它也很重要,但现在已经变得非常重要。过去它也很重要,但人们不会去衡量它。如今,每个参数都会被衡量,包括启动时间、正常运行时间、利用率、吞吐量、空闲时间等等。
因为这是一个工厂,它的运营直接与公司的财务表现相关。因此,我们意识到这对大多数公司来说极其复杂。所以我们做了什么?我们创建了这个 AI 盒,它包含大量软件。在这个容器中,有 CUDA、cuDNN、TensorRT,用于推理服务。它具有云原生特性,因此您可以在 Kubernetes 环境中自动扩展。它具有管理服务和钩子,以便您可以监控您的 AI。它具有通用 API,标准 API,因此您实际上可以与这个盒子进行对话。您下载这个 NIM,就可以与它进行对话,只要您的计算机上有 CUDA,而 CUDA 现在无处不在,它存在于每个云中,可以从每个计算机制造商那里获得,它存在于数亿台个人电脑中。
当您下载它时,您拥有了一个 AI,您可以像使用 ChatGPT 一样与它对话。所有软件现在都已集成,400 个依赖项都已集成到一个模块中。我们测试了每个 NIM,每个预训练模型,针对云中所有类型的轮胎安装基础,包括 Pascal、Ampere、Hopper 等各种版本,甚至还有一些我忘记的 NIM 版本。
这是一个非凡的发明,是我最喜欢的发明之一。当然,您也知道,我们现在能够创建大型语言模型,以及各种预训练模型。我们拥有所有这些不同的版本,无论是基于语言的,还是基于视觉的,还是基于图像的,我们也拥有适用于医疗保健、数字生物学的版本。我们拥有数字人类版本,我将向大家介绍。
您只需访问 ai.nvidia.com 即可使用它。今天,我们刚刚在 Hugging Face 上发布了完全优化的 Llama 3 NIM,您可以尝试一下。您甚至可以带走它,它是免费提供的。因此,您可以在云中运行它,在任何云中运行它。您可以下载这个容器,将其放入您自己的数据中心,然后您可以托管它,使其可供您的客户使用。
正如我提到的,我们拥有各种不同的领域,包括物理学、语义检索(称为 RAGs)、视觉、语言,以及各种语言。您使用它的方式是将这些微服务连接到大型应用程序中。
客户服务代理
在未来,最重要的应用程序之一,当然就是客户服务代理。几乎每个行业都需要客户服务代理,它代表着全球数万亿美元的客户服务。护士是客户服务代理,有些是无处方或无诊断的,本质上是零售、快餐、金融服务、保险等行业的客户服务。现在,数千万的客户服务可以由语言模型和 AI 进行增强。
您看到的这些盒子,本质上就是 NIM。有些 NIM 是推理代理,它们在获得一项任务后,会弄清楚任务是什么,将其分解为一个计划。有些 NIM 检索信息,有些 NIM 可能进行搜索,有些 NIM 可能使用像 Koop 这样的工具,我之前提到过,它们可以使用运行在 SAP 上的工具。因此,它们必须学习一种特定的语言,称为 ABAP。也许有些 NIM 必须执行 SQL 查询,因此所有这些 NIM 都是专家,现在它们被组装成一个团队。
应用程序层的变化
现在发生了什么?应用程序层已经发生了改变。过去是用指令编写的应用程序,现在是组装团队的应用程序,组装 AI 团队。很少有人知道如何编写程序,但几乎每个人都知道如何分解问题并组建团队。我相信在未来,每家公司都将拥有一个庞大的 NIM 集合。您可以根据需要,将需要的专家汇集起来,将它们连接成一个团队。您甚至不需要弄清楚如何精确地将它们连接起来,您只需要将任务交给一个代理,交给一个 NIM,让它弄清楚如何将任务分解,以及将任务交给谁。如果说这个应用程序的领导者,这个团队的领导者,会分解任务并将其分配给各个团队成员,然后团队成员会执行他们的任务,并将结果反馈给团队领导者,团队领导者会对结果进行推理,并将信息反馈给您,这就像人类一样。
这即将成为我们的现实,这就是应用程序未来的样子。
英伟达数字人技术‍‍
数字人交互
当然,我们可以通过文本提示和语音提示与这些大型 AI 服务进行交互。但是,在许多应用程序中,我们希望与类似于人类的形式进行交互,我们称之为数字人类。NVIDIA 一直在研究数字人类技术,让我来展示给您看
等等,在展示之前,我需要说一下。数字人类有可能成为您与之交互的绝佳方式,它们更具参与性,它们可能更具同理心,当然,我们必须跨越现实主义的巨大鸿沟,跨越令人毛骨悚然的现实主义鸿沟,以便数字人类看起来更自然。
这当然是我们期望达成的目标,这就是我们想去的地方。但让我展示一下我们现在所处的位置。
在前往夜市之前,我们先来探讨一下数字人类的激动人心的前沿领域。想象一下,未来计算机能够像人类一样与我们互动。
"你好,我叫 Sophie,我是 Unique 的数字人类品牌大使。"
这就是数字人类的令人难以置信的现实。数字人类将彻底改变各行各业,从客户服务到广告,数字人类的可能性无穷无尽。
"使用您用手机拍摄的现有厨房扫描,它们将成为 AI 室内设计师,帮助您生成美丽逼真的建议,并采购材料和家具。我们为您生成了几种设计选项,供您选择。"

"他们还将成为 AI 客户服务代理,使交互更具参与性和个性化。"
"或者数字医疗保健工作者,他们会查看病人,提供及时的个性化护理。"

"我忘记告诉医生我对青霉素过敏了。我开的抗生素头孢氨苄和甲硝唑可以服用吗?"
"头孢氨苄和甲硝唑不含青霉素,因此您可以安全服用。"
"他们甚至可以成为 AI 品牌大使,引领下一个营销和广告趋势。"
"你好,我是 EMA,日本第一个虚拟模特。"

生成式 AI 和计算机图形学方面的最新突破使数字人类能够像人类一样看到、理解和与我们互动。
"从我看到的画面来看,您似乎在一个录音棚或制作场所。"
数字人类的基础是 AI 模型,这些模型建立在多语言语音识别和合成以及理解和生成对话的 LLM 之上。
AI 连接到另一个生成式 AI,以动态地为逼真的 3D 人脸网格制作动画,最后是能够再现逼真外表的 AI 模型,它们能够实时地进行路径追踪次表面散射,以模拟光线穿透皮肤、散射并在不同点散射出来的方式,从而使皮肤呈现出柔软和半透明的外观。

NVIDIA ACE 是一个数字人类技术套件,打包为易于部署、经过完全优化的微服务或 NIM。开发者可以将 ACE NIM 集成到他们现有的框架、引擎和数字人类体验中。使用 NeMo SLM 和 LLM NIM 来理解我们的意图并协调其他模型。使用 Riva 语音 NIM 进行交互式语音和翻译。使用音频到面部和手势 NIM 进行面部和身体动画。使用 Omniverse RTX 和 DLSS 进行皮肤和头发的着色渲染。ACE NIM 运行在 NVIDIA DGX 上,这是一个全球的 NVIDIA 加速基础设施网络,可以将低延迟的数字人类处理能力扩展到 100 多个地区。
相当令人难以置信!这些 ACE 在云中运行,但它们也运行在个人电脑上。我们有幸在所有 RTX 中都包含了张量核心 GPU,因此我们已经提供 AI GPU 一段时间了,为这一天做好了准备。
原因很简单:我们一直都知道,要创建一个新的计算平台,您需要先创建安装基础。最终,应用程序会出现的。如果您不创建安装基础,应用程序如何出现呢?如果您构建了它,他们可能不会来。但如果您不构建它,他们就无法来。因此,我们在每一台 RTX GPU 中都安装了张量核心 GPU,张量核心处理能力。现在,世界上有 1 亿台 GeForce RTX AI 个人电脑,而且我们正在出货 200 台。
这台新的 RTX 笔记本电脑,拥有四款令人惊叹的新产品,它们都能运行 AI。您未来的笔记本电脑,您未来的个人电脑,将成为 AI,它将不断地帮助您,在后台为您提供帮助。个人电脑还将运行由 AI 增强的应用程序,当然,您使用的所有照片编辑、写作和工具,所有这些都将由 AI 进行增强。您的个人电脑还将托管包含数字人类的应用程序,这些数字人类是 AI。因此,AI 将以不同的方式呈现,并在个人电脑中使用。但个人电脑将成为非常重要的 AI 平台。
下一波 AI:物理 AI‍‍‍‍‍‍
基于物理学‍‍
那么我们下一步该做什么?之前我谈到了数据中心的扩展,每次我们扩展,我们都会发现一个新的阶段变化。当我们从 DGX 扩展到大型 AI 超级计算机时,我们使 Transformer 能够在海量数据集上进行训练。
最初,数据是人类监督的,需要人类标记来训练 AI。不幸的是,人类标记的能力有限。Transformer 使无监督学习成为可能。现在,Transformer 只需要查看海量数据,例如查看海量视频或图像,它就能从学习大量数据中获得知识,自己找到模式和关系。
而下一代 AI 需要基于物理学。如今,大多数 AI 不理解物理定律,它们没有扎根于物理世界。为了生成图像、视频、3D 图形以及许多物理现象,我们需要基于物理学并理解物理定律的 AI。
那么如何做到这一点呢?当然,从视频中学习是一种方法,另一种方法是合成数据,模拟数据,还有一种方法是使用计算机相互学习。这与使用 AlphaGo 让 AlphaGo 自我博弈,或让两个具有相同能力的 AI 相互博弈很长时间,它们最终变得更加聪明,没有什么区别。
您将开始看到这种类型的 AI 出现。如果 AI 数据是通过合成方式生成的,并且使用强化学习,那么数据生成速度理所当然会继续提高。每次数据生成量增加时,我们需要提供的计算量也需要随之增加。
我们即将进入一个阶段,在这个阶段,AI 可以学习物理定律,理解和扎根于物理世界数据。因此,我们预计模型将继续发展,我们需要更大的 GPU。
下一代 AI 超级芯片
Rubin 平台接替Blackwell
Blackwell 就是为这一代而设计的。这就是 Blackwell,它拥有几种非常重要的技术。其中之一,当然就是芯片尺寸。我们使用了两个最大的芯片,尺寸达到了 TSMC 技术允许的最大尺寸,然后我们将这两个芯片连接在一起,形成一个 10TB/s 的链路,将世界上最先进的芯片连接在一起。然后,我们将它们中的两个放在一个计算节点上,并连接到一个 Grace CPU。Grace CPU 可以用于训练过程中的多种用途,例如用于快速检查点和重启,在推理和生成过程中可以用于存储上下文记忆,以便 AI 拥有记忆,并理解您想要进行的对话的上下文。
这是我们第二代 Transformer 引擎,它使我们能够根据精度和该层计算所需的范围动态地适应较低的精度。这是我们第二代 GPU,它具有安全 AI,因此您可以要求您的服务提供商保护您的 AI 免遭窃取或篡改。
这是我们第五代 MVLink,MVLink 使我们能够将多个 GPU 连接在一起,我稍后会向您展示更多信息。这也是我们第一代具有可靠性和可用性引擎的 GPU。这个 RAS 系统使我们能够测试芯片上的每个晶体管、触发器、存储器、芯片外存储器,以便我们能够在现场确定特定芯片是否出现了故障。
拥有 10,000 个 GPU 的超级计算机的平均故障间隔时间以小时为单位衡量。拥有 100,000 个 GPU 的超级计算机的平均故障间隔时间以分钟为单位衡量。因此,如果我们没有发明技术来提高可靠性,那么超级计算机长时间运行并训练可以持续数月的模型几乎是不可能的。可靠性当然会提高正常运行时间,这会直接影响成本。
最后,数据处理是我们要做的最重要的事情之一。我们添加了一个数据压缩引擎,解压缩引擎,以便我们可以比现在快 20 倍的速度从存储中提取数据。所有这些都代表着 Blackwell,我认为我们在这里有一台正在生产中的 Blackwell。在 GTC 上,我向大家展示了 Blackwell 的原型状态。
另一方面,这就是我们练习的原因。
女士们,先生们,这就是 Blackwell,Blackwell 正在生产中,拥有令人难以置信的技术。这是我们的生产板,这是世界上制造的最复杂、性能最高的计算机。这是伟大的 Grace CPU,这些是您可以看到的每个 Blackwell,两个连接在一起,您可以看到它是最 大的芯片,世界上制造的最大的芯片,然后我们将它们中的两个连接在一起,形成一个 10TB/s 的链路。
这就是 Blackwell 计算机,它的性能令人难以置信。请看这个。
您可以看到我们的计算能力,浮点运算,AI 浮点运算,每代都增加了 1000 倍。摩尔定律在 8 年内大约是 40 到 60 倍,而在过去的 8 年里,摩尔定律已经减少了很多。因此,即使是摩尔定律在鼎盛时期,与 Blackwell 的能力相比,也相形见绌。因此,计算能力的提升是令人难以置信的,每当我们提高计算能力,就会发生一件事:成本降低。我将向您展示我们做了什么:我们通过提高计算能力,将训练 GPT-4 所需的能量降低了 350 倍。
GPT-4 有 2 万亿个参数,8 万亿个标记。使用 Pascal,需要 1000 GWh,1000 GWh,意味着这将需要一个千兆瓦数据中心。世界上没有千兆瓦数据中心,但如果您有一个千兆瓦数据中心,它将需要一个月的时间。如果您有一个 100 兆瓦的数据中心,它将需要大约一年的时间。因此,没有人会创建这样的东西,这就是大型语言模型 ChatGPT 在八年前不可能实现的原因。通过不断提高性能,同时保持和提高能效,我们在 Blackwell 上实现了将原本需要 1000 GWh 的训练过程缩短到 3 GWh。
这是一个令人难以置信的进步!如果使用 10,000 个 GPU,例如,它可能只需要几天时间,大约 10 天。因此,仅仅在 8 年内取得的进步是难以置信的。
这是推理,这是标记生成。我们的标记生成性能使我们能够将能量降低 45,000 倍。Pascal 是 177,000 焦耳/标记,177,000 焦耳。这相当于两个灯泡连续运行两天。需要两个灯泡连续运行两天才能生成一个 GPT-4 的标记。大约需要三个标记才能生成一个单词。因此,Pascal 生成 GPT-4 所需的能量以及与您进行 ChatGPT 对话的体验,在实践中几乎是不可能的。但现在,我们只需要 0.4 焦耳/标记,而且我们可以以极高的速度生成标记,并且消耗极少的能量。
因此,Blackwell 已经处于领先地位。
即使如此,它还不够大。因此,我们必须构建更大的机器。因此,我们构建它的方式被称为 DGX。这些是我们的 Blackwell 芯片,它们被整合到 DGX 系统中。这就是我们练习的原因。
这是一台 DGX Blackwell,它配备了 8 个这样的 GPU,采用风冷方式。看看这些 GPU 上散热器的尺寸,大约 15 千瓦,15,000 瓦,完全风冷。该版本支持 x86 架构,并被整合到我们一直出货的 Hopper 中。但是,如果您想要液冷,我们有一个新的系统,这个新的系统基于这个板,我们称之为 MGX,即模块化。
这个模块化系统,您可能无法看到它,您可以看到它吗?您能看到吗?您能看到吗?好的。这是 MGX 系统,这里有两个 Blackwell 板。这个节点拥有 4 个 Blackwell 芯片,这 4 个 Blackwell 芯片是液冷的,共有 9 个,9 个,嗯,72 个这样的,72 个这样的 GPU。然后,这 72 个 GPU 通过新的 MVLink 连接在一起,这是第五代 MVLink。MVLink 交换机是一个技术奇迹,这是世界上最先进的交换机,数据速率是惊人的。这些交换机将每个 Blackwell 连接在一起,从而形成一个巨大的 72 个 GPU 的 Blackwell 集群。
这样做的好处在于,在一个 GPU 域中,它现在看起来像一个 GPU。这个 GPU 有 72 个 GPU,而上一代只有 8 个。因此,我们将其增加了 9 倍,带宽增加了 18 倍,AI 浮点运算能力增加了 45 倍,但功率只增加了 10 倍。这是 100 千瓦,而这是一个 10 千瓦的节点。当然,您可以始终将更多这样的节点连接在一起,我稍后会向您展示如何做到这一点。但奇迹在于,这个芯片,这个 MVLink 芯片,人们开始意识到这个 MVLink 芯片的重要性,因为它将所有这些不同的 GPU 连接在一起,因为大型语言模型太大,无法容纳在一个 GPU 上,无法容纳在一个节点上。它将需要整个机架的 GPU,就像我刚刚站在旁边的这个新的 DGX 一样,才能容纳一个参数数万亿的大型语言模型。
MVLink 本身就是一个技术奇迹,拥有 500 亿个晶体管,74 个端口,每个端口 400 Gbps,4 个长度的横截面带宽为 7.2TB/s。但重要的是,它在交换机中包含了数学运算,因此我们可以在芯片上进行约简,这在深度学习中非常重要。
这就是 DGX 的样子。许多人问我们,您知道,他们会说,关于 NVIDIA 做了什么,以及 NVIDIA 如何能够发展壮大,存在着一种误解,认为这就是 GPU 的样子。
现在,这是一个 GPU,这是世界上最先进的 GPU 之一,但这是一个游戏玩家的 GPU。但您和我都知道,这才是 GPU 的样子。女士们,先生们,这就是 DGX GPU。
您知道,这个 GPU 的背面是 MVLink 骨干。MVLink 骨干有 5000 根线,长达 2 英里,就在这里。这是一个 MVLink 骨干,它将 702 个 GPU 连接在一起。这是一个电气机械奇迹。收发器使我们能够在铜线上驱动整个长度。结果,这个交换机,MVLink 交换机,在铜线上驱动 MVLink 骨干,使我们能够在一个机架上节省 20 千瓦。现在,这 20 千瓦可以用于处理。这是一个令人难以置信的成就。
我今天下去看了,即使这样还不够大。即使这样还不够大,无法满足 AI 工厂的需求。因此,我们必须使用非常高速的网络将所有这些连接在一起。
我们有两种类型的网络,一种是 InfiniBand,它一直在全球的超级计算机和 AI 工厂中使用,而且它正在快速发展。但是,并非每个数据中心都能处理 InfiniBand,因为他们已经投资了以太网生态系统太长时间,而且管理 InfiniBand 交换机和 InfiniBand 网络确实需要一些特殊性,也需要一些专业知识。
因此,我们做了什么?我们将 InfiniBand 的功能带到了以太网架构,这非常困难。原因是,以太网的设计是为了实现高平均吞吐量,因为每个节点,每台计算机都连接到互联网上的不同人,而大多数通信都是数据中心与互联网另一端的人进行的。但是,在深度学习和 AI 工厂中,GPU 并非与互联网上的人进行通信,它们主要相互通信。它们相互通信,因为它们都在收集部分产品,然后必须进行约简,然后重新分配部分产品的块,约简和重新分配。这种流量极其突发,重要的不是平均吞吐量,而是最后到达的时间。
因为如果您正在约简,从每个人那里收集部分产品,如果我试图获取所有人的信息,那么重要的不是平均吞吐量,而是谁最后给我答案。
以太网没有为这种情况提供任何解决方案。因此,我们必须创建一些东西,我们创建了一个端到端架构,以便网卡和交换机能够相互通信,并且我们应用了 4 种不同的技术来实现这一点。
第一,NVIDIA 拥有世界上最先进的 RDMA 技术。因此,现在我们能够为以太网提供网络级 RDMA,这非常棒。
第二,我们有拥塞控制。交换机始终以极快的速度进行遥测,每当 GPU 或网卡发送过多的信息时,我们就可以告诉它们退让,以免造成热点。
第三,自适应路由。以太网需要按顺序进行传输和接收。如果我们看到拥塞,或者看到未使用的端口,无论顺序如何,我们都会将信息发送到可用的端口。而 BlueField 在另一端会重新排序,以便它按顺序返回。这种自适应路由非常强大。
最后,噪声隔离。数据中心中始终有多个模型在训练,或在进行其他操作,它们的噪声和流量可能会互相干扰,从而造成抖动。当一个训练模型的噪声导致最后一个到达的时间过晚时,这会大大降低训练速度。请记住,您已经建立了一个价值 50 亿美元或 30 亿美元的数据中心,您正在使用它进行训练。如果网络利用率降低了 40%,结果是训练时间延长了 20%,那么价值 50 亿美元的数据中心实际上相当于一个价值 60 亿美元的数据中心。因此,成本影响非常大。
使用 Spectrum-X 的以太网能够大大提高性能,使网络基本免费。这是一个真正的成就。我们有一系列以太网产品,这一系列产品正在不断发展。这是 Spectrum-X800,它的速度为 51.2Tb/s,有 256 个端口。下一个产品将在一年后推出,拥有 512 个端口,称为 Spectrum-X800 Ultra。下一个产品是 X1600。但重要的是,X800 是为数万个 GPU 设计的,X800 Ultra 是为数十万个 GPU 设计的,而 X1600 是为数百万个 GPU 设计的。数百万个 GPU 数据中心的时代即将到来。
原因很简单,当然,我们希望训练更大的模型。但更重要的是,在未来,您与互联网或计算机进行的几乎所有交互,都可能在云中某个地方运行着一个生成式 AI。那个生成式 AI 在与您合作,与您互动,生成视频、图像、文本,或者可能是一个数字人类。因此,您几乎一直都在与您的计算机互动,并且始终有一个生成式 AI 与之连接。部分内容是在本地,部分内容是在您的设备上,而大部分内容可能是在云中。这些生成式 AI 还将执行大量的推理能力,它们不是只给出一次性的答案,而是可能会对答案进行迭代,以便在给出答案之前提高答案的质量。
因此,我们将在未来进行大量生成。让我们一起看看所有这些东西是如何组合在一起的。
Blackwell 平台
Blackwell 当然是我们第一代 NVIDIA 平台,它在合适的时机问世。正如世界所知,生成式 AI 时代已经到来。就在世界意识到 AI 工厂的重要性,就在这场新的工业革命的开端,我们获得了广泛的支持,几乎每个 OEM、每个计算机制造商、每个 CSP、每个 GPU 云、主权云,甚至电信公司、全球各地的企业。Blackwell 的成功程度、采用程度以及热情程度都非常高,我要感谢大家对此的支持。
我们不会止步于此。在这个飞速发展的时代,我们希望确保我们能够继续提高性能,继续降低成本,降低训练成本、推理成本,并继续扩展每个公司的 AI 能力,以便他们能够拥抱 AI。我们提高的性能越高,成本下降得就越快。Hopper 平台可能是历史上最成功的數據中心处理器,这是一个非凡的成功故事。但 Blackwell 已经问世,每个平台都有一些共同点,您可以看到:CPU、GPU、MVLink、网卡、交换机,MVLink 交换机将所有 GPU 连接在一起,形成尽可能大的域。无论我们能够做什么,我们都将其与大型、高速交换机连接在一起。
您可以看到,每一代产品不仅仅是一个 GPU,而是一个完整的平台。我们构建了整个平台,我们将整个平台集成到 AI 工厂超级计算机中。但是,然后我们将它聚合,并将其提供给全世界。原因是,你们每个人都可以创建有趣且创新的配置,以及各种不同的风格,并适合不同类型的数据中心和不同地区的客户。有些是用于边缘计算的,有些是用于电信的,所有这些创新都是可能的,因为我们使系统保持开放,并使您能够进行创新。因此,我们设计了它,将其整合在一起,但我们将其解体后提供给您,以便您能够创建模块化系统。
Blackwell 平台已经问世。我们的公司以一年的节奏运行,我们的基本理念很简单:构建整个数据中心,将其解体后扩展,然后以部件的形式出售给您。我们以一年的节奏运行,并将所有技术都推向极限。无论 TSMC 的工艺技术如何,我们将将其推向极限。无论封装技术如何,我们将将其推向极限。无论存储器技术如何,我们将将其推向极限。串行技术、光学技术,所有的一切都将推向极限。然后,我们将所有这些都以一种方式完成,以便我们所有的软件都能够运行在这个整个安装基础上。软件惯性是计算机中最重要的事情。当一台计算机向后兼容,并且在架构上与已创建的所有软件兼容时,您进入市场的速度会快得多,速度也会快得多。当我们能够利用已经创建的整个软件安装基础时,速度会快得多。
Blackwell 已经问世。明年是 Blackwell Ultra。正如我们有 H100 和 H200 一样,您可能会从我们这里看到一些非常激动人心的 Blackwell Ultra 的新一代产品。我们再次将其推向极限,以及我之前提到的下一代 Spectrum 交换机。
这是我们第一次进行这样的点击,我还不知道我是否会为此后悔。
我们公司内部使用代码名称,而且我们尽力保守秘密。通常情况下,大多数员工甚至都不知道。
但我们下一代平台被称为  Rubin ,rubin 平台。我不会花太多时间介绍它,我知道会发生什么。你们会拍下它的照片,然后你们会仔细研究那些细小的字迹。请随意这样做。我们有  Rubin  平台,一年后,我们将推出 Rubin Ultra 平台。我在这里展示的这些芯片,全部都在全面的开发中,100% 的开发中,节奏是一年,全部都处于技术极限,100% 在架构上兼容。
因此,这就是 NVIDIA 正在构建的东西,以及它之上所有的软件财富。在许多方面,从 ImageNet 那一刻起,我们意识到计算的未来将会发生彻底改变,一直到今天,这与我之前举的例子非常相似,GeForce 在 2012 年之前的状态,以及今天的 NVIDIA。这家公司已经发生了巨大的转型,我要感谢我们所有的合作伙伴一路以来对我们的支持。
这是 NVIDIA Blackwell 平台。
英伟达机器人技术‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍
机器人时代已经到来‍‍

在未来,机器人技术将更加普遍。当我提到机器人技术时,人们通常会想到人形机器人,但这并不是真相。一切都会变成机器人,所有工厂都将是机器人化的,工厂将协调机器人,而这些机器人将建造机器人产品,机器人与机器人交互,建造机器人产品。
为了实现这一切,我们需要取得一些突破。让我来展示这段视频



机器人技术的时代已经到来!
"有一天,所有移动的东西都将是自动化的。世界各地的研究人员和公司正在开发由物理 AI 驱动的机器人。物理 AI 是能够理解指令并在现实世界中自主执行复杂任务的模型。多模态 LLM 是能够让机器人学习、感知和理解周围世界并规划行动方式的突破性技术。从人类的示范中,机器人现在可以学习与世界交互所需的技能,使用粗略和精细的运动技能。推动机器人技术发展的一项关键技术是强化学习。就像 LLM 需要从人类反馈中进行强化学习来学习特定技能一样,生成式物理 AI 可以通过在模拟世界中从物理反馈中进行强化学习来学习技能。
这些模拟环境是
机器人学习如何做出决策的地方,它们在遵循物理定律的虚拟世界中执行操作。在这些机器人训练场中,机器人可以安全快速地学习执行复杂而动态的任务,通过数百万次尝试和错误来完善它们的技能。我们构建了 NVIDIA Omniverse 作为物理 AI 可以创建的运行系统。Omniverse 是一个虚拟世界模拟开发平台,它结合了实时物理基础渲染、物理模拟和生成式 AI 技术。在 Omniverse 中,机器人可以学习如何成为机器人,它们可以学习如何自主地以高精度操作物体,例如抓取和处理物体,或者自主地导航环境,找到最佳路径,同时避开障碍物和危险。在 Omniverse 中学习可以最大程度地减少模拟到真实世界的差距,并最大程度地提高学习行为的迁移能力。使用生成式物理 AI 构建机器人需要三台计算机:NVIDIA AI 超级计算机来训练模型,NVIDIA Jetson Orin 和下一代 Jetson Thor 机器人超级计算机来运行模型,以及 NVIDIA Omniverse,让机器人可以在模拟世界中学习和完善它们的技能。我们构建了开发者和公司需要的平台、加速库和 AI 模型,并允许他们使用任何或所有适合他们需求的栈。下一波 AI 已经到来!由物理 AI 驱动的机器人技术将彻底改变各行各业。"

NVIDIA 的机器人平台
我们有几种方法来服务市场。首先,我们将为每种类型的机器人系统创建平台:一个用于机器人工厂和仓库,一个用于操作物体的机器人,一个用于移动的机器人,以及一个用于人形机器人的平台。
每个机器人平台都类似于我们所做的几乎所有其他事情,都是一个计算机、加速库和预训练模型的组合。我们测试所有内容,训练所有内容,并将所有内容集成到 Omniverse 中,正如视频中所说,机器人可以在 Omniverse 中学习如何成为机器人。

机器人仓库生态系统
当然,机器人仓库的生态系统非常复杂。它需要许多公司、许多工具和许多技术才能构建一个现代仓库。仓库正变得越来越自动化,有一天它们将完全自动化。
在每个生态系统中,我们都有连接到软件行业的 SDK 和 API。以及连接到边缘 AI 行业、公司以及专门为 PLC 和机器人系统设计的系统,供 ODM 使用。然后,这些系统由集成商进行集成,最终用于为客户构建仓库。这里有一个例子:Kenmac 为 Giant 集团构建了一个机器人仓库。

AI工厂‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍
新工业革命

现在让我们谈谈工厂。工厂拥有一个完全不同的生态系统。富士康正在建造世界上最先进的工厂之一。它们的生态系统同样包括边缘计算机和机器人软件,用于设计工厂、工作流程、编程机器人,当然还有协调数字化工厂和 AI 工厂的 PLC 计算机。我们也有连接到每个生态系统的 SDK。
这在中国台湾各地都在发生。富士康正在建造其工厂的数字孪生。

顺便说一下,台达也正在构建其工厂的数字孪生。一半是真实的,一半是数字化的,一半是在 Omniverse 中。和硕正在构建其机器人工厂的数字孪生。纬创也正在构建其机器人工厂的数字孪生。
这真的很酷,这是一段关于富士康新工厂的视频,让我们来看看。


"对 NVIDIA 加速计算的需求正在激增,因为世界正在将传统数据中心现代化为生成式 AI 工厂。富士康,世界最大的电子制造商,正在积极准备满足这种需求,通过使用 NVIDIA Omniverse 和 AI 建造机器人工厂。工厂规划人员使用 Omniverse 集成来自领先行业应用(如 Siemens Teamcenter X 和 Autodesk Revit)的设施和设备数据。在数字孪生中,他们优化楼层布局和生产线配置,并确定最佳的摄像头位置,以使用 NVIDIA Metropolis 驱动的视觉 AI 监控未来的运营。虚拟集成可以为规划人员节省在施工期间进行物理变更订单所产生的巨额成本。富士康团队使用数字孪生作为真相来源,来沟通和验证精确的设备布局。Omniverse 数字孪生也是机器人训练场,富士康开发人员在那里训练和测试 NVIDIA Isaac AI 应用,用于机器人感知和操作,以及 Metropolis AI 应用,用于传感器融合。在 Omniverse 中,富士康模拟了两个机器人 AI,然后将运行时部署到 Jetson 计算机上,用于装配线。他们模拟了 Isaac 操纵器库和 AI 模型,用于自动光学检测,用于物体识别、缺陷检测和轨迹规划,用于将 DGX 系统转移到测试舱。他们模拟了 Isaac Perceptor 驱动的 FoBot AMR,因为它们使用 3D 映射和重建来感知和移动环境。富士康正在构建其机器人工厂,这些工厂协调运行在 NVIDIA Isaac 上的机器人,用于构建 NVIDIA AI 超级计算机,而这些超级计算机反过来又训练富士康机器人。"
"因此,一个机器人工厂的设计使用三台计算机:训练 AI 的 NVIDIA AI 超级计算机,运行机器人的 PLC 系统,用于协调工厂,当然还有在 Omniverse 中模拟所有内容。"
机器人手臂和自动导引车 (AMR) 也是如此,三台计算机系统,区别在于这两个 Omniverse 将会结合在一起,它们将共享一个虚拟空间。当它们共享一个虚拟空间时,机器人手臂将进入机器人工厂,同样使用三台计算机,我们提供计算机、加速层和预训练 AI 模型。"
我们已经将 NVIDIA 操纵器和 NVIDIA Omniverse 与西门子,全球领先的工业自动化软件和系统公司,进行了集成。这是一个很棒的合作关系,他们正在世界各地的工厂中进行合作。Semantic Pick AI 现在集成了 Isaac 操纵器,Semantic Pick AI 运行在 ABB、库卡、安川、发那科、Universal Robotics、台达以及其他公司的机器人上。西门子是一个很棒的集成商。我们还有许多其他的集成。让我们看看。
其他机器人平台合作伙伴
ArcBest 正在将 Isaac Perceptor 集成到 Vox 智能自主机器人中,以增强物体识别和材料搬运中的运动跟踪。
比亚迪电子正在将 Isaac 操纵器和 Perceptor 集成到其 AI 机器人中,以提高全球客户的制造效率。
Idealworks 正在将 Isaac Perceptor 集成到其 iWOS 软件中,用于工厂物流中的 AI 机器人。
Intrinsic,一家 Alphabet 旗下的公司,正在将其 Flow State 平台中采用 Isaac 操纵器,以推进机器人抓取。
Gideon 正在将 Isaac Perceptor 集成到 Tray AI 驱动的叉车中,以推进 AI 驱动的物流。
Argo Robotics 正在将 Isaac Perceptor 集成到其基于视觉的先进 AMR 的感知引擎中。
Solomon 正在其 AccuPick 3D 软件中使用 Isaac 操纵器 AI 模型,用于工业操纵。
Techman Robot 正在将 Isaac Sim 和 操纵器集成到 TM Flow 中,加速自动光学检测。
Pteridine Robotics 正在将 Isaac 操纵器集成到 PoScope X 中,用于协作机器人,以及将 Isaac Perceptor 集成到 Mere AMR 中。
Vention 正在将 Isaac 操纵器集成到机器逻辑中,用于 AI 操纵。
机器人技术已经到来,物理 AI 已经到来,这不是科幻小说,它正在中国台湾各地使用,这真的令人激动!
这就是工厂,里面的机器人,当然所有产品都将是机器人化的。
有两款高产量的机器人产品,一个是自动驾驶汽车,或者说拥有高度自动驾驶功能的汽车。NVIDIA 再次构建了整个栈。明年,我们将开始生产梅赛德斯车队,然后在 2026 年,我们将生产捷豹路虎车队。我们向全世界提供完整的栈,但您也可以选择使用我们栈的任何部分,就像整个驾驶栈是开放的一样。
另一个将在机器人工厂(内部有机器人)制造的高产量机器人产品可能是人形机器人。近年来,在认知能力(由于基础模型)和我们正在开发的世界理解能力方面都取得了巨大的进步。我对此领域感到非常兴奋,因为很明显,最容易适应世界的机器人是人类或机器人,因为我们为我们自己构建了这个世界。我们拥有的用于训练这些机器人的数据也比其他类型的机器人多得多,因为我们拥有相同的体型。因此,我们可以通过演示能力和视频能力提供的大量训练数据将非常棒。因此,我们将在这一领域看到很多进展。
"我认为我们有一些机器人,我们想欢迎它们。"

"它们和我的体型差不多。"
"我们有一些朋友要加入我们。"
"机器人的未来已经到来,下一波 AI 已经到来。当然,您知道中国台湾制造带有键盘的计算机,您制造口袋里的计算机,您制造云数据中心的计算机。在未来,您将制造会走路和会滚动的计算机。"
"这些都是计算机,事实证明,这项技术与制造您已经制造的所有其他计算机的技术非常相似。所以,对我们来说,这将是一段非凡的旅程
⭐星标AI寒武纪,好内容不错过⭐
用你的赞和在看告诉我~

新工业革命👇👇
到顶部