英伟达重磅发布:将任何视频转化为详细的3D结构,真正的元宇宙技术



本文为1052字,建议阅读4分钟‍
这才是真正的元宇宙的技术基础

NVIDIA终于发布了Neuralangelo的源代码!这个模型可以将任何设备的视频转化为详细的3D结构,完全复制建筑、雕塑或其他真实世界的物体或空间。请欣赏视频(有声)🎧,哈哈

工作原理‍‍‍‍‍‍‍‍‍‍‍‍‍‍
神经表面重建已被证明可以通过基于图像的神经渲染恢复密集的 3D 表面。然而,目前的方法很难恢复现实世界场景的详细结构。为了解决这个问题,英伟达提出了Neuralangelo,它将多分辨率3D哈希网格的表示能力与神经表面渲染相结合。
Neuralangelo方法由两个关键要素实现:
1)计算高阶导数的数值梯度,使用步长与哈希网格的空间分辨率相匹配的数值梯度可以优化本地单元格之外的实例。与分析梯度相比,数值梯度在SDF上充当平滑操作‍
2)渐进式逼近高保真细节,控制不同细节级别的哈希网格上的粗细优化。即使没有辅助深度,Neuralangelo也可以有效地从多视图图像中恢复密集的3D表面结构,其保真度显着超过以前的方法,从而可以从RGB视频捕获中实现详细的大规模场景重建
Neuralangelo 使用三个优化目标

RGB合成损失:输入图像和合成图像之间的 RGB 重建损失
程损失(Eikonal loss ):正则化底层 SDF,使表面法线达到单位范数
曲率损失:正则化基础 SDF,使得平均曲率不会任意大

通俗理解‍‍‍‍‍‍‍‍‍‍‍‍
它是这样工作的: 模型使用一个从多个角度展示物体或场景的2D视频。它从不同的视点选择帧来理解深度、大小和形状。 AI创建了一个初步的3D表示,就像雕塑家塑造一个主题。渲染被优化以增强细节,就像雕塑家细化纹理。 结果是适合虚拟现实、数字双胞胎或机器人技术的3D物体或场景。 
简单来说,NVIDIA推出了一个名为Neuralangelo的工具,它就像魔法一样,可以把我们平常拍的视频变成三维模型!只要你用不同的角度拍摄一个物体或场所,这个工具就会像雕塑家一样,先大致塑造出它的形状,然后逐渐细化,直到做出一个逼真的三维模型。这样做出来的模型可以用在虚拟现实游戏或者机器人技术中

结束语
‍‍
开源地址:https://github.com/nvlabs/neuralangelo
不知道大家有没有发现,Neuralangelo技术论文的第一作者是华人,没错,又是华人,英伟达的CEO黄仁勋还是出生在我国台湾省呢,最近英伟达市值突破了1万亿美金,进入了世界顶级公司行列,英伟达生产的GPU也已经成为了AI训练的标准硬件,英伟达不仅在硬件领域达到世界顶峰,软件方面更是高歌猛进,这就是最好的例证‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍
随着AIGC大爆发,顶级计算机公司都是软硬通吃,建立软硬技术矩阵,高壁垒去参与世界技术竞争,苹果,微软,google,facebook,都在这样做‍‍‍‍‍‍‍‍‍‍‍‍‍
今天国内前华为天才少年稚晖君离职创办的智元机器人公司也发布了人形机器人远征1号,这需要高度的软件与硬件融合才能做得好,希望越来越好吧‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍
⭐星标AI寒武纪,好内容不错过⭐
用你的赞和在看告诉我~

周末愉快👇👇
到顶部