Nvidia最新的AI演示令人印象深刻:一个可以快速将“几十个”2D快照转换为3D渲染场景的工具。在下面的视频中,您可以看到该方法的实际效果,一位穿着像安迪·沃霍尔(AndyWarhol)的模特拿着老式的宝丽来相机。(不要过度考虑与沃霍尔的联系:这只是公关场景的一点修饰。)
该工具被称为InstantNeRF,指的是“神经辐射场”——一种由加州大学伯克利分校、谷歌研究院和加州大学圣地亚哥分校的研究人员于2020年开发的技术。如果你想要神经辐射场的详细解释,你可以在这里阅读,但简而言之,该方法映射不同2D镜头的颜色和光强度,然后生成数据以连接来自不同有利位置的这些图像并渲染完成的3D场景。除了图像,系统还需要有关相机位置的数据。
几年来,研究人员一直在改进这种2D到3D模型,为完成的渲染添加更多细节并提高渲染速度。Nvidia表示,其新的InstantNeRF模型是迄今为止开发速度最快的模型之一,它将渲染时间从几分钟缩短到“几乎立即”完成的过程。
英伟达在一篇描述这项工作的博客文章中说,随着这项技术变得更快、更容易实施,它可以用于各种任务。
“InstantNeRF可用于为虚拟世界创建化身或场景,以3D形式捕捉视频会议参与者及其环境,或为3D数字地图重建场景,”Nvidia的IshaSalian写道。“该技术可用于训练机器人和自动驾驶汽车,通过捕获它们的2D图像或视频片段来了解现实世界物体的大小和形状。它还可以用于建筑和娱乐,以快速生成创作者可以修改和构建的真实环境的数字表示。”(听起来像元节在召唤。)
在一篇描述这项工作的论文中,英伟达的研究人员表示,他们能够“在几十毫秒内”以1920×1080的分辨率导出场景。研究人员还共享了该项目的源代码,允许其他人实施他们的方法。似乎NeRF渲染正在迅速发展,并可能在未来几年开始对现实世界产生影响。