二维到三维的重建三维重建是一个复杂的任务，往往需要从二维图像中获取三维物体的形状和位置等信息。这是一个不适定问题，往往需要借助先验知识来解决。然而人类是凭借了多年积累的对3D世界的先验知识，从而才能够十分擅长的解决这一问题。

从这个角度出发，来自 Waymo、斯坦福大学以及 Google Research 的研究者们，在 CVPR 2023 上提出了一种基于 2D 扩散模型图像先验的单视图 NeRF 重建框架 NeRDi。他们将单视图重建的问题定义为图像约束下的 3D 生成问题，从而在给定视图约束下使用预训练的图像扩散模型优化3D的NeRF表示。

在充分利用现有的大规模视觉语言模型的基础上，研究者们还引入两种语言引导作为条件输入来指导扩散模型，从而提高生成的NeRF在不同视角下视觉特征和语义特征的一致性。

5月30日早10点，「AI新青年讲座」第210讲邀请到 NeRDi 一作、斯坦福大学在读博士邓丛悦参与，主讲《使用语义引导图像扩散模型的单视图NeRF三维重建》。