- 课程回放
使用语义引导图像扩散模型的单视图NeRF三维重建
AI新青年讲座 2023/05/30 10:00:00
课程讲师

邓丛悦
斯坦福大学 在读博士
导师为美国三院院士Leonidas Guibas教授;本科以年级第一的成绩毕业于清华大学数学系;研究兴趣为三维计算机视觉、计算机图形学、几何计算。在CVPR、ICCV、NeurIPS等顶级会议上发表有多篇论文,其中包括通用SO(3)等变神经网络Vector Neurons;为SIGGRAPH、CVPR、ICCV等顶级会议以及TVCG、IJRR等顶级期刊担任审稿人。
课程提纲
- 单视图NeRF三维重建的研究
- 预训练图像扩散模型优化下的NeRF表示
- 结合两种语言引导输入的单视图重建方法NeRDi
- 实验结果展示及未来研究探讨
课程简介
二维到三维的重建三维重建是一个复杂的任务,往往需要从二维图像中获取三维物体的形状和位置等信息。这是一个不适定问题,往往需要借助先验知识来解决。然而人类是凭借了多年积累的对3D世界的先验知识,从而才能够十分擅长的解决这一问题。
从这个角度出发,来自 Waymo、斯坦福大学以及 Google Research 的研究者们,在 CVPR 2023 上提出了一种基于 2D 扩散模型图像先验的单视图 NeRF 重建框架 NeRDi。他们将单视图重建的问题定义为图像约束下的 3D 生成问题,从而在给定视图约束下使用预训练的图像扩散模型优化3D的NeRF表示。
在充分利用现有的大规模视觉语言模型的基础上,研究者们还引入两种语言引导作为条件输入来指导扩散模型,从而提高生成的NeRF在不同视角下视觉特征和语义特征的一致性。
5月30日早10点,「AI新青年讲座」第210讲邀请到 NeRDi 一作、斯坦福大学在读博士邓丛悦参与,主讲《使用语义引导图像扩散模型的单视图NeRF三维重建》。
精彩问答
提问
提问
