绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
使用语义引导图像扩散模型的单视图NeRF三维重建
AI新青年讲座 2023/05/30 10:00:00
课程讲师
邓丛悦 斯坦福大学 在读博士

导师为美国三院院士Leonidas Guibas教授;本科以年级第一的成绩毕业于清华大学数学系;研究兴趣为三维计算机视觉、计算机图形学、几何计算。在CVPR、ICCV、NeurIPS等顶级会议上发表有多篇论文,其中包括通用SO(3)等变神经网络Vector Neurons;为SIGGRAPH、CVPR、ICCV等顶级会议以及TVCG、IJRR等顶级期刊担任审稿人。

邓丛悦
斯坦福大学 在读博士

导师为美国三院院士Leonidas Guibas教授;本科以年级第一的成绩毕业于清华大学数学系;研究兴趣为三维计算机视觉、计算机图形学、几何计算。在CVPR、ICCV、NeurIPS等顶级会议上发表有多篇论文,其中包括通用SO(3)等变神经网络Vector Neurons;为SIGGRAPH、CVPR、ICCV等顶级会议以及TVCG、IJRR等顶级期刊担任审稿人。

课程提纲
  • 单视图NeRF三维重建的研究
  • 预训练图像扩散模型优化下的NeRF表示
  • 结合两种语言引导输入的单视图重建方法NeRDi
  • 实验结果展示及未来研究探讨
课程简介

二维到三维的重建三维重建是一个复杂的任务,往往需要从二维图像中获取三维物体的形状和位置等信息。这是一个不适定问题,往往需要借助先验知识来解决。然而人类是凭借了多年积累的对3D世界的先验知识,从而才能够十分擅长的解决这一问题。

从这个角度出发,来自 Waymo、斯坦福大学以及 Google Research 的研究者们,在 CVPR 2023 上提出了一种基于 2D 扩散模型图像先验的单视图 NeRF 重建框架 NeRDi。他们将单视图重建的问题定义为图像约束下的 3D 生成问题,从而在给定视图约束下使用预训练的图像扩散模型优化3D的NeRF表示。

在充分利用现有的大规模视觉语言模型的基础上,研究者们还引入两种语言引导作为条件输入来指导扩散模型,从而提高生成的NeRF在不同视角下视觉特征和语义特征的一致性。

5月30日早10点,「AI新青年讲座」第210讲邀请到 NeRDi 一作、斯坦福大学在读博士邓丛悦参与,主讲《使用语义引导图像扩散模型的单视图NeRF三维重建》。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...