单视图三维重建我们可能已经比较熟悉了，在给定一张单一视角的图像，就可以从中推断出物体的三维结构和形状。然而在大模型时代，单视图三维重建又会有什么样的变化？是否可以通过大模型完成单视图三维重建呢？

Zero-1-to-3 是哥伦比亚大学和丰田研究院的研究者们最新提出的一个单视图三维重建框架。该框架利用了大规模扩散模型对自然图像学习的几何先验知识。其中，条件扩散模型使用合成数据集学习相机视角的相对控制，从而可以在指定的相机转换下生成同一物体的新视图。尽管它是在合成数据集上进行训练的，但模型仍然具有强大的零样本泛化能力。

Zero-1-to-3 还可以用于单视图三维重建的任务。最后的实验结果也证明，该方法在单视图三维重建和新视图合成的效果明显优于现有其他方法。

5月26日，「AI新青年讲座」第209讲邀请到 Zero-1-to-3 一作、哥伦比亚大学在读博士刘若石参与，主讲《Zero-1-to-3: 大模型时代的单视图三维重建》。