随着三维视觉技术的快速发展，从单视图或多视图图像中重建三维对象成为了一个重要且具有挑战性的任务。传统方法如立体匹配、体积重建和多视角立体视觉等由于3D表征缺陷，往往在物体单目重建中存在3D几何不一致或渲染质量不佳的问题。

对于以上问题，来自加拿大西蒙菲莎大学GrUVi Lab在读博士母宇轩联合华为加拿大诺亚方舟实验室的研究人员基于最近先进的3D显式表示3DGS和扩散模型共同提出了一种新颖的3D重建方法GSD，朝着解决这些问题迈出了一步。相关论文为《GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction》，已收录于ECCV 2024。

GSD主要结合了高斯溅射（GS）表示和生成扩散Transformer（DiT）模型来改进高质量的单视图3D重建。

首先，使用GS表示来编码3D场景，其中每个GS椭球体由其中心位置、协方差、区域颜色和不透明度参数化。这种表示方法能够显式地编码3D几何和纹理信息。

其次，训练一个扩散模型来生成由GS椭球体表示的3D对象。这个模型学习从高斯噪声中生成数据，通过去噪过程学习数据的先验分布。

虽然扩散模型是无条件学习的，但它可以通过视图引导的重建来适应特定的输入视图，而无需进一步模型微调。这主要是通过高效而灵活的splatting渲染功能和梯度引导去噪采样过程传播细粒度的2D特征来实现的。

此外，进一步采用二维扩散模型来增强渲染保真度，并通过优化和复用生成视图来提高重建的GS物体质量。

最终的重建对象明确具有高质量的3D结构和纹理，并且可以在任意视角高效渲染。在具有挑战性的现实世界CO3D数据集上进行的实验证明了方法的优越性。

8月28日10点，智猩猩邀请到论文一作、加拿大西蒙菲莎大学GrUVi Lab在读博士母宇轩参与「智猩猩AI新青年讲座」250讲，主讲《单视图引导的3DGS物体重建》。