如何合成语义信息合理、真实且多样化的三维室内场景是计算机图形学中一个长期存在的问题。当前主流的方法包含：传统场景建模与合成、基于学习的生成场景合成、三维扩散生成模型。前两者在合成任务中通常伴随着效率低下、多样性差以及难以捕获对象间的关系等问题。

基于此，慕尼黑工业大学在读博士唐佳鹏提出了一种基于去噪扩散模型的三维室内场景生成方法DiffuScene。相关论文《DiffuScene: Denoising Diffusion Models for Generative Indoor Scene Synthesis》收录于CVPR 2024。

场景去噪扩散模型DiffuScene旨在学习包括语义类别、表面几何形状和多个对象位置的3D室内场景分布。

首先，假设室内场景位于以地板中心为原点的坐标系中，每个场景由最多N个对象组成，把这个场景表示为无序集合X0。

其次，利用去噪扩散模型DiffuScene学习3D室内场景的数据分布：在前向过程中，逐渐向X0添加噪声，直到得到一个标准高斯噪声XT；在反向过程（即生成过程）中，去噪网络通过ancestral sampling的方式迭代地清除噪声场景。

最后，引入去噪类别标签和形状潜在编码进行形状检索，并通过去噪的位置、大小和方向来确定物体的几何特征。

该方法在场景补全、场景重建、文本引导的场景合成等下游应用中都表新出了优异的性能。

6月4日晚7点，智猩猩邀请到论文一作、慕尼黑工业大学视觉计算与人工智能实验室在读博士唐佳鹏参与「智猩猩AI新青年讲座」237讲，主讲《基于去噪扩散模型的三维室内场景生成》。