现有的基于扩散模型的三维纹理图生成方法在单个物体上已经取得了令人惊艳的成果，但针对场景级纹理图生成领域还有待探索。

其主要难点在于：

（1）场景级纹理图生成的尺度远大于单个物体；

（2）场景级纹理图生成任务要求更高的纹理细节以及风格一致性。

因此，现有的单个物体级三维纹理图生成方法难以被直接应用到场景级任务上。

为了解决以上问题，慕尼黑工业大学视觉实验室24届博士陈振宇提出了一种基于二维扩散模型的场景级三维纹理图生成方法SceneTex。相关论文《SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors》收录于CVPR 2024。

与以往的基于Inpainting的三维纹理图生成方法不同的是，SceneTex将整个纹理图生成过程转化为一个全局优化问题。该算法核心是提出了一个多分辨率的纹理图特征场模块，以用于在多尺度上隐式编码场景的外观信息。

同时，为了提高场景中每个物体的外观及整个场景风格的一致性，SceneTex提出了一个基于跨注意力机制的纹理图解码器，有效地在生成过程中避免了物体自遮挡问题，并极大程度地提高了场景纹理图的生成质量。该项目已在GitHub开源。

5月14日晚7点，智猩猩邀请到论文一作、慕尼黑工业大学视觉实验室24届博士陈振宇参与「智猩猩AI新青年讲座」235讲，主讲《三维室内场景纹理图生成》。