人脸生成具有广泛的应用，现有较好的基于StyleGAN的人脸生成方法，然而其仅能生成2D人脸，在3D人脸生成上无能为力。3D感知人脸生成旨在通过语义分割图生成3D人脸，而其目前主要面临两大问题，一是生成的人脸分辨率较低，二是对生成的高清人脸很难进行实时的编辑。

为了解决上述问题，清华大学三维视觉实验室在读博士孙景翔等人提出了三维人脸语义编辑系统IDE-3D，这是一个两全其美的系统，既能生成高清的3D人脸，也能对人脸进行实时地编辑。

IDE-3D主要由三个部分组成：

（1）一个基于StyleGAN2的3D语义感知人脸生成模型，用来生成视角一致的、纹理和几何相互解耦的人脸图像和语义掩码。

（2）一种混合GAN反演方法，通过语义和纹理编码器对单视角图像进行编码，得到初始的隐式编码，并通过进一步的优化策略实现高保真的人脸编辑。

（3）一个高效的正则空间人脸编辑器，将正则视角下编辑的语义掩码转化成隐式编码，从而产生高质量的局部编辑结果。

通过这三个部分，IDE-3D能够支持许多灵活和交互式的人脸任务，例如自由视角人脸生成、编辑和风格迁移，以及真实人脸的反演与实时编辑，并且在照片写实、忠实度和效率方面达到最先进的水平。

10月11日晚6点，「AI新青年讲座」第163讲邀请到清华大学三维视觉实验室在读博士孙景翔参与，主讲《基于StyleGAN2的高清3D感知人脸生成与编辑》。