从RGB视频中创建一个可驱动的数字人是困难的，尤其还要兼顾生成质量、真实感、表现力、实时性等方面。但是，目前主流的三维人体重建方法在观察和分离人体姿态与衣物形变之间面临很大挑战，无法生成穿着宽松衣服的数字人。

为了解决这个问题，在CVPR 2022会议上，清华大学郑泽荣博士等人在神经场景渲染技术的基础上引入了一种新的表示方法，其核心是将传统NeRF模型分解为一组结构化的局部辐射场。此局部辐射场表示方法可以从粗到细分为三个层次：第一层是骨架运动；第二层是节点残余平移；第三层是每个单独辐射场内的动态细节变化，这种结构化、多层次的表示不仅能够支持对衣服动态细节的建模，还便于与人体其他部分相组合，且非常有利于实时化加速。

实验证明，该方法无需预先扫描人体几何模型，就能够自动构建穿着各种类型服装的数字人。同时，给定任意新的姿势，此方法也能够生成具有动态细节的图像，还能够支持实时渲染。

2月13日晚7点，「AI新青年讲座」第194讲邀请到清华大学直博生郑泽荣参与，主讲《基于NeRF自动构建可驱动的实时全身数字人》。