- 课程回放
单相机无标记运动捕捉的研究
智猩猩AI新青年讲座 2023/01/11 19:00:00
课程讲师
课程提纲
- 主流的单相机无标记运动捕捉方法及局限性
- 针对遮挡问题的细粒度位姿信息聚合
- 减少对齐偏差的多尺度网格对齐反馈
- 融合手部动作和面部表情的全身动捕模型
课程简介
单视点无标记运动捕捉是指只需一台RGB相机即可进行人物运动捕捉,在数字人建模和生成中有着极大应用潜力。目前,在单相机无标记运动捕捉方法中,基于回归的方法逐渐成为主流。这些方法利用网络学习像素到三维姿态的映射关系,能够以前馈的方式从单目图像中估计出人体模型的参数。但由于人体模型参数的微小偏差,通常会导致最终的网格和图像之间出现明显的对齐偏差。
为了更好的克服这个问题,清华大学博士后张鸿文等人先后提出了针对遮挡问题的细粒度位姿信息聚合方法DaNet和减少对齐偏差的多尺度网格对齐反馈方法PyMAF。DaNet利用细粒度的稠密位姿信息,使得算法能够更好地感知人体各部件重建状态;PyMAF则通过提取网格对齐特征作为反馈信息,让算法能够有效地修正偏离的人体部件位置。
此外,通过拓展PyMAF方法,清华大学博士后张鸿文等人最新提出了PyMAF-X,它能够进行包括手部动作和面部表情在内的全身运动捕捉,其自适应整合策略能够在全身动捕中有效保持各部件的对齐性能并保证关节的自然连接。结果证明,PyMAF和PyMAF-X方法能够显著改善人体模型与图像的重投影对齐效果,实现更为鲁棒对齐的单相机无标记动作捕捉。
1月11日晚7点,「AI新青年讲座」第191讲邀请到清华大学三维视觉实验室博士后张鸿文参与,主讲《单相机无标记运动捕捉的研究》。
精彩问答
提问
提问