绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
单相机无标记运动捕捉的研究
AI新青年讲座 2023/01/11 19:00:00
课程讲师
张鸿文 清华大学 三维视觉实验室博士后

合作导师为刘烨斌教授;研究方向为三维视觉及其在数字人重建和生成中的应用,相关研究成果发表在TPAMI、ICCV等领域顶级期刊和会议上。

张鸿文
清华大学 三维视觉实验室博士后

合作导师为刘烨斌教授;研究方向为三维视觉及其在数字人重建和生成中的应用,相关研究成果发表在TPAMI、ICCV等领域顶级期刊和会议上。

课程提纲
  • 主流的单相机无标记运动捕捉方法及局限性
  • 针对遮挡问题的细粒度位姿信息聚合
  • 减少对齐偏差的多尺度网格对齐反馈
  • 融合手部动作和面部表情的全身动捕模型
课程简介

单视点无标记运动捕捉是指只需一台RGB相机即可进行人物运动捕捉,在数字人建模和生成中有着极大应用潜力。目前,在单相机无标记运动捕捉方法中,基于回归的方法逐渐成为主流。这些方法利用网络学习像素到三维姿态的映射关系,能够以前馈的方式从单目图像中估计出人体模型的参数。但由于人体模型参数的微小偏差,通常会导致最终的网格和图像之间出现明显的对齐偏差。

为了更好的克服这个问题,清华大学博士后张鸿文等人先后提出了针对遮挡问题的细粒度位姿信息聚合方法DaNet和减少对齐偏差的多尺度网格对齐反馈方法PyMAF。DaNet利用细粒度的稠密位姿信息,使得算法能够更好地感知人体各部件重建状态;PyMAF则通过提取网格对齐特征作为反馈信息,让算法能够有效地修正偏离的人体部件位置。

此外,通过拓展PyMAF方法,清华大学博士后张鸿文等人最新提出了PyMAF-X,它能够进行包括手部动作和面部表情在内的全身运动捕捉,其自适应整合策略能够在全身动捕中有效保持各部件的对齐性能并保证关节的自然连接。结果证明,PyMAF和PyMAF-X方法能够显著改善人体模型与图像的重投影对齐效果,实现更为鲁棒对齐的单相机无标记动作捕捉。

1月11日晚7点,「AI新青年讲座」第191讲邀请到清华大学三维视觉实验室博士后张鸿文参与,主讲《单相机无标记运动捕捉的研究》。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...