绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
单目实时多人三维人体姿态及深度位置估计
AI新青年讲座 2022/11/28 19:00:00
课程讲师
孙宇 哈尔滨工业大学 机器人研究所在读博士

由王树国教授和付宜利教授指导,目前在京东探索研究院实习, 指导老师是刘武和鲍慊。主要研究基于单目相机的三维人体形态及位置估计。目前以一作身份于CVPR、ICCV上发表论文3篇。

孙宇
哈尔滨工业大学 机器人研究所在读博士

由王树国教授和付宜利教授指导,目前在京东探索研究院实习, 指导老师是刘武和鲍慊。主要研究基于单目相机的三维人体形态及位置估计。目前以一作身份于CVPR、ICCV上发表论文3篇。

课程提纲
  • 单目三维人体姿态估计方法的局限
  • 可适应遮挡的单阶段多人姿态估计算法
  • 突破年龄限制的多人深度位置估计模型BEV
  • 在虚拟形象驱动中的应用
课程简介

元宇宙概念的火热,让越来越多的研究者探索如何便捷地实现人与虚拟世界的交互。使用单目相机进行三维人体姿态估计很大程度上迎合了这一需求,然而目前大多方法都采用先检测再逐人估计的多阶段框架,其复杂性提升了落地时的成本。

为了克服这一问题,哈尔滨工业大学机器人研究所在读博士孙宇等人提出ROMP,这是一个单阶段算法,可以在1070Ti上搭载单个摄像头,实时估计多人三维人体网格。

为了适应实际场景中普遍存在的多人遮挡问题,不同于多阶段方法的检测框级的模糊表征,ROMP端到端地学习像素级别的明确表征。并且为了让模型进一步适应严重遮挡的情况,在表征学习的过程中融入了多人中心碰撞检测机制,促使模型学习更具有区分性的表征。

为了进一步提升ROMP对多人深度关系的感知能力,在今年的CVPR 2022中,孙宇博士等人将ROMP的二维表征升级为基于鸟瞰图的三维表征,提出了多人深度位置估计模型BEV,BEV突破了现有的只支持单一年龄段的三维人体姿态估计方法的局限性,实现对包括婴儿、儿童、青少年、成人在内的全年龄段的支持。

11月23日晚7点,「AI新青年讲座」第175讲邀请到哈尔滨工业大学机器人研究所在读博士孙宇参与,主讲《单目实时多人三维人体姿态及深度位置估计》。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...