绑定手机号
确认绑定
姿态估计在以人为中心的视觉应用中起着关键作用。然而,由于计算成本高(每帧超过150 GMACs),很难在资源受限的边缘设备上部署SOTA的基于HRNet的姿态估计模型。
很多大模型上的结论和方法,在轻量模型的研究中并不适用,对大模型有显著帮助的trick在轻量模型上完全有可能掉点,模型性能也并不是随着计算量的增大而单调递增,其中存在很多的局部最优。因此,如何在有限的计算资源下设计出最优的模型结构,总结出一些最优的设计准则,是一个值得研究的话题。
MIT韩松老师组在研究了边缘端实时的多人姿态估计模型的高效架构设计后,通过通过渐进收缩(gradual shrinking)实验发现:HRNet的高分辨率分支对于低计算区域的模型是多余的,删除它们可以提高效率和性能。
在 CVPR 2022 上,来自清华、CMU 和 MIT 的团队最新提出了一种用于姿势估计的高效单分支结构LitePose。在移动平台上,LitePose在不牺牲性能的情况下将延迟降低了5倍,与现有的SOTA高效姿态估计模型相比,推动多人实时姿态估计模型在边缘端取得了突破性进展。
1月13日早10点,AI新青年讲座第191讲邀请到LitePose一作、普林斯顿大学在读博士王羿涵,主讲《边缘端实时多人姿态估计架构Lite Pose》。