- 课程回放
使用静态点云模型实现动态点云分类
AI新青年讲座 2022/09/29 18:00:00
课程讲师
钟家兴
牛津大学 虚实整合系统组在读博士
师从Andrew Markham教授和Niki Trigoni教授,研究兴趣为机器学习和计算机视觉,主要是场景理解中的三维视觉以及视频分析;担任顶级学术会议或期刊CVPR、ICCV、AAAI、SIGGRAPH以及MICCAI、TMI等审稿人,并在计算机视觉相关领域多个顶级会议期刊发表多篇论文。
课程提纲
- 静态点云模型应用的局限
- 动态点云分类面临的挑战
- 基于静态点云模型的动态点云分类框架
- 在静态模型上的联合训练和部署
课程简介
静态点云的分类分割在过去几年中取得了快速进展,然而这些静态点云模型并不能理解真实世界正在发生的变化。基于场景流的模型可以理解真实的世界,捕捉3D点云的运动,却很难将模型直接应用在动态点云上,因为将不规则、无序的点云有效地对应起来是很难甚至不可能的。
为了在不跟踪点云对应关系的情况下捕获3D运动,牛津大学虚实整合系统组在读博士钟家兴等人从运动学中获得灵感,提出基于静态点云模型的动态点云分类框架Kinet。Kinet将时空曲面(ST曲面)的运动学概念从点云的物理域推广到特征空间,从而绕过场景流估计,通过这种方式,这些ST曲面的法向量建立了动态信息的表示字段。因此,点云的运动可以由特征级ST曲面隐式表示,无需显式计算对应的点,从而实现动态点云的分类。
受迭代法线优化的启发,钟家兴博士等人还展开了ST法线的解算器,使Kinet能够与静态点云模型一起以端到端的方式进行联合训练,由于网络结构的微小变化和较低的计算开销,在给定的静态模型上很容易就可联合训练和部署Kinet。
9月29日晚6点,「AI新青年讲座」第162讲邀请到牛津大学虚实整合系统组在读博士钟家兴参与,主讲《使用静态点云模型实现动态点云分类》。
精彩问答
提问
提问