- 课程回放
室内单目深度估计中的复杂相机位姿
智猩猩AI新青年讲座 2022/07/06 19:00:00
课程讲师
边佳旺
牛津大学 博士后研究员
博士就读于澳大利亚阿德莱德大学,导师为Ian Reid和沈春华教授。本科毕业于南开大学,在程明明教授课题组研究学习;主要研究三维计算机视觉方面难题,具体研究方向包括图像特征匹配,视觉SLAM,三维重建,单目深度估计,和无/自监督学习等,在CVPR、NeurIPS、IJCV、TPAMI等国际顶级会议和期刊上发表十余篇高质量文章。
课程提纲
- 无监督单目深度估计算法解析
- 相机运动与深度估计的关系
- 解决室内复杂相机运动的自校准估计算法SC-DepthV2
课程简介
无监督单目深度估计算法仅使用无需标注的单目视频作为训练数据就能在测试时提供较为准确的场景深度信息,因此这类算法自提出以来就广泛受到学术界和工业界的关注。然而目前大部分方法仅在自动驾驶场景(开车视频上)证明了良好的性能,将其用于室内VR/AR场景则表现一般或可能失败。
虽然低纹理等因素会使得算法更难在室内场景训练,但是牛津大学博士后研究员边佳旺等人认为复杂的相机运动才是更关键的原因。比如,在自动驾驶场景中相机一般被固定在车上稳定前行,而在室内VR/AR场景中相机会随着人(或手)无规律运动。基于这一假设,边佳旺博士首先对相机运动与深度估计的联系作出理论分析,然后提出数据预处理的方法进行实验验证,最后提出自校准网络实现可以端到端训练的无监督深度估计算法SC-Depth。
基于自校准网络(ARN)来解决复杂的相机旋转问题,并将其嵌入到深度估计训练框架SSC-Depth中实现端到端训练。最终SC-DepthV2在NYUv2、Make3D、Scannet等多个数据集上大幅超过现有算法。
7月6日晚7点,「AI新青年讲座」第134讲,牛津大学博士后研究员边佳旺博士将主讲《室内单目深度估计中的复杂相机位姿》。
精彩问答
提问
提问