- 课程回放
主要研究领域包括:目标检测、实例分割、全景分割、图像超分辨率;在计算机视觉领域顶级会议期刊CVPR, NIPS, ECCV,TPAMI发表多篇论文, 累积google scholar citation超过1000。曾获得过三项国际竞赛冠军,其中包括实例分割标杆竞赛COCO 2017 Instance Segmentation Challenge.
主要研究领域包括:目标检测、实例分割、全景分割、图像超分辨率;在计算机视觉领域顶级会议期刊CVPR, NIPS, ECCV,TPAMI发表多篇论文, 累积google scholar citation超过1000。曾获得过三项国际竞赛冠军,其中包括实例分割标杆竞赛COCO 2017 Instance Segmentation Challenge.
- 实例级检测任务的研究
- 知识蒸馏在低分辨率实例级检测中的挑战
- 基于多尺度和多分辨率特征融合的训练框架
- 在不同实例级检测任务中的应用
截止到5月31日,「CVPR 2021特别企划」第一季的9讲已全部完结,9位CVPR 2021一作分别围绕视频分割、双目图像压缩、小样本目标检测、人体解析、图像修复、多模态的3D场景理解、状态变化的视觉推理任务TVR、无监督行人重识别、计算摄影等内容进行讲解。累计观看量14200人余次,点击文章底部的“阅读原文”可观看所有课程回放。
6月,「CVPR 2021特别企划」第二季全新上线。21日晚7点,将由香港中文大学在读博士亓鲁率先带来第1讲的直播讲解,主题为《基于知识蒸馏的低分辨率实例级检测》。
提到深度学习,相信小伙伴们都不陌生,在深度学习的加持下,实例级检测任务(对象检测,关键点检测,实例分割)实现了极大的性能提升。然而,基于深度学习的实例级检测模型需要耗费大量计算资源,使得运行速度一般远低于传统算法。
目前,深度学习模型加速的方法有许多,比如设计轻量化的网络模型、模型剪枝、模型量化、知识蒸馏、降低输入分辨率等。其中,最简单的方法是降低输入的分辨率。然而,该方法会使模型的性能严重下降,并不可取。那针对低分辨率的实例级检测如何提升其模型性能呢?知识蒸馏不失为一种好的选择。
知识蒸馏是一种基于“教师-学生网络思想”的训练方法,它通过把高分辨率教师网络的知识迁移到低分辨率学生网络来减少性能下降。但这并非易事,因为教师和学生网络在相同的网络阶段不共享输出空间的大小,使得高分辨率教师网络和低分辨率学生网络之间的输出大小不匹配。
为了解决师生网络间输出不匹配的问题,在本次讲座中,亓鲁博士将基于空间上特征图对齐的思想,引入对齐的多尺度训练,以训练可以将其知识无缝地提炼给低分辨率学生的多尺度教师。同时,该方法使用跨分辨率特征融合的模块,动态融合同一位老师的多分辨率功能,从而更好地指导学生。该研究成果已被收录为CVPR 2021。附论文链接:
https://jiaya.me/papers/ms_align_distill_cvpr21.pdf。
亓鲁是香港中文大学在读博士,导师为贾佳亚教授。他的主要研究领域包括:目标检测、实例分割、全景分割、图像超分辨率。亓博在计算机视觉领域顶级会议期刊CVPR、NIPS、ECCV、TPAMI发表多篇论文, 累积google scholar citation超过1000。他还曾获得过三项国际竞赛冠军,其中包括实例分割标杆竞赛COCO 2017 Instance Segmentation Challenge。