- 课程回放

研究方向为高性能深度学习(efficient deep learning)和模型压缩,主要包含神经网络剪枝,知识蒸馏等具体技术;所提出的模型压缩方法被应用于图像分类、超分辨率、风格迁移、神经辐射场/神经光场、基础模型等多种场景、不同结构的网络中;工作成果在CVPR、ICCV
ECCV、ICLR、NeurIPS、IJCAI、TIP等会议或期刊上发表;此前在浙江大学获得学士与硕士学位。
- NeRF的研究及渲染速度问题
- R2L:通过数据蒸馏将 NeRF 转化为神经光场 NeLF
- 面向移动端的实时渲染方法 MobileR2L
- 同类方法效果对比及在iPhone14上的渲染速度
神经辐射场(NeRF)自 2020 年被提出以来迅猛发展,开启了用神经网络表征高清三维场景的新纪元。尽管 NeRF 在各个维度上都已取得了长足进步,但其渲染慢的问题仍未被很好解决。多数现有加速 NeRF 的方法仍依赖于高端 GPU,使得他们的方法难以迁移到移动端设备上(例如智能手机)。
最近兴起的一种加速 NeRF 的方法 R2L(ECCV 2022)是将训练好的 NeRF 模型通过知识蒸馏的方式转化为神经光场(NeLF)。但由于R2L中设计的神经网络结构未被优化,它仍然不能实现移动端上的实时渲染。
来自 Snap Inc 和美国东北大学的研究者们,在 CVPR 2023 上提出了 R2L 的进阶版本:MobileR2L。相比于其他同类型工作(如MobileNeRF),MobileR2L 不需要额外的 mesh 等几何信息,且保持了 NeRF 原有的紧凑表征的优点(存储一个场景仅需要8.3MB),并在 iPhone14 上达到 60fps 的渲染速度(图片分辨率 756*1008)。
7月7日上午10点,「AI新青年讲座」第217讲邀请到 MobileR2L 作者、美国东北大学在读博士王欢参与,主讲《加速NeRF的移动端实时渲染方法MobileR2L》。在本次讲座中,王欢将详解如何通过网络结构优化实现移动端上的实时渲染。
