绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智猩猩服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智猩猩
加速NeRF的移动端实时渲染方法MobileR2L
智猩猩AI新青年讲座 2023/07/07 10:00:00
课程讲师
王欢 美国东北大学 在读博士

研究方向为高性能深度学习(efficient deep learning)和模型压缩,主要包含神经网络剪枝,知识蒸馏等具体技术;所提出的模型压缩方法被应用于图像分类、超分辨率、风格迁移、神经辐射场/神经光场、基础模型等多种场景、不同结构的网络中;工作成果在CVPR、ICCV

ECCV、ICLR、NeurIPS、IJCAI、TIP等会议或期刊上发表;此前在浙江大学获得学士与硕士学位。

王欢
美国东北大学 在读博士

研究方向为高性能深度学习(efficient deep learning)和模型压缩,主要包含神经网络剪枝,知识蒸馏等具体技术;所提出的模型压缩方法被应用于图像分类、超分辨率、风格迁移、神经辐射场/神经光场、基础模型等多种场景、不同结构的网络中;工作成果在CVPR、ICCV

ECCV、ICLR、NeurIPS、IJCAI、TIP等会议或期刊上发表;此前在浙江大学获得学士与硕士学位。

课程提纲
  • NeRF的研究及渲染速度问题
  • R2L:通过数据蒸馏将 NeRF 转化为神经光场 NeLF
  • 面向移动端的实时渲染方法 MobileR2L
  • 同类方法效果对比及在iPhone14上的渲染速度
课程简介

神经辐射场(NeRF)自 2020 年被提出以来迅猛发展,开启了用神经网络表征高清三维场景的新纪元。尽管 NeRF 在各个维度上都已取得了长足进步,但其渲染慢的问题仍未被很好解决。多数现有加速 NeRF 的方法仍依赖于高端 GPU,使得他们的方法难以迁移到移动端设备上(例如智能手机)。

最近兴起的一种加速 NeRF 的方法 R2L(ECCV 2022)是将训练好的 NeRF 模型通过知识蒸馏的方式转化为神经光场(NeLF)。但由于R2L中设计的神经网络结构未被优化,它仍然不能实现移动端上的实时渲染。

来自 Snap Inc 和美国东北大学的研究者们,在 CVPR 2023 上提出了 R2L 的进阶版本:MobileR2L。相比于其他同类型工作(如MobileNeRF),MobileR2L 不需要额外的 mesh 等几何信息,且保持了 NeRF 原有的紧凑表征的优点(存储一个场景仅需要8.3MB),并在 iPhone14 上达到 60fps 的渲染速度(图片分辨率 756*1008)。

7月7日上午10点,「AI新青年讲座」第217讲邀请到 MobileR2L 作者、美国东北大学在读博士王欢参与,主讲《加速NeRF的移动端实时渲染方法MobileR2L》。在本次讲座中,王欢将详解如何通过网络结构优化实现移动端上的实时渲染。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...