- 课程回放
生成数据到真实数据的三维语义分割域适应
智猩猩AI新青年讲座 2022/11/23 19:00:00
课程讲师
课程提纲
- 三维语义分割的研究背景
- 合成数据的泛化难点
- 三维语义分割域适应框架DODA
- 与8种无监督域适应方法的对比
课程简介
深度学习方法在三维语义分割方面取得了显著的成功,然而收集带有密集注释的真实世界3D数据集非常耗时且昂贵,在合成数据上训练模型并在现实场景中泛化成为一种替代方法,却受到领域迁移的影响。
在今年的ECCV 2022中,香港大学CVMI Lab在读博士丁润语等人提出一个面向数据的sim-to-real领域适应框架DODA,能够缓解由于不同的感知机制和跨域布局而导致的模式和上下文差距。挑战的根源在于“数据”,因此DODA设计了两个面向数据的模块,这两个模块可以显著减少领域差距,并且不会在推理过程中产生任何计算成本。
首先是虚拟扫描模拟(VSS)模块,通过模拟真实场景构建过程中出现遮挡和噪声,产生可转移到真实世界的模型。其次是尾部感知长方体混合(TACM)模块,通过基于长方体的中间域来缓解内部上下文差距中,增强自我训练,使模型适应目标域。
为了验证DODA的有效性,丁润语博士等人在3D-FRONT、ScanNet和S3DIS三个数据集以及8种流行的无监督域适应(UDA)方法上构建了第一个3D室内语义分割的无监督域适应基准,且DODA都超过了现有的UDA方法13%以上。
11月23日晚7点,「AI新青年讲座」第173讲邀请到DODA一作、香港大学CVMI Lab在读博士丁润语参与,主讲《生成数据到真实数据的三维语义分割域适应》。
精彩问答
提问
提问
