- 课程回放
基于互语义蒸馏网络的零样本学习
AI新青年讲座 2022/08/24 18:00:00
课程讲师
陈使明
华中科技大学 在读博士
师从尤新革教授,研究方向是零样本学习、生成建模与学习,以第一作者在NeurIPS/CVPR/ICCV/AAAI/IJCAI/TNNLS/TEVC等CCF-A类会议和权威期刊发表论文10篇,担任TPAMI/TIP/CVPR/ECCV/AAAI/IJCAI等人工智能领域顶级期刊/会议审稿人。
课程提纲
- 零样本学习的关键挑战
- 当前的零样本学习方法解析及问题
- 互语义蒸馏网络(MSDN)设计
- 在多个标准数据集上的实验结果
课程简介
零样本学习(Zero-shot Learning, ZSL)的关键挑战是如何推断已见类的视觉和属性特征之间的隐藏语义知识,旨在通过运用已学到的已知类知识去认知未知类知识,从而实现对未见类的理想知识迁移。
当前的零样本学习方法要么是简单地将图像的全局特征与其相关的类语义向量对齐,要么是利用单向注意力来学习有限的隐藏语义表征,无法有效地挖掘视觉-属性特征之间的关键公共语义知识(如属性语义)。
为了解决上述问题,在今年的CVPR 2022上,华中科技大学在读博士陈使明等人提出了一种互语义蒸馏网络(MSDN),该网络可以逐步蒸馏视觉和属性特征之间的潜在语义表示。MSDN包含一个属性→视觉的注意力子网络(A→V)学习基于属性的视觉特征,以及视觉→属性注意子网络(V→A)学习基于视觉的属性特征。通过进一步引入语义蒸馏损失促使两个注意子网络能够在训练过程中相互协作学习和教导,从而实现两个子网络特征的语义蒸馏。
MSDN比强大的基线有明显的改进,在 CUB、SUN 和 AWA2 等多个标准数据集上,获得了新的SOTA。
8月24日晚6点,「AI新青年讲座」第151讲,邀请到华中科技大学在读博士、MSDN一作陈使明参与,主讲《基于互语义蒸馏网络的零样本学习》。
精彩问答
提问
提问