绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
知识蒸馏中的架构搜索与自监督蒸馏方法的设计
轻量化网络专题讲座 2021/06/23 19:00:00
课程讲师
顾金东 德国慕尼黑大学在读博士

研究兴趣包括 深度学习的可解释性和鲁棒性,知识蒸馏,胶囊网络;在CVPR,ICLR,AAAI等会议上发表多篇一作论文,并担任CVPR, ICCV, NeurIPS, TPAMI等会议和期刊的审稿人。

顾金东
德国慕尼黑大学在读博士

研究兴趣包括 深度学习的可解释性和鲁棒性,知识蒸馏,胶囊网络;在CVPR,ICLR,AAAI等会议上发表多篇一作论文,并担任CVPR, ICCV, NeurIPS, TPAMI等会议和期刊的审稿人。

课程提纲
  • 监督学习知识蒸馏的研究
  • 知识蒸馏中学生模型架构的搜索
  • 自监督学习下的知识蒸馏方法设计
课程简介

在6月17日「轻量化网络专题讲座」第一讲的直播讲解中,北京航空航天大学软件开发环境国家重点实验室在读博士秦浩桐,以《无数据模型量化方法研究》为主题,深度讲解了模型量化的研究进展以及他们在CVPR 2021上被收录为Oral论文的一种多样化的样本生成方法DSG。在课程最后的问答环节,秦博更是与大家进行了专业且深度的讨论,由此可见轻量化网络结构设计与优化在实际工作中的价值。

6月24日晚7点,将由德国慕尼黑大学在读博士顾金东参与到「轻量化网络专题讲座」第二讲的直播讲解中,主题为《知识蒸馏中的架构搜索与自监督蒸馏方法的设计》。

顾金东目前是德国慕尼黑大学在读博士生,研究兴趣包括了深度学习的可解释性和鲁棒性、知识蒸馏、胶囊网络等,并在CVPR,ICLR,AAAI等会议上发表了多篇一作论文,也担任了CVPR, ICCV, NeurIPS, TPAMI等会议和期刊的审稿人。

在轻量化网络加速方面,现有的模型压缩方法也不少,比如模型剪枝、设计更高效的网络结构、矩阵分解、模型量化或二值化,以及知识蒸馏等。其中知识蒸馏作为一项成熟的技术,经常被用来更好地训练小模型。 而在监督学习的范式下,最近几年有很多高效的蒸馏方法被提出。而在本次的讲座中,顾金东博士将与大家探讨以下两个课题:

1)给定一个老师模型,如何为学生模型寻找一个好的架构,使得蒸馏效果更好?

2)自监督学习最近收到了很大关注,这种学习范式已经学习的特征已经可以与监督学习下的相比较,然而自监督学习下小模型的很不好。那如何使用知识蒸馏技术来改善自监督学习下的小模型呢?

我们的课程将在智东西公开课知识店铺上以视频直播的形式进行,包含主讲和问答两个环节。主讲环节40分钟,问答环节20分钟,每个环节顾博都将通过视频直播的形式进行实时讲解与解答。

同时,我们还组建了轻量化网络技术交流群。加入交流群,除了可以免费收看讲座直播进行学习之外,还能与主讲老师,以及更多开发者和科研人员认识和交流。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...