绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
等价去除残差连接:一种即插即用的模型剪枝提升方法
AI新青年讲座 2022/08/19 18:00:00
课程讲师
孟繁续 北京大学 在读博士

前腾讯优图实验室研究员。以第一作者身份在CVPR2020发表论文,该文章提出与剪枝相反的滤波器嫁接方法;以第一作者身份在NeurIPS2020发表论文,该文章提出一种逐条剪枝的方法。

孟繁续
北京大学 在读博士

前腾讯优图实验室研究员。以第一作者身份在CVPR2020发表论文,该文章提出与剪枝相反的滤波器嫁接方法;以第一作者身份在NeurIPS2020发表论文,该文章提出一种逐条剪枝的方法。

课程提纲
  • 经典的残差连接对模型剪枝的限制
  • 等价去除模型残差连接的方法RM
  • 基于ResNet、MobileNetV2的RM剪枝效果
  • 与RepVGG的对比及RM应用
课程简介

残差网络的出现允许我们训练更深层的神经网络,在ResNet,MobileNetV2,EfficientNet等网络中广泛应用。但由于其多分支的推理,使得在推理速度上不如无残差连接的直筒网络(Plain Model),限制了模型的剪枝能力,且影响模型的推理速度。RepVGG通过重参数的思想,将三个分支融合到一个分支中。然而使用RepVGG的重参数化有其局限性,当非线性操作(如ReLU)放置在residual branch的时候,无法进行重参数化。

来自北京大学的博一新生,也是前腾讯优图实验室研究员的孟繁旭提出了一种等价去除模型残差连接的方法RM(Reserving和Merging),可以即插即用的提升模型剪枝的效果。

RM能够移除残差连接,通过保留输入特征映射(Reserving)并将其与输出特征映射合并(Merging),去除非线性层间的残留连接。通过RM也可以将ResNet变为VGG、将MobileNetV2变为MobileNetV1,能够在速度,精度上达到更好的trade off,对剪枝也十分友好。

8月19日晚6点,「AI新青年讲座」第149讲,邀请到北京大学博一新生、RM一作孟繁续参与,主讲《等价去除残差连接,一种即插即用的模型剪枝提升方法》。他首先将会介绍残差连接对剪枝的限制,以及对模型推理速度的影响,然后重点讲解等价去除模型残差的方法RM操作,并以 ResNet,MobileNetV2为例展示如何使用RM操作提升剪枝效果。最后孟博也将对比与RepVGG(另一种去除残差连接方法)的区别,并通过RM操作提升RepVGG的表现。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...