- 课程回放
等价去除残差连接:一种即插即用的模型剪枝提升方法
智猩猩AI新青年讲座 2022/08/19 18:00:00
课程讲师
课程提纲
- 经典的残差连接对模型剪枝的限制
- 等价去除模型残差连接的方法RM
- 基于ResNet、MobileNetV2的RM剪枝效果
- 与RepVGG的对比及RM应用
课程简介
残差网络的出现允许我们训练更深层的神经网络,在ResNet,MobileNetV2,EfficientNet等网络中广泛应用。但由于其多分支的推理,使得在推理速度上不如无残差连接的直筒网络(Plain Model),限制了模型的剪枝能力,且影响模型的推理速度。RepVGG通过重参数的思想,将三个分支融合到一个分支中。然而使用RepVGG的重参数化有其局限性,当非线性操作(如ReLU)放置在residual branch的时候,无法进行重参数化。
来自北京大学的博一新生,也是前腾讯优图实验室研究员的孟繁旭提出了一种等价去除模型残差连接的方法RM(Reserving和Merging),可以即插即用的提升模型剪枝的效果。
RM能够移除残差连接,通过保留输入特征映射(Reserving)并将其与输出特征映射合并(Merging),去除非线性层间的残留连接。通过RM也可以将ResNet变为VGG、将MobileNetV2变为MobileNetV1,能够在速度,精度上达到更好的trade off,对剪枝也十分友好。
8月19日晚6点,「AI新青年讲座」第149讲,邀请到北京大学博一新生、RM一作孟繁续参与,主讲《等价去除残差连接,一种即插即用的模型剪枝提升方法》。他首先将会介绍残差连接对剪枝的限制,以及对模型推理速度的影响,然后重点讲解等价去除模型残差的方法RM操作,并以 ResNet,MobileNetV2为例展示如何使用RM操作提升剪枝效果。最后孟博也将对比与RepVGG(另一种去除残差连接方法)的区别,并通过RM操作提升RepVGG的表现。
精彩问答
提问
提问