深度神经网络的优化目标是为了获得更高的模型准确率，以及更快的模型推理速度。而为了获得更轻、更快的网络，模型剪枝技术在近些年来吸引了很多研究人员的关注。

模型剪枝技术又包括了结构化剪枝（Filter/Channel pruning）和非结构化剪枝（Weight pruning）两种方式。结构化剪枝利于工程加速，非结构化剪枝能够裁剪更多的参数，两者之间各有优劣势。

那么是否可以考虑将结构化剪枝和非结构化剪枝的优势相结合呢？答案自然是可以的。腾讯优图便提出了一种介于结构化剪和非结构化剪枝之间的剪枝方法：Stripe-Wise pruning。该方法通过裁剪滤波器的形状，对模型进行裁剪，并且能够兼容filter pruning，实现更加精细的裁剪。此外，通过改变卷积的计算方式，Stripe-Wise pruning能够结构化的实现裁剪后不同形状的滤波器，便于模型加速。最终的实验结果也表明该方法能够达到结构化剪枝的最优效果。

当然，除了Stripe-Wise pruning，腾讯优图实验室在模型剪枝的领域还提出了其他的成果。比如去除模型残差的直筒型网络剪枝方法RM Operation。残差连接使训练更深的网络成为了可能，但其碎片化的操作却不利于高效并行推理，同时相邻残差块输入输出通道的一致性，都限制了剪枝的效果。而RM Operation能够等价的去除模型的残差，对去除残差的ResNet进行剪枝，模型推理速度快于直接对ResNet进行剪枝。

还有与剪枝相反的滤波器嫁接方法Filter grafting。在某些场景下，我们不希望改变模型的结构，只希望提升模型的准确率。但模型训练过程中，总是容易有参数没有被有效利用。而Filter grafting与Filter pruning正相反，希望激活模型中的无效滤波器，从而在不改变模型结构的情况下，提升模型的准确率。此外，该方法可以通过滤波器的信息熵来自适应的判断嫁接的比例，能够在多个数据集，多种任务上提升模型的效果。并且Filter grafting可以即插即用，也可以和蒸馏等其他方法一起使用。

10月13日晚7点，腾讯优图实验室专场第4讲将开讲。腾讯优图实验室研究员繁续将在这一讲中，以《基于模型剪枝的高效模型设计方法》为主题，对深度神经网络优化中的剪枝技术进行深入讲解。

繁续目前是腾讯优图实验室研究员，研究方向为高效模型的训练、剪枝、设计方法等，研究成果曾以第一作者身份发表于CVPR、NeurIPS等顶级会议上。