在5月份，智东西公开课AI技术教研组全新策划推出「轻量化网络专题讲座」。6月17日晚7点，将由北京航空航天大学在读博士秦浩桐率先带来「轻量化网络专题讲座」第一讲的直播讲解，主题为《无数据模型量化方法研究》。

近年来，量化已经成为了一种获取高效神经网络的有效方法。离线量化不需要重新训练或者微调，作为一种实用而有前景的方案得到了广泛研究。然而，这种方法仍然需要真实的训练数据去校准量化后的模型。有时这些真实数据例如医疗或用户数据因为隐私或者安全问题难以获得。

近期的很多工作提出了一种无数据的量化方法。比如一些工作（如ZeroQ）中用全精度模型的BN统计量来生成最拟合BN统计量的合成数据，解决了对数据的依赖问题。然而，这些方法生成的数据存在分布层面、样本层面的明显的同质化问题，这两个同质化问题导致生成数据的分布与真实数据有很大差异，从而导致了量化模型精度的下降。

在本次的讲座中，来自北京航空航天大学的在读博士秦浩桐将从模型量化的研究进展与应用出发，深度讲解他们在CVPR 2021上被收录为Oral论文的一种多样化的样本生成方法DSG。该方法采用松弛对齐分布（SDA）来松弛对BN层参数的约束、以及层级样本增强（LSE）来加强特定的生成样本对特定层的约束，可以有效的解决上述的两个同质化问题，同时该方法还适用于各种离线量化方法，并且可以获得接近用真实数据校准的模型的性能，甚至在4bit上超过了真实数据。

秦浩桐是北京航空航天大学计算机学院二年级直博生，导师为李未院士和刘祥龙教授。他的研究兴趣为基于低比特量化的硬件友好深度学习，致力于改善深度学习模型在资源有限场景下的推理、生产和部署环节，并在ICLR、CVPR等国际一流会议、期刊上发表学术论文6篇，其中一作4篇。秦博曾获得腾讯犀牛鸟精英人才培养计划、国家奖学金、华为奖学金等。

我们的课程将在智东西公开课知识店铺上以视频直播的形式进行，包含主讲和问答两个环节。主讲环节40分钟，问答环节20分钟，每个环节秦博都将通过视频直播的形式进行实时讲解与解答。

同时，我们还组建了轻量化网络技术交流群。加入交流群，除了可以免费收看讲座直播进行学习之外，还能与秦博，以及更多开发者和科研人员认识和交流。