随着先进的神经网络规模的增长，AI模型在器件端的部署变得愈发困难。模型压缩和软硬件协同设计是目前最常见的两种解决方案。

混合精度量化是模型压缩领域的重要方法。混合精度量化允许神经网络的每一层拥有不同的量化位宽，从而可以很大程度上保留模型的精确度，但是确定每一层的位宽导致了一个指数级的搜索空间。

来自伯克利人工智能实验室 (BAIR) 的博士后董镇等人针对混合精度量化，提出了HAWQ系列、Q-BERT、ZeroQ等等研究成果。HAWQ系列 （HAWQ、HAWQV2、HAWQV3）使用Hessian矩阵信息来优化混合精度量化，Q-BERT则首次尝试大规模语言模型的压缩，ZeroQ提出了不需要样本的后训练量化范式（Zero-Data PTQ）。

同时，针对软硬件协同设计的问题，董镇博士等人还提出了CoDeNet、HAO、ETA等相关工作。CoDeNet是一个可以在FPGA上部署的目标检测网络，HAO是在FPGA上进行高效推理的神经网络架构搜索算法。

12月2日早10点，「AI新青年讲座」第177讲邀请到伯克利大学博士后董镇参与，主讲《模型压缩和软硬件协同设计的算法研究》。