大语言模型在自然语言处理领域的卓越表现已引起广泛瞩目，然而其对计算资源和硬件设施的高要求成为了广泛应用的一大挑战。

针对这一难题，来自莫纳什大学、北航、商汤的研究者创新性地提出了一种名为 QLLM 的高效、精准的低比特量化方法。QLLM 通过引入自适应通道重组机制，巧妙地将离群值所携带的能量重新分布至其他通道，有效缓解了这些极端值对量化动态范围的影响。

此外，为补偿量化过程中的性能损失，研究者设计了一种仅涉及学习少量低秩权重的低成本微调方法。大量实验表明，QLLM 不仅在性能上显著优于现有量化方法，而且在训练效率上实现了大幅提升。QLLM 现已被 ICLR 2024 收录为 Poster。

2月26日晚7点，「AI新青年讲座」第35讲邀请到 QLLM 一作、莫纳什大学 ZipLab 在读博士刘璟参与，主讲《大语言模型的高效低比特量化》。