绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
大语言模型的高效低比特量化
AI新青年讲座 2024/02/26 19:00:00
课程讲师
刘璟 莫纳什大学 Zip Lab在读博士

师从庄博涵和蔡剑飞教授,主要研究方向为模型压缩与加速,在NeurIPS、CVPR、ICCV、ECCV、AAAI、TPAMI等顶级会议和期刊上发表多篇论文。

刘璟
莫纳什大学 Zip Lab在读博士

师从庄博涵和蔡剑飞教授,主要研究方向为模型压缩与加速,在NeurIPS、CVPR、ICCV、ECCV、AAAI、TPAMI等顶级会议和期刊上发表多篇论文。

课程提纲
  • 大语言模型低比特量化难点
  • 精确且高效的后训练量化方法 QLLM
  • 低成本微调方法
  • 在 LLaMA-1/2 上的量化性能评估
课程简介

大语言模型在自然语言处理领域的卓越表现已引起广泛瞩目,然而其对计算资源和硬件设施的高要求成为了广泛应用的一大挑战。

针对这一难题,来自莫纳什大学、北航、商汤的研究者创新性地提出了一种名为 QLLM 的高效、精准的低比特量化方法。QLLM 通过引入自适应通道重组机制,巧妙地将离群值所携带的能量重新分布至其他通道,有效缓解了这些极端值对量化动态范围的影响。

此外,为补偿量化过程中的性能损失,研究者设计了一种仅涉及学习少量低秩权重的低成本微调方法。大量实验表明,QLLM 不仅在性能上显著优于现有量化方法,而且在训练效率上实现了大幅提升。QLLM 现已被 ICLR 2024 收录为 Poster。

2月26日晚7点,「AI新青年讲座」第35讲邀请到 QLLM 一作、莫纳什大学 ZipLab 在读博士刘璟参与,主讲《大语言模型的高效低比特量化》。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...