绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
基于后训练量化加速扩散模型生成
智猩猩AI新青年讲座 2023/09/19 10:00:00
课程讲师

研究重点是高效/可扩展的人工智能,主要包含神经网络量化,知识蒸馏等具体技术;所提出的模型压缩方法被应用于等多种场景(后训练,zero-shot等)、不同结构(生成模型和大型语言模型)的网络中;工作成CVPR、ICCV、ECCV等会议上发表;此前在武汉大学获得应用数学和金融学双学士学位。

尚玉章
伊利诺伊理工大学 在读博士

研究重点是高效/可扩展的人工智能,主要包含神经网络量化,知识蒸馏等具体技术;所提出的模型压缩方法被应用于等多种场景(后训练,zero-shot等)、不同结构(生成模型和大型语言模型)的网络中;工作成CVPR、ICCV、ECCV等会议上发表;此前在武汉大学获得应用数学和金融学双学士学位。

课程提纲
  • 加速扩散模型生成的方法概述及不足
  • 常规的训练后量化 PTQ 方法
  • 特定于扩散模型的训练后量化 PTQ4DM
  • int8 模型量化及在其他快速采样方法中的应用
课程简介

扩散生成模型,在生成逼真多样化数据方面取得了显著成果。但现有的去噪扩散模型在生成过程中因为长时间的迭代噪声估计而变得非常缓慢,这使得该模型难以在边缘设备上广泛部署。尽管之前的研究试图通过寻找更短但有效的抽样轨迹来加速扩散模型的生成过程,但它们忽视了每次迭代中用重网络估计噪声的代价。

来自伊利诺伊理工学院、后摩智能、腾讯 AI Lab 的研究者在 CVPR 2023 上从压缩噪声估计网络的角度对扩撒模型进行了加速生成。由于重新训练扩散模型的难度,他们采用了训练后量化(PTQ)来加速扩散模型。但由于噪声估计网络的输出分布会随时间步变化,常规的 PTQ 方法在扩散模型中不适用。为了解决这个问题,他们提出了一个特定于扩散模型的 PTQ 方法。

实验表明,最新提出的 PTQ 能够直接将全精度的扩散模型量化为 8 位模型,同时在无需训练的情况下保持甚至提高其性能。此外,PTQ 还可以作为一个即插即用的模块应用于其他快速采样方法。

9月19日上午10点,「AI新青年讲座」第225讲邀请到 PTQ 一作、伊利诺伊理工学院在读博士尚玉参与,主讲《基于后训练量化加速扩散模型生成》。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...