绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
大模型的低成本训练和微调
大模型技术公开课 2022/12/02 13:00:00
课程讲师
尤洋 潞晨科技 创始人

新加坡国立大学计算机系的校长青年教授 (Presidential Young Professor);研究重点是大规模深度学习训练算法的分布式优化,曾创造ImageNet以及BERT训练速度的世界纪录;近三年以第一作者身份在NIPS,ICLR,Supercomputing,IPDPS,ICS等国际重要会议或期刊上发表论文十余篇;以第一作者身份获得了国际并行与分布式处理大会(IPDPS)的最佳论文(0.8%获奖率)和国际并行处理大会(ICPP)的最佳论文(0.3%获奖率);2021年被选入福布斯30岁以下精英榜 (亚洲)并获得IEEE-CS超算杰出新人奖。

尤洋
潞晨科技 创始人

新加坡国立大学计算机系的校长青年教授 (Presidential Young Professor);研究重点是大规模深度学习训练算法的分布式优化,曾创造ImageNet以及BERT训练速度的世界纪录;近三年以第一作者身份在NIPS,ICLR,Supercomputing,IPDPS,ICS等国际重要会议或期刊上发表论文十余篇;以第一作者身份获得了国际并行与分布式处理大会(IPDPS)的最佳论文(0.8%获奖率)和国际并行处理大会(ICPP)的最佳论文(0.3%获奖率);2021年被选入福布斯30岁以下精英榜 (亚洲)并获得IEEE-CS超算杰出新人奖。

课程提纲
  • 大模型时代的“预训练-微调”新范式
  • 大规模并行AI训练系统Colossal-AI
  • 多维模型并行与GPU冗余内存消除技术
  • 单GPU下的大模型训练推理及成功案例
课程简介

12月2日下午1点,潞晨科技创始人尤洋将带来「大模型系列直播课」第3讲的直播,讲解主题为《大模型的低成本训练和微调》。

AI模型急速增大与硬件算力缓慢增长的尖锐矛盾,已成为制约 AI 生产力解放和发展的主要痛点。基于多年在学术上的卓越成就和工业界的深厚积累,尤洋教授团队攻克多维张量并行、序列并行、异构内存管理、大规模优化库、自适应任务调度等多项核心关键技术,开源了面向大模型时代的通用深度学习系统 Colossal-AI,可实现高效快速部署 AI 大模型训练和推理,降低 AI 大模型应用成本。

面对当前 AI 领域最热门话题之一的 AIGC 模型,Colossal-AI 开源了完整的训练配置参数和训练脚本的方案,让用户可以随时训练出针对新下游任务的最新版细分模型,使用更加灵活且应用范围更广。而且得意于 Colossal-AI 引入显存优化等技术,仅在普通个人电脑的单张消费级显卡上(如 GeForce RTX 2070/3050 8GB),即可快速完成微调任务流程,相比 RTX 3090 或 4090 可降低约 7 倍硬件成本,大大降低了使用 Stable Diffusion 等 AIGC 模型的门槛和成本。

在本次课程,尤洋教授首先将为大家讲解大模型时代的“预训练-微调”新范式,之后重点讲解他们所推出的大规模并行 AI 训练系统 Colossal-AI,以及其中的多维模型并行与 GPU 冗余内存消除技术。最后,尤洋教授也将分享 Colossal-AI 在单 GPU 下的大模型训练推理及成功案例。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...