- 课程回放

新加坡国立大学计算机系的校长青年教授 (Presidential Young Professor);研究重点是大规模深度学习训练算法的分布式优化,曾创造ImageNet以及BERT训练速度的世界纪录;近三年以第一作者身份在NIPS,ICLR,Supercomputing,IPDPS,ICS等国际重要会议或期刊上发表论文十余篇;以第一作者身份获得了国际并行与分布式处理大会(IPDPS)的最佳论文(0.8%获奖率)和国际并行处理大会(ICPP)的最佳论文(0.3%获奖率);2021年被选入福布斯30岁以下精英榜 (亚洲)并获得IEEE-CS超算杰出新人奖。
- 大模型时代的“预训练-微调”新范式
- 大规模并行AI训练系统Colossal-AI
- 多维模型并行与GPU冗余内存消除技术
- 单GPU下的大模型训练推理及成功案例
12月2日下午1点,潞晨科技创始人尤洋将带来「大模型系列直播课」第3讲的直播,讲解主题为《大模型的低成本训练和微调》。
AI模型急速增大与硬件算力缓慢增长的尖锐矛盾,已成为制约 AI 生产力解放和发展的主要痛点。基于多年在学术上的卓越成就和工业界的深厚积累,尤洋教授团队攻克多维张量并行、序列并行、异构内存管理、大规模优化库、自适应任务调度等多项核心关键技术,开源了面向大模型时代的通用深度学习系统 Colossal-AI,可实现高效快速部署 AI 大模型训练和推理,降低 AI 大模型应用成本。
面对当前 AI 领域最热门话题之一的 AIGC 模型,Colossal-AI 开源了完整的训练配置参数和训练脚本的方案,让用户可以随时训练出针对新下游任务的最新版细分模型,使用更加灵活且应用范围更广。而且得意于 Colossal-AI 引入显存优化等技术,仅在普通个人电脑的单张消费级显卡上(如 GeForce RTX 2070/3050 8GB),即可快速完成微调任务流程,相比 RTX 3090 或 4090 可降低约 7 倍硬件成本,大大降低了使用 Stable Diffusion 等 AIGC 模型的门槛和成本。
在本次课程,尤洋教授首先将为大家讲解大模型时代的“预训练-微调”新范式,之后重点讲解他们所推出的大规模并行 AI 训练系统 Colossal-AI,以及其中的多维模型并行与 GPU 冗余内存消除技术。最后,尤洋教授也将分享 Colossal-AI 在单 GPU 下的大模型训练推理及成功案例。
