- 课程回放

毕业于中国科学院研究生院,闻名于并行计算江湖,尤善异构并行计算、AI系统工程和大规模集群计算,涉及图像处理、计算机视觉、自然语言处理、推荐系统、科学计算和石油勘探。前商汤集团HPC和汽车业务创建人,曾任英伟达并行计算工程师、百度在线高级研发工程师。著有《并行算法设计与性能优化》、《并行编程方法与优化实践》、《科学计算与企业级应用的并行优化》、《OpenCL 异构并行计算》四本并行计算领域的专著。创建了 ppl parrots bolt 和 vega 等AI相关项目。

毕业于中国科学院研究生院,闻名于并行计算江湖,尤善异构并行计算、AI系统工程和大规模集群计算,涉及图像处理、计算机视觉、自然语言处理、推荐系统、科学计算和石油勘探。前商汤集团HPC和汽车业务创建人,曾任英伟达并行计算工程师、百度在线高级研发工程师。著有《并行算法设计与性能优化》、《并行编程方法与优化实践》、《科学计算与企业级应用的并行优化》、《OpenCL 异构并行计算》四本并行计算领域的专著。创建了 ppl parrots bolt 和 vega 等AI相关项目。
- 异构计算编程技术的演进
- 面向深度学习的异构计算编程难点
- 如何选择合适的硬件和编程模型
- 异构计算编程技术的未来发展趋势
为了让大家更好的了解异构计算,智东西公开课策划推出「异构算力系列课」,共计三讲,并邀请到异构并行计算专家刘文志(花名风辰)、速石科技高级技术总监陈琳涛、雪湖科技生命科学计算首席科学家盛楠博士三位技术大牛参与,并分别从异构计算编程、云端大规模算力调度和超算系统设计等方面进行主题讲解。
4月12日第一讲将开讲,由异构并行计算专家刘文志(花名风辰)主讲,主题为《面向深度学习的异构计算技术及挑战》。
自2012年AlexNet在ImageNet挑战赛上获胜后,神经网络模型受到了大家的广泛关注,也出现了大量更深、更复杂的网络架构,比如VGG、ResNet和超大规模的GPT-3,深度学习模型的规模越来越大,参数越来越多。同时模型的数据并行、模型并行、流水线并行的多维度并行的计算特性,对计算系统的算力要求也越来越高。因此,我们需要不同体系架构的处理单元,针对深度学习模型不同维度的计算特性提供有效算力支持。
一个高性能异构计算系统的实现,除了需要由不同体系架构处理单元组成的硬件基础,还需要软件栈的配合,软硬件协同优化,才能最大化发挥异构计算系统不同计算单元的优势。
随着人工智能技术的快速发展,以及与不同行业的全面融合,我们还将面临更多的挑战,比如云边端无处不在的计算需求、超大规模模型带来的算力和存储压力、以及未来新的深度学习和范式的出现等。异构计算技术如何有效应对人工智能时代多元化的挑战呢?
刘文志老师将从异构计算技术的演进、深度学习中的异构计算编程实现难点、硬件和编程模型的选型考量以及未来发展趋势等维度,为我们带来系统的讲解。