- 课程回放
2018年北京航空航天大学计算机学院硕士毕业,同年4月加入百度,主要从事移动端高性能推理引擎研发工作,负责ARM-CPU端性能极致优化,推动厂内外业务落地,如小度在家的手势识别功能、全民小视频等,曾获得百度内部杰出工程师奖、用户至上奖等荣誉。
- 深度学习APP开发的难点
- 上线亿级APP的轻量化推理引擎
- 利用C++/Java API快速部署AI模型
- 基于Litekit的AI能力集成与实践
在深度学习日益普及的今天,AI开始走向落地与产品化,而如何在移动APP上集成AI能力是当前AI产品化的重要方式之一。现阶段,在APP上部署深度学习模型主要有两种模式:Online和Offline。
Online模型主要是先在移动端进行初步的预处理,然后将数据传输到服务器进行预测后返回数据端。这种方式相对简单,将训练用的深度学习框架进行封装后就可以直接使用,并且通过服务器进行模型的推理计算,能够处理比较大的模型。缺点则是数据的传输依赖网络,对于实时性要求较高的应用不太实用。
Offline模式则是直接将模型部署在手机上,并进行预测的过程。这种方式比较考验硬件的性能,并且部署起来会比较复杂,往往需要针对移动端进行优化,尤其是模型本身的大小和推理性能。这样的开发过程对于移动端开发工程师来说难度比较高,因此如何让移动端工程师更加快速、高效的部署AI模型成为了一个难点。
LiteKit,是百度基于端推理框架LiteKitCore和端推理引擎PaddleLite,面向移动端工程师所推出的AI能力解决方案。 它可以为移动APP应用提供开箱即用的离线AI能力,使产品快速、简单的接入AI能力,并将所提供的AI能力应用于各种业务场景。因为LiteKit依赖于PaddleLite和LiteKitCore,因此也继承了PaddleLite的高性能、轻量化、灵活性强和易扩展特点,以及LiteKit支持在iOS、Android平台快速部署。
想知道深度学习模型部署上线APP会遇到哪些实务的限制与困难? 又或者你很熟悉Java/Object C的APP开发,但对Python和算法一窍不通?如何完成的进行AI能力集成? 如何充分利用手机上的CPU及GPU算力甚至异构计算?
5月17日晚7点,百度飞桨在智东西公开课开设「百度Paddle Lite开发者专场」,并邀请到百度高级研发工程师AngelCat和息心两位老师进行主讲,主题为《基于Paddle Lite + Litekit快速构建移动APP的AI能力》。
在本次专场中,两位老师将从深度学习APP开发的难点出发,深度讲解百度所推出的轻量化推理引擎PaddleLite、提供C++/Java API的LiteKitCore,以及封装了各种AI模型的LiteKit,在课程的最后,两位老师也将会实际演示如何用Litekit构建深度学习APP的过程。
同时,本次专场将在智东西公开课知识店铺上以视频直播的形式进行,包含主讲和问答两个环节。主讲环节40分钟,两位老师将会通过视频直播的形式进行实时讲解;问答环节20分钟,两位老师将会通过视频问答的形式回答大家提问的问题。
AngelCat老师目前是百度高级研发工程师,2018年北京航空航天大学计算机学院硕士毕业,同年4月加入百度,主要从事移动端高性能推理引擎研发工作,负责ARM-CPU端性能极致优化,推动厂内外业务落地。如小度在家的手势识别功能、全民小视频等,曾获得百度内部杰出工程师奖、用户至上奖等荣誉。
息心老师目前也是百度高级研发工程师,2012年北京邮电大学软件工程学院本科毕业,2017年8月加入百度,主要从事移动AI在百度App的探索与应用并主导了LiteKit项目的开源与开放工作。曾获得百度技术小赞、百度技术攻坚等奖项。