在3月18日的「AI新青年讲座」中，来自MIT HAN LAB的蔡涵博士以《用于Edge AI的小模型训练与迁移学习方法》为主题，深度讲解了一种在边缘设备上学习的内存高效的迁移学习算法TinyTL和改善Tiny神经网络性能的训练方法NetAug。

TinyML作为机器学习的新前沿，能够在各种IoT设备上部署深度学习模型。然而，微小型设备的硬件资源非常有限（存储、计算等），使得部署非常困难。

3月31日早10点，「AI新青年讲座」再次邀请MIT HAN LAB在读博士林己参与，并就主题《MCUNet，系统算法共同设计实现TinyML》，讲解他们面向微小型设备部署所提出的解决方案MCUNet。其中MCUNet又包含两部分：可以搜索高效的神经网络结构的TinyNAS和提供了高效部署系统的TinyEngine。

为微控制器设计一个深层网络并不容易。现有的神经网络结构搜索技术首先从一个预先定义的模板中提取大量可能的网络结构，然后逐步找到一个精度高、成本低的网络结构。虽然这个方法有效，但不是最有效的。

而TinyNAS是一种两阶段的神经架构搜索方法，它首先优化搜索空间以适应微小和多样的资源约束，然后在优化的空间内执行神经架构搜索。使用优化的空间，可以显著提高最终模型的精度。

同时，现有的TF-Lite Micro与CMSIS-NN是虽然是一种解释型推理框架，易于跨平台部署，但同时需要额外的内存（在MCU上内存是最昂贵的资源）保存架构的元信息（比如网络架构参数）。

相反，TinyEngine仅仅聚焦于MCU设备，采用code generator-based进行编译。它不仅避免了运行时解释耗时，同时释放了额外的内存占用，从而允许更大的模型。相比CMSIS-NN，TinyEngine可以降低2.7x内存占用，提升22%推理速度。

MCUNet联合设计神经结构和推理调度，以适应微控制器上的紧内存资源。TinyEngine充分利用了MCU上的有限资源，为架构搜索提供了更大的设计空间。与使用现有框架相比，TinyNAS具有更大的设计自由度，更可能找到高精度的模型。最终的实验证明，MCUNet取得了非常好的性能，在单片机上首次实现了>70%的ImageNet准确率，并且实现了目标检测等更复杂的视觉应用。

在本次讲座中，林己博士将从TinyML中的部署难点出发，深度讲解他们的研究成果MCUNet，以及其在目标检测等视觉任务中的应用。

林己本科毕业于清华大学电子工程系，现在是麻省理工学院电子工程和计算机科学系的博士生，导师为韩松。他的主要研究兴趣是高效率和硬件友好的深度学习算法和系统，以及计算机视觉方面的应用。

本讲直播包含主讲和问答两个环节，其中主讲40分钟，问答20分钟。同时，我们还组建了学习群，并邀请讲者蔡涵博士进群，欢迎大家申请！

有兴趣分享学术成果的朋友，可以与智东西公开课教研团队进行邮件（class@zhidx.com）联系。