如何寻找最优的深度学习模型，一直是深度学习领域研究的热点，”堆积木“就是最常用的方法。而为了减轻人工构建模型的工作量，用AI技术来搜索最优”堆积木“方法就显得很有必要了。神经网络架构搜索就是这样一种技术，可以帮助研究人员快速搭建合适的深度学习模型。其中Vanilla NAS和one-shot NAS是目前最常用的两种神经网络架构搜索方法。

Vanilla NAS 是使用搜索算法来遍历探索搜索空间，并通过从头开始训练新的架构来评估它们的性能。暴力搜索和深度学习的通病就是需要更多的时间，例如完整搜索可能需要数千小时的 GPU 时间，导致在许多研究应用中计算成本非常高，无法实际应用。

one-shot NAS则是使用一个预训练的超网络（supernet, supernetwork），从而大大降低计算成本。这个网络能够在搜索空间中估计神经结构的准确性，而不需要从头开始训练。然而，由于操作之间的协同适应，性能估计可能非常不准确，如果是不准确的预测会影响它的搜索过程，并导致很难找到合适的模型架构。

基于时间消耗和计算损失的问题，伍斯特理工学院计算机系的赵一阳博士等人提出了一个全新的模型few-shot NAS。这个方法平衡了Vanilla NAS 和 one-shot NAS的时间消耗和计算损失。

比如在真实世界的任务中，few-shot NAS发现ImageNet上的模型在600 MFLOPS 上达到近80.5% 的 top-1准确率，在238 MFLOPS 下达到77.5% 的 top-1准确率。在 AutoGAN 中，few-shot NAS 的性能比以前的结果高出将近20% ，而在 CIFAR10中，它在不使用任何额外数据或传输学习的情况下达到了98.72% 的 top-1准确率。

也就是说，从卷积神经网络到生成对抗性网络，few-shot NAS都能够有效地设计SOTA模型，显著地改进各种one-shot方法，广泛的适用于所有现有的NAS方法。该成果也已经被ICML 2021录取为long oral。

12月15日上午10点，「模型优化与部署系列课」第5讲邀请到few-shot NAS的第一作者赵一阳博士参与，主题为《通用高效的SOTA模型设计方法few-shot NAS》。

赵一阳目前是伍斯特理工学院计算机系三年级博士生，主要研究方向是自动化机器学习（Auto-ML）。截至今日，他的多篇研究成果已发表在ICML、AAAI、ICLR、PPOPP等人工智能和计算机系统的顶级会议上。

在本次讲解中，赵博将从传统NAS和one-shot NAS进行切入，通过建立传统挨个训练网络架构的NAS和one-shot NAS的联系，来引入他们的工作few-shot NAS。届时，他将对few-shot NAS的工作原理，应用场景，以及实验效果进行全面系统的介绍，展示及分析。

本讲直播包含主讲和问答两个环节，其中主讲40分钟，问答20分钟。同时，我们还组建了技术交流群，并邀请讲师赵一阳博士进群，欢迎大家申请！