随着 AI 模型的逐步增大，这些 AI 大模型的部署难度也在逐渐增大。因此，大模型的轻量级微调逐渐成为主流。它仅微调少量参数，同时冻结大部分参数以减轻存储负担和优化难度，可以在保留尽可能多的预训练模型知识的同时，使 AI 大模型适应新任务。常见的轻量级微调方法有 Adapter 、BiT-S 和 LoRA 等。

然而现有的这些轻量级微调方法通常重视微调参数的结构，而忽略了微调参数的位置。为此，来自莫纳什大学 ZIP Lab 的何昊宇等人，在 ICCV 2023 最新的研究成果上，探究了怎么寻找重要的微调位置，以及怎么根据位置来分配微调参数的问题，并提出了一种自适应位置的轻量级微调方法 SPT。该成果也被收录为了 ICCV 2023 Oral Presentation。

SPT 在自适应的在不同任务的特异位置分配微调参数，大大提升了现有方法的性能和效率。例如，SPT 通过受监督的预训练 ViT-B/16 骨干网络改进了 Adapter，平均 Top-1 准确率分别提高了4.2%和1.4%，在 FGVC 和 VTAB-1k 基准上达到了SOTA性能。

9月4日晚7点，「AI新青年讲座」第224讲邀请到 SPT 一作、莫纳什大学 ZIP Lab 在读博士何昊宇参与，主讲《大模型的轻量级微调方法解析》。