作为计算机视觉领域的经典任务，针对分类任务的各种网络、数据和学习方式层出不穷。针对 FGVC，抛开修改结构（FGVC 中主要是各种 part based model）和引入数据等固有思路，简单的适当的困难样本挖掘足以明显的提升性能，只用简单的 backbone 和适当的困难样本挖掘，这样一个简单的 pipeline 却能击败许多复杂的方法。

然而，悉尼科技大学梁远智博士等人在进一步的改进过程中开始质疑样本选择的标准和方式。究竟什么样的样本是困难样本？什么样的样本是学的不好的样本？confidence 偏低的吗？那多少算偏低？典型的 FGVC 数据集中，很多样本真人看起来都困难但网络的 confidence 依旧很高，那我们应该如何让网络进一步泛化各样的样本？在 overfit train set 的前提下，如何找到那些网络记住了但没学明白的内容？如何拨开 overfit 的迷雾，去找到隐藏在 high confidence 之下，特征表示的并不好的样本？

在 CVPR 2022 上，梁远智等人提出了一种 online linear probing 来反应训练过程中网络特征表示的质量，即 ELP（ episodic linear probing）。ELP 也是学习分类detached掉的特征，并每隔一段时间就重新初始化。这使得其能够得到类似 linear

probe 的评价特征质量的能力，而不会随着不断的训练而 overfit。

同时，利用 ELP，梁远智等人等人还构建了 ELP-SR： ELP-suitable regularization。通过 ELP-SR，网络需要进一步学习如何满足 ELP。特征表达不仅仅达到 main classifier 可分，其可分辨力最好能够达到一个弱如ELP的弱分类器依旧可以识别。通过这一方法，可以使得网络的特征学习能够突破桎梏，在 backbone 和 main classifier 可能 overfit 的条件下，进一步学习更加具有区分度的特征，提升网络自身的泛化性能。

2月6日晚7点，AI新青年讲座第192讲邀请到悉尼科技大学在读博士梁远智参与，主讲《无需复杂设计的图像识别性能提升方法研究》。