谈到图像合成中的抠图换背景想必大家都不陌生，在影视剪辑、直播娱乐、视频会议等场景中都有它的身影。但在图像合成过程中，由于两张图像是在不同拍摄条件下进行的，它们在亮度、色泽等方面明显不同，导致合成的图像不真实，而图像和谐化的主要目的是调整匹配前景和背景图像之间的“外观”来提高图像合成质量。

图像和谐化常采用从背景或者其他图片转移颜色信息到前景上的方法，但这样无法保证调整之后的前景看起来真实并且与背景类似；或使用一个判别式模型来预测一张合成图像的真实性分数，利用该模型预测的分数来辅助迭代、调整合成图像；亦或引入通道和空间注意力机制提升合成图像的视觉质量。但这些方法会有以下的存在一些缺点：高质量的配对协调数据不足；无法有效利用背景上下文信息进行协调；当前的方法只考虑简单、低维颜色的数据，它们不能很好地推广到具有复杂外观差异的真实世界场景。

为了解决上述的缺点，在ICCV 2021中，德州⼤学奥斯汀分校江亦凡博士等人提出了一种自监督图像和谐化框架SSH。SSH框架分别从前景和背景图像中提取“内容”和“外观”表示，并聚类；之后采用内容增强和外观增强的双重数据增强方法来生成各种合成数据，其中内容增强对重叠区域的两种物体进行采样，外观增强通过3D 颜色查找表来扰动图像生成不同的 [前景、背景、伪标签] 三元组，最后利用 [前景、背景、伪 标签] 三元组来支持自监督训练。

关于SSH框架的更多内容，可以查看《SSH: A Self-Supervised Framework for Image Harmonization》论文，链接：https://arxiv.org/pdf/2108.06805.pdf。

11月29日早10点，智东西公开课邀请到江亦凡博士以《提高图像合成质量的自监督和谐化框架》为主题，深入讲解无需数据标注的自监督图像和谐化框架SSH。

江亦凡是德州大学奥斯汀分校在读博⼠，研究兴趣包括⽣成模型、计算摄影、AutoML。他本科毕业于华华中科技大学，并曾在ByteDance AI Lab、Adobe、Google Research等担任研究实习⽣。江博以第⼀作者和共同作者身份在NeurIPS、ICLR、ICCV、DAC、TIP等会议和期刊上发表了多篇论⽂。

本次讲座将在智东西公开课知识店铺进行，包含主讲和问答两个部分，其中主讲环节40分钟，问答环节20分钟。本次讲座已组建交流群，并邀请江亦凡博士加入，欢迎感兴趣的朋友申请。