2022年，Stable Diffusion模型横空出世，为工业界，投资界，学术界以及竞赛界都注入了新的AI想象空间。然而文本本身具有的模糊性与歧义性，往往需要用户熟练提词技能与反复调试；而LoRA与Dreambooth为代表的逐图重训需要昂贵且缓慢的训练，即速度慢开销大。如何让大规模文-图生成模型如臂使指？急需对大规模文-图基础模型的精细控制管线与推理阶段通用知识注入机制进行研究，以降本增效，推动其在业务场景的广泛应用。

针对以上问题，上海交通大学与阿里巴巴淘天集团共同提出了图像生成模型推理阶段的知识注入方法，并基于该方法合作开发了虚拟试衣模型AnyFit，取得了目前SOTA的试衣效果。相关论文为《AnyFit: Controllable Virtual Try-on for Any Combination of Attire Across Any Scenario 》，目前NeurIPS在投。

AnyFit主要由两个同构的U-Net组成：HydraNet和MainNet。其中，HydraNet负责提取细粒度的服装特征；MainNet负责生成试穿效果。

AnyFit以一个人像图像和一个或多个目标服装图像为输入。再使用OpenPose等工具从人像图像中提取出人体的轮廓部分，以便后续将服装图像融合到该轮廓上。

利用HydraNet对目标服装图像特征提取。在HydraNet中，通过共享的U-Net结构和并行化注意力模块来高效地整合不同服装的特征。

HydraNet提取的服装特征通过Hydra Fusion Block特征融合融合块注入到MainNet中。MainNet的输入包含三个组件（带噪声的图像、潜在的与服装无关的图像和调整大小的遮罩），然后通过内部的U-Net结构和Pose Guider进行处理，最终生成逼真的试穿图像。

同时，为了提升模型在生成服装图像时的强度和适应性，AnyFit采用了一种先验模型演化策略。该策略融合了三种不同且强大的模型权重，分别是：SDXL-base-1.0、SDXL-inpainting-0.1和DreamshaperXL alpha2，来演化模型的初始权重，以极低的成本提升了模型的性能。

8月20日10点，智猩猩邀请到论文一作、上海交通大学在读三年级博士生、阿里学术合作实习生李昱翰参与「智猩猩AI新青年讲座」248讲，主讲《图像生成模型的知识注入在虚拟试衣AnyFit中的应用》。