在三维人体重建领域，如何将模型适配到域外数据呢？这是一个亟待解决的问题。因为不同数据集的相机参数、骨骼长度、背景和遮挡都具有极大差异，要将模型适配到域外数据，首先就要面临两个问题，一是新数据集缺乏3D注释会增加训练难度并导致3D模糊，二是非平稳的训练数据很难同时拟合好简单帧和具有严重遮挡和剧烈变化的样本。

为了提升三维人体重建模型的泛化能力，将模型适配到域外数据，上海交通大学在读博士官善琰博士提出动态双层在线自适应算法DynaBOA。首先引入时间约束作为不可用的3D监督的补偿，并利用双层优化过程来解决多目标之间的冲突。尽管测试数据与源数据的分布不同，但DynaBOA可以通过姿态相似的源数据进行联合训练，使得网络获取来自源数据的3D监督。

此外，DynaBOA还可以自适应地调整单帧上的优化步数，以完全拟合难样本和简单样本。实验证明，给定一个在Human3.6M上训练的模型，DynaBOA可以有效地将其适配到其他公开数据集和网络数据。

同时，官善琰博士等人还研究了神经网络能否通过流体表面来推断流体粒子的状态转移和相互作用，提出了应用于流体物理运动推断的可微框架NeuroFluid。框架包含粒子运动的前向仿真器和粒子驱动的神经渲染器，通过联合训练这两个模型，减少渲染图像和观察图像之间的差异。

NeuroFluid为基于粒子的流体动力学的无监督学习提供了第一个解决方案，可以合理地估计具有不同初始形状、粘度和密度的流体的运动状态。

9月7日晚7点，「AI新青年讲座」第155讲邀请到上海交通大学在读博士官善琰参与，主讲《基于视觉的领域泛化和物理运动推断》。