生成具有指定动作、合理且逼真的人体一直是计算机视觉中广泛探索且具有挑战性的任务。然而由于不同的运动合成任务有不同的目标和期望，很多方法仅限应用于一种类型的运动合成任务，或者使用不同的方法来解决各种任务。

为了使人体动作合成任务有一个统一的框架，在不同的情况下都能生成逼真且有意义的结果，新加坡南洋理工大学博士蔡雨君等人研究了影响动作生成的因素，提出一种基于条件变分自动编码器的人体运动生成模型UVAE-PoseSynthesis，它具有两条并行路径，每条路径都由一个编码器和一个解码器组成，将任意的输入视为蒙版运动序列，根据输入条件估计缺失区域的潜在分布，从中采样和合成完整的运动序列。

为了增强合成序列的真实性和全局一致性，蔡雨君博士等人还在编码器与解码器特征之间引入交叉注意力机制，利用输入姿势和输出姿势之间的关系，重建原始运动序列。同时模型在解码器引入动作自适应调制，来使整个序列按照语义生成不同的运动风格。

蔡雨君博士等人在Human3.6和CMUMocap两个数据集上进行了广泛的实验，结果表明，UVAE-PoseSynthesis能为各种运动合成任务产生连贯且逼真的结果。

8月12日上午10点，「AI新青年讲座」第146讲邀请到新加坡南洋理工大学博士蔡雨君参与，主讲《应用于姿态预测补全的人体动作生成模型》。