Tailor3D定义3D物体编辑生成新范式
智猩猩AI新青年讲座 2024/08/02 10:00:00
课程讲师
课程提纲
- 3D AIGC生成方法及面临的挑战
- 利用多视图扩散从正视图生成背视图
- 双面LRM无缝组合正、背视图
- Tailor3D的构建及其对物体编辑的流程
课程简介
从最近在3D AIGC领域的研究进展来看,通过文本和图像直接创建3D对象具有很大的潜力,可以显著节省动画和产品设计的成本。然而,详细编辑和定制3D资产仍然是一个挑战。具体来说,3D生成方法还无法像2D图像生成那样精确遵循细节指示。
对于以上问题,来自香港大学、上海人工智能实验室和香港中文大学的研究人员认为3D编辑应该是将编辑交给2D图片,进而利用编辑好的图片重建3D物体。他们提出了一种名为Tailor3D的新方法,实现了快速从可编辑的双面图像创建定制的3D资产。相关论文为《Tailor3D: Customized 3D Assets Editing and Generation with Dual-Side Images》。
Tailor3D主要利用双面图像(即物体的正视图和背视图)来消除在编辑单个视角时出现的重叠区域冲突,从而实现更高效的编辑和生成过程。
首先,从编辑物体的前视图开始,可以在前视图中进行所需的修改或调整。
其次,利用多视图扩散的方法生成相应的背视图 ,然后对其进行编辑。
最后,将编辑后的正视图和后视图输入到双面LRM中,以获得最终的3D对象。双面LRM结合了LoRA Triplane Transformer,能够有效处理前后视图的不一致性,提高整体的重建质量。
Tailor3D还提供了各种选择和潜在的变体。原始图像的正视图和背视图也可以直接输入到双面LRM中以快速重建3D对象。
8月2日10点,智猩猩邀请到论文一作、香港大学二年级博士生、上海AI Lab实习生戚张扬参与「智猩猩AI新青年讲座」246讲,主讲《Tailor3D定义3D物体编辑生成新范式》。
精彩问答
提问
提问