绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智猩猩服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智猩猩
Tailor3D定义3D物体编辑生成新范式
智猩猩AI新青年讲座 2024/08/02 10:00:00
课程讲师
戚张扬 香港大学 在读博士

香港政府博士奖学金获得者。主要研究方向为3D点云多模态以及3D AIGC。主要论文有GPT4 Point(CVPR 2024 Highlight),Pointcept(通用点云感知框架)。

戚张扬
香港大学 在读博士

香港政府博士奖学金获得者。主要研究方向为3D点云多模态以及3D AIGC。主要论文有GPT4 Point(CVPR 2024 Highlight),Pointcept(通用点云感知框架)。

课程提纲
  • 3D AIGC生成方法及面临的挑战
  • 利用多视图扩散从正视图生成背视图
  • 双面LRM无缝组合正、背视图
  • Tailor3D的构建及其对物体编辑的流程
课程简介

从最近在3D AIGC领域的研究进展来看,通过文本和图像直接创建3D对象具有很大的潜力,可以显著节省动画和产品设计的成本。然而,详细编辑和定制3D资产仍然是一个挑战。具体来说,3D生成方法还无法像2D图像生成那样精确遵循细节指示。

对于以上问题,来自香港大学、上海人工智能实验室和香港中文大学的研究人员认为3D编辑应该是将编辑交给2D图片,进而利用编辑好的图片重建3D物体。他们提出了一种名为Tailor3D的新方法,实现了快速从可编辑的双面图像创建定制的3D资产。相关论文为《Tailor3D: Customized 3D Assets Editing and Generation with Dual-Side Images》。

Tailor3D主要利用双面图像(即物体的正视图和背视图)来消除在编辑单个视角时出现的重叠区域冲突,从而实现更高效的编辑和生成过程。

首先,从编辑物体的前视图开始,可以在前视图中进行所需的修改或调整。

其次,利用多视图扩散的方法生成相应的背视图 ,然后对其进行编辑。

最后,将编辑后的正视图和后视图输入到双面LRM中,以获得最终的3D对象。双面LRM结合了LoRA Triplane Transformer,能够有效处理前后视图的不一致性,提高整体的重建质量。

Tailor3D还提供了各种选择和潜在的变体。原始图像的正视图和背视图也可以直接输入到双面LRM中以快速重建3D对象。

8月2日10点,智猩猩邀请到论文一作、香港大学二年级博士生、上海AI Lab实习生戚张扬参与「智猩猩AI新青年讲座」246讲,主讲《Tailor3D定义3D物体编辑生成新范式》。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...