绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
0
0
小姐姐,哎呦,你干嘛~
分类: AI技术
2022-08-26 12:03:13

大家好,又见面了。

最近小姐姐 ikun 跳舞又火了,你干嘛~

今天讲解一个让 ikun 们狂喜的算法。

20 年的时候,给大家介绍过一个算法:

川普的退休生活,AI 宅舞很专业。

效果是这样的:

当时呢,就有小伙伴说,人物有点“纸片化”,说白了就是人物不够立体。

毕竟算法实现不是真人建模,这种问题在所难免,针对 2D 动漫,这类算法表现一直不错。

比如我在 21 年发的文章:

这个项目,我能玩一年!

如今,这类算法又进化了,单张图片,真人 3D 建模不在话下!

ikun 们是否是狂喜?唱、跳、rap 完美呈现。

单张图片人体 3D 重建算法 ICON,它来了!

给一张彩色图片,将二维纸片人,还原成拥有丰富几何细节的三维数字人。

这个算法今年上半年就发布了,最近开源了训练代码,又发布了Hugging Face的网页体验版,不用部署环境就能玩,所以我就把这个压箱底的算法发出来,再跟大家聊聊。

按照作者的话说,ICON 的贡献就是:

  • 对于小内行——ICON把PIFu/PaMIR的姿态鲁棒性提升到了可直接给SCANimate做训练数据的水准;

  • 对于更广泛的同行——ICON显著提高了从单张图片中做三维穿衣人重建的姿势水平;

  • 对于吃瓜群众——元宇宙基建(开个小玩笑)。

mesh-based方法具有很好的正则化,而深层隐式函数具有更强的表现力;ICON将两者结合。ICON输入穿衣的人体RGB图及SMPL人体估计,输出穿衣的像素级3D重构结果

ICON 结构如图3,主要包括两个模块:Body-guided normal预测、基于局部特征隐式三维重建。

作者提出的 ICON 可以从图片鲁棒地生成 3D clothed-body person,其准确性和真实性超越了当时现有的算法。有两个关键:

  • 使用3D body model,同时迭代优化body model;

  • 使用局部特征消除与全局姿态相关性;

2022 年的 CVPR,大家可以学习一下。

项目地址:

https://github.com/YuliangXiu/ICON

对于只是想玩一玩的小伙伴,可以 Web 在线体验。

https://huggingface.co/spaces/Yuliang/ICON

好了,今天就聊这么多吧。

我们下期见~