大家好,又见面了。
最近小姐姐 ikun 跳舞又火了,你干嘛~
今天讲解一个让 ikun 们狂喜的算法。
20 年的时候,给大家介绍过一个算法:
效果是这样的:
当时呢,就有小伙伴说,人物有点“纸片化”,说白了就是人物不够立体。
毕竟算法实现不是真人建模,这种问题在所难免,针对 2D 动漫,这类算法表现一直不错。
比如我在 21 年发的文章:
如今,这类算法又进化了,单张图片,真人 3D 建模不在话下!
ikun 们是否是狂喜?唱、跳、rap 完美呈现。
单张图片人体 3D 重建算法 ICON,它来了!
给一张彩色图片,将二维纸片人,还原成拥有丰富几何细节的三维数字人。
这个算法今年上半年就发布了,最近开源了训练代码,又发布了Hugging Face
的网页体验版,不用部署环境就能玩,所以我就把这个压箱底的算法发出来,再跟大家聊聊。
按照作者的话说,ICON 的贡献就是:
对于小内行——ICON把PIFu/PaMIR的姿态鲁棒性提升到了可直接给SCANimate做训练数据的水准;
对于更广泛的同行——ICON显著提高了从单张图片中做三维穿衣人重建的姿势水平;
对于吃瓜群众——元宇宙基建(开个小玩笑)。
mesh-based方法具有很好的正则化,而深层隐式函数具有更强的表现力;ICON将两者结合。ICON输入穿衣的人体RGB图及SMPL人体估计,输出穿衣的像素级3D重构结果
ICON 结构如图3,主要包括两个模块:Body-guided normal预测、基于局部特征隐式三维重建。
作者提出的 ICON 可以从图片鲁棒地生成 3D clothed-body person,其准确性和真实性超越了当时现有的算法。有两个关键:
使用3D body model,同时迭代优化body model;
使用局部特征消除与全局姿态相关性;
2022 年的 CVPR,大家可以学习一下。
项目地址:
https://github.com/YuliangXiu/ICON
对于只是想玩一玩的小伙伴,可以 Web 在线体验。
https://huggingface.co/spaces/Yuliang/ICON
好了,今天就聊这么多吧。
我们下期见~