深度学习图像修复中哪些先验知识比较重要，如何将这些先验融合到网络模型中？

提问

问题出自：部分卷积图像修复技术及其拓展应用

深度学习图像修复中哪些先验知识比较重要，如何将这些先验融合到网络模型中？

2020-05-20 19:58:14

全部回答内容
登录之后查看

登录

NVIDIA资深研究科学家刘贵林：对于这个问题，我认为很有用的先验知识是在人脸图片的编辑中。在做人脸图片编辑时，一般是把人脸图片对齐到一个标准位置，对齐之后再进行编辑，这样就有一个先验知识在里...

回答

相关问答

图像修复中神经网络的构建和训练有什么技巧吗？
2022-05-07 15:26:35

我觉得最大的技巧是loss function，特别是style loss的帮助非常明显，如果没有用style loss，它出来的结果是非常模糊的，或者是他有明显的那种checkerboard的的art... 阅读全文〉
影视后期制作方法有应用案例吗？
2020-05-20 19:58:14

NVIDIA资深研究科学家刘贵林：刚才的课程主要集中在单张图片的修复，对于多张图片的方法，不管是深度学习还是非深度学习都是从单张图片的修复方法拓展到视频里或影视编辑的方法里。在视频影视编辑修复里面... 阅读全文〉
1、mask是固定的吗，还是要不停变？ 2、sum(M)是什么意思？
2020-05-20 19:58:14

NVIDIA资深研究科学家刘贵林： mask不是固定的，它需要不停的变，回顾之前讲到的内容，可以看到mask更新的一个过程，因为任务就是在不断地填充，而不是在输出的结果里仍有未修复的地方。这个是... 阅读全文〉
孔规则和不规则对算法的影响是什么？
2020-05-20 19:58:14

NVIDIA资深研究科学家刘贵林：因为传统的神经网络是需要完整的数据结构进行输入的，所以你要在缺散区里面用初始的替代值进行填充。同时因为填充的替代值和非孔区域的值是被同等的对待了，整个神经网络要训... 阅读全文〉
对于视频或者连续的画面进行修复过吗？修复的流畅性会怎么样？
2020-05-20 19:58:14

NVIDIA资深研究科学家刘贵林：若对对视频或者连续画面进行修复，在训练过程中，以视频作为输入，需要进行一些光流法对相临证的修复情况进行penalize，让他能够相互保持一致的。... 阅读全文〉
面部几乎完全被遮挡，请问用什么技术恢复的鼻子和嘴巴呢？
2020-05-20 19:58:14

NVIDIA资深研究科学家刘贵林：网络用他的先验知识进行恢复。... 阅读全文〉
基于图像复原或者图像去模糊，对低质量图像人脸识别问题，有没有比较好的方法？
2020-05-20 19:58:14

NVIDIA资深研究科学家刘贵林：方法可能更多的是怎么把一个低质量的图片变成一个高质量的图片，在CVPR和ICCV，ECCV的那些workshop里面有一些相关的比赛，里面也列举了一些好的方法，我... 阅读全文〉
使用GAN模型进行修复与卷积修复的优劣？图像修复中修复的目标函数的设置有什么技巧？
2020-05-20 19:58:14

NVIDIA资深研究科学家刘贵林：刚才的探讨中提到了一开始论文没有用GAN loss，后来用GAN loss发现人脸图片有比较明显的提升，我们也在自然图片中用了GAN loss，但是自然图片里GA... 阅读全文〉
深度学习的修复方法，能在一幅没见过的图像上进行吗？如果能，他是怎么做到的？
2020-05-20 19:58:14

NVIDIA资深研究科学家刘贵林：答案是是的，可以在没有讲过的图像上进行修复，深度学习的方法一般都假设你的训练数据能够去覆盖整个各种情况的数据的分布，当模型训练好后，可以假设你训练好的模型是能够g... 阅读全文〉