- 课程回放

曾任三菱电机研究实验院(MERL)首席研究科学家。2012年获得马里兰大学电气和计算机工程系博士学位。 2014年,刘洺堉因机器人视觉工作获得了R&D 100奖,他的街景理解论文是2015年机器人科学与系统(RSS)会议中最佳论文决赛入围者。在2018年的CVPR中,在语义分段竞赛的领域适应和光流估计竞赛中获得了第一名。近年来,他的研究重点是生成图像建模,工作包括pix2pixHD,vid2vid,GauGAN / SPADE,UNIT,MUNIT和FUNIT。他的生成模型作品已被包括纽约时报在内的各种媒体报导,研究目标是使机器具有类似人类想像力的能力。
曾任三菱电机研究实验院(MERL)首席研究科学家。2012年获得马里兰大学电气和计算机工程系博士学位。 2014年,刘洺堉因机器人视觉工作获得了R&D 100奖,他的街景理解论文是2015年机器人科学与系统(RSS)会议中最佳论文决赛入围者。在2018年的CVPR中,在语义分段竞赛的领域适应和光流估计竞赛中获得了第一名。近年来,他的研究重点是生成图像建模,工作包括pix2pixHD,vid2vid,GauGAN / SPADE,UNIT,MUNIT和FUNIT。他的生成模型作品已被包括纽约时报在内的各种媒体报导,研究目标是使机器具有类似人类想像力的能力。
- 无监督学习发展现状
- 少样本无监督图像转换模型FUNIT解析
- 少样本无监督图像转换的应用前景和挑战
图像到图像转换方法可以应用在很多计算机视觉任务中,比如图像分割、图像修复、图像着色、图像超分辨率、图像风格(场景)变换等都属于图像到图像转换的应用范畴。那到底什么是图像到图像的转换呢?
我们看到一只站着的老虎时,自然很容易就能想象出它躺着的样子,这就是图像到图像的转换,即将一个场景的可能表示转换成另一个场景。然而我们能够想像出来是因为我们拥有联想的能力,可以根据其他动物平躺的姿势想像出老虎平躺的样子,然而对于机器来说就不那么简单了。
现有的基于无监督学习方法的图像到图像转换模型,依赖于大量的训练数据,并且模型转换的对象必须是训练数据中已有的对象类型,达不到想像创造的能力。2019年5月,NVIDIA研究院提出了一种基于少量样本的无监督学习图像到图像转换模型,仅通过少量样本的训练,即可实现图像到图像的转换,并且可以生成训练数据中不存在的类别,达到"一图生万物"的效果。
8月20日13点,刘洺堉老师将带来NVIDIA研究院系列第二讲——无监督学习公开课。他将解析无监督学习在图像转换领域的创新和应用,主题为《如何利用少样本无监督学习实现高质量图像转换》,内容包括无监督学习的发展现状、无监督学习在图像转换领域的的应用和创新、少样本无监督图像转换FUNIT(Few-Shot Unsupervised Image-to-Image Translation)模型的实现和应用。
- 少样本无监督学习的效率如何提高? 2020-05-20 19:58:15NVIDIA研究院首席研究科学家刘洺堉: 基本上在学习效率的提高上面,你要会使用一些GAN training的trick,在投影片里面并没有提及实际的trick导致学习提升,只提到了整个过程、流... 阅读全文 〉
- 无监督学习和元学习有什么异同 2020-05-20 19:58:15NVIDIA研究院首席研究科学家刘洺堉: 无监督学习是想学习的东西是没有supervise的,元学习是MAML,在元学习里面,他训练一个network去解各式各样的task,在不断解复杂task之后... 阅读全文 〉
- 除了位置,还有其他的contnent吗? 2020-05-20 19:58:15NVIDIA研究院首席研究科学家刘洺堉: 基本上位置、contnent这些是由training data定义的,在animal的情况下,contnent就是pose,但是从实物转换的例子里面,我们转... 阅读全文 〉
- 相似类的话,转换的特征应该也会比较少吧 2020-05-20 19:58:15NVIDIA研究院首席研究科学家刘洺堉: 我们这次做animal就是149个动物的脸来转换,这149个都在image里面有非肉食性动物,比如说马,老鼠,你要把狗转换成马,效能就没有比狗转换成狮子,狗... 阅读全文 〉
- 前段时间大火的换脸是用什么方法实现的呢? 2020-05-20 19:58:15NVIDIA研究院首席研究科学家刘洺堉: 我猜只有两个,一个是snap的facefilt,另外一个是FaceApp,我知道snap是基于GAN,可能再加上一些graph的一些处理方式完成的,Face... 阅读全文 〉