绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
对话驱动的高细粒度人脸编辑
生成对抗网络GAN专题讲座 2021/12/10 19:00:00
课程讲师
姜瑜铭 新加坡南洋理工大学MMLab实验室在读博士

师从刘子纬教授和吕健勤教授;主要研究方向为图像的生成、编辑和复原;本科毕业于电子科技大学。

姜瑜铭
新加坡南洋理工大学MMLab实验室在读博士

师从刘子纬教授和吕健勤教授;主要研究方向为图像的生成、编辑和复原;本科毕业于电子科技大学。

课程提纲
  • 人脸编辑问题的研究
  • 基于预训练StyleGAN的人脸编辑
  • Talk-to-Edit:对话式交互的高细粒度人脸编辑系统
  • 视觉语言人脸属性数据集 CelebA-Dialog
  • 未来展望
课程简介

12月10日晚7点,南洋理工大学MMLab实验室在读博士姜瑜铭将以《对话驱动的高细粒度人脸编辑》为主题,带来第5讲的直播讲解。

日常生活中,经常会用到一些人脸编辑软件(抖音、快手、美图秀秀)让照片有更好的效果和呈现,在抖音、快手等的人脸特效中,GAN的身影处处都可见。但现有的人脸编辑大多采用手动的交互方式,需要手动选择想要的发型、妆容,并且这些发型、妆容大多是固定的版式且细节信息不足,这与想要的效果有很大差异。那如何设计一个多样且细粒度的交互式人脸编辑呢?

交互式的人脸编辑系统“Talk-to-Edit”可以满足上面的需求,它通过用户和系统之间的对话进行细粒度的人脸属性操作。在Talk-to-Edit系统中,只需告诉它你想怎么编辑,它就会分分钟帮你搞定。

Talk-to-Edit系统通过StyleGAN模型进行预训练,为了对人脸做到连续且细粒度的编辑,在StyleGAN的隐空间中构建了一个语义场。语义场是一个非线性的向量场,它具有两个特性:1) 对同一个人脸来说,不断改变某一个属性,所需要的编辑方向是不断变化的。2)在编辑同一个属性时,对于不同人,所需要的编辑方向也是不同的。基于语义场可以在人脸编辑过程中更好的保留这个人的身份特征,并且在编辑某一个语义特征时减少对其他无关语义特征的改变。

同时,Talk-to-Edit还用一个基于LSTM的Language Encoder来理解用户的编辑要求,并将编码后的编辑要求传递给语义场从而指导人脸编辑。更多Talk-to-Edit系统的实现细节,姜瑜铭博士将在本次讲座中进行深度解读,感兴趣的小伙伴千万不要错过。

姜瑜铭是新加坡南洋理工大学MMLab实验室在读博士,师从刘子纬教授和吕健勤教授。他本科毕业于电子科技大学,主要研究方向为图像的生成、编辑和复原。

本次讲座将在智东西公开课知识店铺进行,包含主讲和问答两个部分,其中主讲环节40分钟,问答环节20分钟。本次讲座已组建交流群,并邀请姜瑜铭博士加入,欢迎感兴趣的朋友申请。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...