绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
计算机视觉邂逅艺术 – 名画鉴别中的图像识别
CV前沿讲座 2020/09/22 20:00:00
课程讲师
沈西 巴黎高科路桥大学在读博士

Imagine实验室,导师是Mathieu Aubry;研究领域是无监督以及弱监督学习的应用,包括度量学习,三维重建以及光流等;曾在CVPR,ECCV等顶级学术会议上发表多篇论文。

沈西
巴黎高科路桥大学在读博士

Imagine实验室,导师是Mathieu Aubry;研究领域是无监督以及弱监督学习的应用,包括度量学习,三维重建以及光流等;曾在CVPR,ECCV等顶级学术会议上发表多篇论文。

课程提纲
  • 艺术画作数据集中的临摹和借鉴问题
  • ArtMiner:基于自监督学习的自适应特征模式识别方法
  • 通用图像对齐:一种无监督学习的二阶图像对齐方法
  • AI鉴别名画项目实践
课程简介

画家创作时通常会参考其他人的作品 : 如果其他作品中有某些细节很适合于手头上的作品,也许会直接“复制”到自己的作品上。但是,与完全的“复制”有所不同,通常画家会改变原作品的风格,使其与自己的创作风格一致,这就带来了大量艺术品的鉴别问题。随着计算机视觉的发展,近几年国内外学者开始探索运用AI辅助艺术品的鉴别。当计算机视觉邂逅艺术,又会摩擦出怎样的火花呢?AI又将如何辅助名画鉴别呢?

艺术史学家们常常费劲心力在一个大型画作数据集中试图找到作品之间的重复的细节从而建立作品之间的联系。这个任务在计算机视觉里可以归类成Object Discovery。 Object Discovery 是一个在无标注的数据集中,找到相似物体的任务。在CVPR 2019会议中,来自巴黎高科路桥大学的在读博士沈西分享了在这一课题上的研究进展。沈博所在团队提出一种基于空间一致性 (spaitial consistency)的方法,对ImageNet特征进行微调(fine-tuning),使得ImageNet特征可以匹配不同风格的图片。使用微调后的特征,通过在大规模跨风格的经典画作数据集Brueghel上运行一个简单的Object Discovery算法,便可以找到跨时代的不同画家之间作品的联系。

此外,这种空间一致性的思想稍加改变后,就能应用在历史水印识别上。历史水印识别是档案工作者和历史学家面临的一个高度实用但尚未解决的任务。历史水印具有极少标注 (约6K)、 图片噪声过大、识别类别过多(16K) 和不同类别之间细微的差异等难点。面对这一难点,沈博所在团队选择运用极少的标注微调局部特征 (local feature instead of global pooled feature)。微调后的局部特征,可以实现跨域识别(cross-domain recognition) , 在超过16K细粒度分类的数据集中。相比于传统强基线方法,准确率得到了显著提升。

在ECCV 2020会议中, 为解决图像之间的对齐问题,沈博所在团队新提出了一种无监督学习的二阶图像对齐方法。该方法包括两阶段:首先,使用预训练的分类特征进行匹配,并利用Random Sample Consensus(RANSAC)算法,过滤掉噪音匹配并得到粗略对齐(Homography); 然后通过神经网络预测光流,并优化粗略对齐图像之间的标准结构相似度度量(SSIM),整个过程无需人为的监督信息。实验上证,该方法在很多任务上都有不错的效果,如3D重建、多张图片对齐、无监督光流等。

9月22日晚8点,智东西公开课邀请到巴黎高科路桥大学在读博士沈西参与到「CV前沿讲座」第18讲,带来主题为《计算机视觉邂逅艺术 – 名画鉴别中的图像识别》的直播讲解。沈博将从数据集中的object discovery出发,介绍一种简单的特征自适应的方法;然后在该方法的基础上调整局部特征进行古文档水印的识别;最后详解新提出的一种无监督学习的光流算法,可精细对准具有较大差别光照和视角的图片。感兴趣的朋友一定不要错过!

沈西是巴黎高科路桥大学在读博士,是Imagine实验室成员,导师为Mathieu Aubry教授。他的主要研究方向为无监督以及弱监督学习,应用包括度量学习,三维重建以及光流等等。沈博曾在CVPR,ECCV,ICLR等顶级学术会议上发表多篇论文。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...