绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
基于多层级一致性的长视频自监督视频表征学习
AI新青年讲座 2022/05/30 19:00:00
课程讲师
卿志武 华中科技大学 在读博士、达摩院研究型实习生

导师为桑农;主要研究兴趣是行为识别、时序行为检测等视频理解与分析任务,曾在CVPR会议举办的3个时序行为检测赛道上以第一作者身份获得冠军,发表CVPR论文2篇。

卿志武
华中科技大学 在读博士、达摩院研究型实习生

导师为桑农;主要研究兴趣是行为识别、时序行为检测等视频理解与分析任务,曾在CVPR会议举办的3个时序行为检测赛道上以第一作者身份获得冠军,发表CVPR论文2篇。

课程提纲
  • 视频自监督表征学习的研究
  • 视觉一致性学习与主题一致性学习
  • 基于课程学习的渐近采样策略
  • 在人体行为识别任务中的应用
课程简介

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

「AI新青年讲座」目前已完结119讲,错过往期讲座直播的朋友,可以点击文章底部“阅读原文”进行回看!

有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

自然的无剪切长视频通常包含更丰富的语义信息,且更容易获取,在实际场景中有着非常重要的应用价值。然而现有视频自监督方法在长视频中却呈现出明显的性能下降,主要原因是其太强的时空一致性假设,这种假设在长视频中难以成立。

来自华中科技大学的在读博士卿志武等人提出了一种分层一致性的方法—HiCo来直接进行长视频自监督。HiCo主要包括视觉一致性学习和主题一致性学习,即时间距离相近但视觉相似的片段保持视觉一致,时间相差较远但是表达内容语意相同的片段被认为主题一致,从两个维度进行表征学习。

HiCo可用于从未经裁剪的互联视频中自监督地学习到更具通用性的视频表征,以充分利用海量视频数据的优势提高视频表征质量。由于使用HiCo进行自监督学习的过程不针对特定任务,因此学习到的表征可以应用于下游的视频分类、时序行为检测等多种不同的下游任务。

考虑到这些下游任务的数据中,有标注的训练样本往往不多,而自监督预训练则可以有效缓解下游有监督学习高度依赖大量高质量标注样本的问题,以减少下游任务对少量数据的过拟合。

5月30日,「AI新青年讲座」第20讲邀请到达摩院研究型实习生、华中科技大学在读博士卿志武参与,主讲《基于多层级一致性的长视频自监督视频表征学习》。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...