- 课程回放
- 视频自监督表征学习的研究
- 视觉一致性学习与主题一致性学习
- 基于课程学习的渐近采样策略
- 在人体行为识别任务中的应用
「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。
「AI新青年讲座」目前已完结119讲,错过往期讲座直播的朋友,可以点击文章底部“阅读原文”进行回看!
有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。
自然的无剪切长视频通常包含更丰富的语义信息,且更容易获取,在实际场景中有着非常重要的应用价值。然而现有视频自监督方法在长视频中却呈现出明显的性能下降,主要原因是其太强的时空一致性假设,这种假设在长视频中难以成立。
来自华中科技大学的在读博士卿志武等人提出了一种分层一致性的方法—HiCo来直接进行长视频自监督。HiCo主要包括视觉一致性学习和主题一致性学习,即时间距离相近但视觉相似的片段保持视觉一致,时间相差较远但是表达内容语意相同的片段被认为主题一致,从两个维度进行表征学习。
HiCo可用于从未经裁剪的互联视频中自监督地学习到更具通用性的视频表征,以充分利用海量视频数据的优势提高视频表征质量。由于使用HiCo进行自监督学习的过程不针对特定任务,因此学习到的表征可以应用于下游的视频分类、时序行为检测等多种不同的下游任务。
考虑到这些下游任务的数据中,有标注的训练样本往往不多,而自监督预训练则可以有效缓解下游有监督学习高度依赖大量高质量标注样本的问题,以减少下游任务对少量数据的过拟合。
5月30日,「AI新青年讲座」第20讲邀请到达摩院研究型实习生、华中科技大学在读博士卿志武参与,主讲《基于多层级一致性的长视频自监督视频表征学习》。