绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
对抗鲁棒性的最新研究进展与机遇(一)
对抗鲁棒性研讨会 2021/10/18 19:00:00
课程讲师
张景锋 日本理化学研究所-创新智能综合研究中心 特别研究员

2020年博士毕业于新加坡国立大学计算学院;日本2021年度战略的创造研究推进事业 ACT-X 青年基金获得者;机器学习会议ICML, ICLR, NeurIPS, AAAI, IJCAI 等评审员;主要研究主攻方向为可信赖的机器学习,长期研究目标是使人工智能对人类安全可靠。

张景锋
日本理化学研究所-创新智能综合研究中心 特别研究员

2020年博士毕业于新加坡国立大学计算学院;日本2021年度战略的创造研究推进事业 ACT-X 青年基金获得者;机器学习会议ICML, ICLR, NeurIPS, AAAI, IJCAI 等评审员;主要研究主攻方向为可信赖的机器学习,长期研究目标是使人工智能对人类安全可靠。

朱嘉宁 香港浸会大学 在读博士

重点关注的研究领域为神经网络的对抗鲁棒性,指导老师为香港浸会大学助理教授韩波博士和日本理化研究所研究员张景锋博士。

朱嘉宁
香港浸会大学 在读博士

重点关注的研究领域为神经网络的对抗鲁棒性,指导老师为香港浸会大学助理教授韩波博士和日本理化研究所研究员张景锋博士。

严汉书 新加坡国立大学 在读博士

导师为Vincent Y. F. Tan和Jiashi Feng教授,其主要研究方向包括machine learning robustness 和 neural ODE,致力于开发可信赖且高效的机器学习算法,成果发表于ICLR,ICML,Analytical Chemistry等国际会议与期刊。

严汉书
新加坡国立大学 在读博士

导师为Vincent Y. F. Tan和Jiashi Feng教授,其主要研究方向包括machine learning robustness 和 neural ODE,致力于开发可信赖且高效的机器学习算法,成果发表于ICLR,ICML,Analytical Chemistry等国际会议与期刊。

课程提纲
  • 对抗学习的本质及其鲁棒性问题
  • 基于地理几何感知的实例加权对抗训练方式
  • 对抗训练与标签噪音的交互及纠正
  • 利用通道重要性的特征选择提高CNN的对抗鲁棒性
课程简介

「对抗鲁棒性研讨会」是由智东西公开课主办、日本理化学研究所-创新智能综合研究中心(RIKEN-AIP)特别研究员张景锋以及其学术研究团队担任出品人完成开发的第一个研讨会。

本次研讨会分为两部分,分别在10月18日晚7点和10月21日晚7点上线开讲,由日本理化学研究所张景锋博士,香港浸会大学研究助理高瑞泽、在读博士朱嘉宁,新加坡国立大学在读博士严汉书和在徐曦烈,以及美国威斯康辛麦迪逊分校在读博士杜学峰六位主讲嘉宾分别带来直播讲解,主讲他们在对抗鲁棒性的最新探索,比如鲁棒的网络结构、对抗鲁棒性和标签噪音结合,以及利用统计假设检验检测对抗样本的相关的工作。

10月18日19:00-19:20,张景锋博士将率先带来主题《基于地理几何感知的实例加权对抗训练方式》的讲解,分享他们所提出的一种新的对抗学习算法。

对抗学习的本质是利用对抗样本使得决策边界变厚,而目前深度神经网络在对抗学习中的模型容量是远远不够的,且训练数据点是生而不平等的,有些数据天然的距离分类边界近,有些数据天然的距离分类边界远。

张景锋博士等人针对以上问题提出的“几何感知实例重新加权对抗训练”:数据的权重基于 “攻击自然数据点的难度”,即越容易被攻击的数据,分配的权重越大;越受到保护的数据,分配的权重越小。通过这样的训练方式能够大大提升对对抗数据的对抗鲁棒性,维持在自然数据上的标准误差不变或者降低很少。

张景锋2020年博士毕业于新加坡国立大学计算学院。他是日本2021年度战略的创造研究推进事业 ACT-X 青年基金获得者,机器学习会议ICML, ICLR, NeurIPS, AAAI, IJCAI 等评审员。张景锋博士的主要研究方向为可信赖的机器学习,长期研究目标是使人工智能对人类安全可靠。

19:20-19:40,香港浸会大学在读博士朱嘉宁将带来主题《深入理解对抗训练及标签噪声的交互》的讲解,分享他们在对抗鲁棒性和标签噪声相结合上的最新研究成果。

噪声标签及对抗样本都会对模型造成影响,有趣的是,之前的研究都将二者进行独立研究。而近期的一项有关对抗训练的研究表明,成功攻击一个样本点(即在其附近找到一个对抗样本)的对抗扰动步数是能够衡量该样本点的对抗鲁棒性的有效度量。给定原始的数据样本,这种度量揭示了一个内在的几何属性-:数据样本离它最近的类边界有多远。

基于这一突破,朱嘉宁等人深入探索并理解了对抗训练将如何与标签噪声进行交互。他们发现生成对抗样本的扰动步数(PGD steps)能够作为一种新的样本选择的度量;同时具有较强平滑效果的对抗训练受到噪声标签的影响会比标准训练更少,这也表明对抗训练本身能够起到一定程度的噪声标签纠正效果。

朱嘉宁目前是香港浸会大学一年级博士生,重点关注的研究领域为神经网络的对抗鲁棒性,指导老师为香港浸会大学助理教授韩波博士和日本理化研究所研究员张景锋博士。

19:40-20:00,新加坡国立大学在读博士严汉书将带来主题《通过基于通道重要性的特征选择提高CNN的对抗鲁棒性》的讲解,分享他们在鲁棒性网络结构上的最新研究成果。

严汉书等人从通道激活的角度对CNN的对抗鲁棒性进行了研究。通过对正常训练模型和对抗训练模型的比较,他们观察到在处理对抗性数据时,与预测负相关(NR)的通道仍然过度激活,同时AT也不能使所有类都具有相似的鲁棒性。因此他们引入了一种新的机制,即基于通道重要性的特征选择(CIFS),通过根据通道与预测的相关性为这些通道生成非负乘数来操纵通道对某些层的激活,同时在包括CIFAR10和SVHN在内的基准数据集上进行的大量实验上验证了CIFS对CNN的鲁棒性的有效性。

严汉书目前是新加坡国立大学在读博士生,导师为Vincent Y. F. Tan和Jiashi Feng教授,其主要研究方向包括machine learning robustness 和 neural ODE,致力于开发可信赖且高效的机器学习算法,成果发表于ICLR,ICML,Analytical Chemistry等国际会议与期刊。

研讨会是智东西公开课新上线的一档课程产品,采用出品人机制运作。智东西公开课教研团队将邀请优秀的研究人员、开发者作为出品人进行研讨会的开发。如果您有意向作为出品人进行研讨会的开发设计,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...