绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
基于 Transformer 激光雷达 3D 目标检测网络 CenterFormer
自动驾驶新青年讲座 2023/02/03 10:00:00
课程讲师

主要研究兴趣是三维视觉和激光雷达感知的应用;在CVPR,ECCV, AAAI等学术会议上发表过多篇论文。

周子翔
中佛罗里达大学 在读博士

主要研究兴趣是三维视觉和激光雷达感知的应用;在CVPR,ECCV, AAAI等学术会议上发表过多篇论文。

课程提纲
  • 激光雷达 3D 目标检测算法研究
  • Transformer 与大规模激光雷达点云数据
  • 基于中心点的激光雷达目标检测 Transformer 网络
  • 与之前 CNN 和 Transformer 方法的对比
课程简介

激光雷达三维物体目标检测是自动驾驶感知中的重要一环。伴随着 Transformer 在图像领域中的快速发展,如何在大规模激光雷达点云数据上,高效的使用 Transformer 结构来提升网络的性能给这个方向带来了新的挑战。相比于传统的方法,Transformer 中的注意力机制可以帮助网络捕捉到更多的全局和上下文信息。

来自图森未来和中佛罗里达大学的研究者们,在 ECCV 2022 的工作中提出了一种基于中心点的激光雷达物体检测 Transformer 网络 CenterFormer。CenterFormer 将三维物体检测划分成了两个步骤:首先,在三维网格空间内使用热力图来挑选候选的物体中心点;然后,用这些候选中心点的特征信息来作为 Transformer 中的 query 来进一步增强物体的特征信息并预测边界框信息。

同时,为了进一步融合来自时序的特征,他们也设计了一种通过 Transformer 中交叉注意力来融合特征的方法,并添加回归头来预测输出中心特征表示的边界框,该设计降低了 Transformer 结构在激光雷达点云上的收敛难度和计算复杂度。结果表明,在无锚目标检测网络的强基线方面有显着改进。

CenterFormer 在 Waymo 开放数据集上实现了单个模型的最高性能,验证集的 mAPH 为 73.7%,测试集的 mAPH 为 75.6%,显着优于所有先前发布的 CNN 和基于Transformer的方法。该成果也已被收录为 ECCV 2022 Oral。

2月3日上午10点,「自动驾驶新青年讲座」第14讲邀请到中佛罗里达大学在读博士、CenterFormer一作周子翔参与,主讲《基于 Transformer 激光雷达 3D 目标检测网络 CenterFormer》。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...