- 课程回放
- 激光雷达 3D 目标检测算法研究
- Transformer 与大规模激光雷达点云数据
- 基于中心点的激光雷达目标检测 Transformer 网络
- 与之前 CNN 和 Transformer 方法的对比
激光雷达三维物体目标检测是自动驾驶感知中的重要一环。伴随着 Transformer 在图像领域中的快速发展,如何在大规模激光雷达点云数据上,高效的使用 Transformer 结构来提升网络的性能给这个方向带来了新的挑战。相比于传统的方法,Transformer 中的注意力机制可以帮助网络捕捉到更多的全局和上下文信息。
来自图森未来和中佛罗里达大学的研究者们,在 ECCV 2022 的工作中提出了一种基于中心点的激光雷达物体检测 Transformer 网络 CenterFormer。CenterFormer 将三维物体检测划分成了两个步骤:首先,在三维网格空间内使用热力图来挑选候选的物体中心点;然后,用这些候选中心点的特征信息来作为 Transformer 中的 query 来进一步增强物体的特征信息并预测边界框信息。
同时,为了进一步融合来自时序的特征,他们也设计了一种通过 Transformer 中交叉注意力来融合特征的方法,并添加回归头来预测输出中心特征表示的边界框,该设计降低了 Transformer 结构在激光雷达点云上的收敛难度和计算复杂度。结果表明,在无锚目标检测网络的强基线方面有显着改进。
CenterFormer 在 Waymo 开放数据集上实现了单个模型的最高性能,验证集的 mAPH 为 73.7%,测试集的 mAPH 为 75.6%,显着优于所有先前发布的 CNN 和基于Transformer的方法。该成果也已被收录为 ECCV 2022 Oral。
2月3日上午10点,「自动驾驶新青年讲座」第14讲邀请到中佛罗里达大学在读博士、CenterFormer一作周子翔参与,主讲《基于 Transformer 激光雷达 3D 目标检测网络 CenterFormer》。
