毫米波雷达是唯一能够在所有天气条件下以可承受的成本提供可靠感知能力的传感器，也已经被广泛作为现代高级驾驶员辅助系统（ADAS）和自动驾驶系统中相机和激光雷达的关键补充。而毫米波雷达和激光雷达的融合则可以在恶劣天气（如雾）下实现鲁棒检测，但这些方法仍然存在着 box 估计精度低的问题。

来自北京万集科技的算法工程师杨炎龙和瑞典Zenseact公司/Vitalent Consulting公司的刘嘉楠等人，最新提出了一种基于毫米波雷达和激光雷达 BEV 融合的anchor box free 目标检测器 RaLiBEV。RaLiBEV 可以利用毫米波雷达 range-azimuth heatmap 和激光雷达点云的特征来估计可能的目标，在 BEV 中生成精确的 2D 边界框。

同时，他们还设计了不同的标签分配策略，以促进前景或背景 anchor point 的分类与相应的边界框回归之间的一致性。此外，基于交互式  Transformer 的改进融合模块，通过相互交互来正确融合雷达和激光雷达特征图，从而显著提高了性能，尤其是在精确的目标边界框估计方面。

在最近发布的 Oxford Radar RobotCar（ORR）数据集上，RaLiBEV 的精度大大优于其他最先进的方法，即使在恶劣天气下也能实现相当准确的检测性能。

2月8日19点，「自动驾驶新青年讲座」第15讲邀请到北京万集科技算法工程师、RaLiBEV一作杨炎龙参与，主讲《激光雷达与毫米波雷达融合的 BEV 目标检测RaLiBEV》。