多模态传感器融合对于自主机器人完成复杂和危险的任务至关重要，例如在地下环境中感知、工业检查和搜救。在这些无GPS 的场景中，黑暗、空气中的模糊条件（灰尘、雾和烟雾）和缺乏感知特征是目前阻碍我们采用机器人系统实现长期自主的主要挑战。

然而在例如长隧道或存在遮挡物（例如雾、灰尘、烟雾）等这种无结构的环境中，由于退化和异常值，激光雷达的方法虽然可以提供高保真 3D 测量，但难以提供可靠的运动估计，而视觉相机的方法又很大程度上受限于光线条件。因此，基于激光雷达、基于视觉或基于激光雷达和视觉的 SLAM 方法都不是在具有挑战性的环境中的最佳选择。

基于此，来自卡内基梅隆大学的赵世博博士等人，针对挑战性环境提出了一种鲁棒的视觉里程计框架 TP-TIO。该方法是基于深度特征的热感-惯性里程计（TIO，Thermal-Inertial Odometry）框架，在各种视觉退化环境（主要是烟雾环境）中进行了全面的评估。实验表明，在烟雾环境中，TP-TIO 优于最先进的视觉里程计和激光里程计方法，在正常的环境中也达到了具有竞争力的精度。

同时，赵世博等人还提出了一种高精度多模态传感器融合框架 Super Odometry，该方法提供了一种简单而有效的方法来融合多个传感器，例如 LiDAR、Camera 和 IMU 传感器。与传统的传感器融合方法不同，Super Odometry 采用以 IMU 为中心的数据处理方案，它结合了松耦合和紧耦合的优点，并以粗到细的方式恢复运动。为了确保实时的高性能，赵博等人还应用了一个动态八叉树，与静态 KD-tree 相比，它只消耗 10% 的运行时间。

Super Odometry 目前已作为算法核心广泛应用到机器人所多个项目， 包括 DARPA 地下机器人挑战项目、DSTA无人机极端环境定位项目、Offroad 野外无人车导航项目、Multi-robot 多机器人协同定位项目，在不同的机器人平台累计测试长达2年，并一直沿用至今。

1月10日早10点，AI新青年讲座第189讲邀请到卡内基梅隆大学Robotics Institute在读博士赵世博参与，主讲《初探多机器人、多模态的通用SLAM框架设计》。