- 课程回放
复旦大学硕士生在读,师从吴祖煊教授与姜育刚教授。在 NVIDIA 的主要研究兴趣方向为3D 视觉与自动驾驶。提出过 BEVNext、Hydra-MDP 工作。Hydra-MDP 方法在2024年的 CVPR Navsim 挑战赛中获得第一名。
- 1、端到端自动驾驶概述
- 2、CVPR 2024 大规模端到端驾驶挑战赛背景
- 3、端到端模型的规划范式对比及问题
- 4、借助 Hydra-MDP 新范式实现大规模端到端驾驶
- 5、可视化分析及总结
端到端自动驾驶目前逐渐被认为是实现完全自动驾驶的最优解,受到了学术界和产业界的广泛关注。然而,最近的研究表明,近年来涌现的不少端到端自动驾驶模型,在规划范式上存在一定问题。
近期,NVIDIA 研究团队提出了一种新型的端到端自动驾驶框架 Hydra-MDP。在 CVPR 2024 NAVSIM(大规模端到端驾驶)挑战赛中,Hydra-MDP 获得了第一名和创新奖,并且在 nuPlan 基准测试中的表现优于当前最先进的规划器。
Hydra-MDP 框架采用新颖的多教师、学生-教师知识蒸馏架构,整合了来自人类和基于规则的规划器的知识。借助基于规则的教师知识,Hydra-MDP 可以学习环境如何以端到端的方式影响规划,而不是求助于无差别的后处理,使其在不同驾驶环境和条件下的通用性有了显著提高。
有别于其他端到端模型所主要采用的“单模式规划+单目标学习”或“多模式规划+单目标学习”规划范式,Hydra-MDP 开创了“多模式规划+多目标学习”这一全新规划范式。
Hydra-MDP 将为基于机器学习的规划系统在自动驾驶中的应用开辟一条前景广阔的道路,有望推动端到端自动驾驶的大规模实现。
为了帮助开发者深入了解 Hydra-MDP 这一通用的端到端规划范式,智猩猩联合 NVIDIA 策划推出「智猩猩公开课 NVIDIA 端到端自动驾驶专场」。公开课邀请到 Hydra-MDP 论文第一作者、NVIDIA 自动驾驶团队深度学习和计算机视觉方向李臻欣于9月10日进行直播讲解,主题为《探索端到端自动驾驶规划新范式》。
在简要概述端到端自动驾驶后,李臻欣将介绍CVPR 2024 NAVSIM挑战赛的背景。接下来,他将对比分析端到端模型的规划范式,重点探讨如何运用Hydra-MDP这一新范式实现大规模端到端驾驶。最后会对可视化效果进行分析及总结。