前言

自动驾驶涉及技术方方面面。一个成熟的自动驾驶系统主要分为软硬两部分，硬件包括但不限于计算单元、传输网口、传感器本身、网络设备，软件包括但不限于进行任务调度的基础软件、"灵魂所在"的算法模块以及"基础设施"高精度地图。当前公众意义认为的自动驾驶主要指：车上安装的传感器 + 自动驾驶算法。

算法模块可以分为大感知(包括融合与预测)、定位、规划与决策、控制几个模块。

本文对于以上几个模块总结了一些问题，并给出一些思考。

感知

感知模块占据了算法模块接近70%的代码，是自动驾驶系统中基本的、重要的、庞大的模块。感知的好坏对后端的决策层影响较大。

感知对应于人的眼睛与耳朵，主要使用Lidar、camera、Radar等传感器。

实现功能包括但不限于：

对内：人脸识别、疲劳监测。对外：红绿灯识别、交通标志识别、车道线识别、可行驶区域识别、障碍物检测

通用的知识主要包括：

目标检测、语义分割、多目标跟踪。

下面将分别讨论各个传感器与感知整体

一、camera

存在问题：

1. 当前量产的相机与镜头不具有匹配的通用性：长焦镜头会抖动；广角镜头成像不清；变焦镜头不稳定容易造成重定位不精准；

2. 图像等时传输和快门速度之间如何调和。如果为了时间对齐而进行强制曝光可能会造成过曝或欠曝；

3. 彩色镜头会受环境光的影响比较大，存在曝光失败或色彩失真情况；

4. 双目摄像头受分辨率影响。比如超分辨率现象；三维成像的精度随着距离的增大而减小并伴随着大量噪声；生成点云出现不均匀与密度低的情况。

未来发展：

1. 多光补摄像头(当前应用于航天领域、军事遥感、机器人、测绘领域)相机成本如果降低，可以应用在乘用车上。这会提升材质的识别和边缘提取。

2. 摄像头需要满足低照度、高动态、高分辨率、精准的变焦。这会让图像的色彩、稳定性得到显著提升，可以解决像素表达一致性的问题，就有希望在曝光质量和时间上达到一种平衡，以实现等时传输，从而实现多摄像头多传感器的同时采集，这样就可以达到和惯导、radar、lidar进行同时采集，使得物理硬件时间戳达到一致性的目标。

二、lidar现阶段

存在问题：

1. 成像不均匀，点云之间的空洞、夹缝会比较多，点云密度也比较低、缺乏色彩的信息，仅能描述目标的轮廓和尺寸信息，无法获知纹理信息。

2. Lidar环境适应性不好，无法通过车规级测试。

3. 雨雾沙尘颠簸路以及剧烈运动的场景表现不好。

4. 成本比较高。高线数没有自动流水化产品，一批次的不同lidar会有不同的表现，还要进行一次联合标定。

未来发展：

1. 当前三维目标检测与跟踪、语义分割不是很理想，主要是点云成像不太理想，特别是远距离成像。比如一个人，可能就扫到一排或两排激光线， 这有可能是个人也可能是一棵树。

2. 成像周期，现在一般是10HZ-20HZ，对于高速公路或细的目标的识别与避障不太够，业界认为如果能做到100HZ后去跟惯导融合效果会更好。

3. 固态激光雷达不错，但是现在大多数厂商都是半固态的。

4. 需要激光雷达可以高分辨率、点云均匀分布、高速度、车规级的固态激光雷达最好还是低成本。

三、Radar

存在问题：

1. 无法三维成像。

2. 对目标的识别尺寸位置以及跟踪的精度相比Lidar要低一些。

3. 容易受到温度、湿度、大功率用电设备的影响。

未来发展：

1. 低成本的孔雷达、SAR雷达。

2. 可以成像的雷达。

四、感知算法模块

存在问题：

1. 训练样本数量偏少；高的标注成本；不平衡的训练数据；不完整的场景覆盖；这四点导致2D图像语义分割、3D目标检测、3D语义分割的精度下降。

2. 缺乏对深度学习模型拟合的有效理论指导，会出现模型不可解释、需要大量的数据、训练过程不可控、鲁棒性不够这些情况。

3. 多传感器融合的耦合性较高，真正异构的多传感器融合比较少。

4. 没有全天候，全场景的覆盖研究：雨天、雪天、雾天、山路、乡村路、冰雪路。

5. 对高动态的场景缺少在线验证的方法，无法评估他的正确性与稳定性。

未来发展：

1. 深度学习是要比机器学习和手工设计规则的方法要好一些，所以关注模型的可解释性、小样本学习、无监督学习、弱监督学习、模型压缩、标定都是未来的方向。

2. 融合应该偏向于异构。融合可提高精度与鲁棒性，异构方便于扩展。

3. 对场景的理解。需对各种场景进行语义层面的理解。高质量的场景理解对于提升行驶舒适性、扩展行驶能力十分重要。

4. 仿真的在线认证。当前都是离线数据+虚拟引擎去构建仿真系统，这种方法一般帮助是有限的，那如何在接近真实的场景中去验证高动态的环境感知问题，能捕捉环境感知的瞬间就对评估是十分重要的。

建图与定位

存在问题：

• 真值难以获取。

1. 长时间的卫星遮挡会造成惯导失效；SLAM与测距仪的方式会造成空洞变形、重影与错位；传统方法是用轮速计进行补偿，但是越野路与沙地会打滑，这就不行。

2. 当前多线激光雷达和三维大尺度地图构建是有瓶颈，在小场景slam建图还不错，30km以上slam会出现明显的累积误差与非线性漂移。

• 矢量地图的标注仍需要耗费大量的成本。三维点云的检测与语义分割不是很成熟，提取道路边缘不准确，比如环岛、路口，非结构化道路。需要人工复查。当前主要都是离线去搞。

未来发展：

1. 针对车轮打滑进行补偿，可以引入车辆动力学。

2. 对IMU进行升级，航空方面的高精度IMU如果降成本的话。

3. 如何构建场景之间的关系，比如划分车道与道路之间关系 道路与路口与关系，此外目标的管理表达和存储是处于讨论的阶段。

规划与决策

存在问题：

1. 当前环境感知系统不太准确，导致预测模块(意图与轨迹)结果不准确，导致自车与目标博弈算法失败，使得决策系统更倾向于保守的规则(停车)。比如评估当前场景变化莫测，系统很难避障，系统就会选择停车，而如果与后车间距又太小，就会一直等着，直到前方可通行。

2. 对驾驶场景的描述。根据划分力度的不同，会造成场景的数量不断的增加。几百万到几千万量级都是有可能的，无法去评估。

3. 超低速情况也是planning的一个主要挑战。因为车辆设计都会有一个待速的要求，如果低于这个速度了可能会熄火，尤其是内燃机这种车。而在待速情况下很难走出预先设定的轨迹，不够细腻，造成避障与会车的失败。人由于在驾驶可以含着刹车，并且开车处于不断试探的过程，可以不断博弈，而自动驾驶就无法很好的cover。

4. 决策的伦理性和责任认定还不成熟。

未来发展：

深度强化学习去做场景的决策，一遍cover大量的规则，但模型的设计与训练过程还是需要进一步发展。

控制和运动平台

存在问题：

1.乘用车控制系统还不太成熟，当前还用的L2的adas用的控制器提供的控制，刹车系统与转向系统的表现不是很线性，一顿一顿的。低速场景(闹市区)相比人控制的不行

2.车载网络无法达到千兆万兆级别的传输、很难等时传输 。计算器算力也不够。控制器无法达到精准的控制。