前言

    《中国制造2025重点领域技术路线图》提出，到2025年驾驶辅助级、部分或高度自动驾驶级车辆的装备率应分别达到 40%和 50%，其旨在依托信息物理系统（Cyber Physical Systems，CPS）和信息通讯技术（Information Communication Technology，ICT）使车辆实现自动化、智能化、互联网化。

感知阶段是自动驾驶中的关键环节。对车辆周围环境信息全面、准确地感知是行车安全性和智能性的保障，也是决策与控制环节的前提。目前，自动驾驶场景的转变驱使着感知内容的深化，研究热点已从结构化高速公路场景更换至目标密集、复杂多变的城市场景如下图所示，

从二维识别、检测升级至三维多方位分析如下图所示，

相比二维感知仅获取二维（像素）坐标及轨迹，三维感知可全面获悉目标在空间中的距离、位姿、形状、速度等物理参数，大幅提高了感知的实用性、丰富性。面向产品化的感知系统的评价指标愈发多元，不仅以准确度和响应时间来衡量，还加入融合对比、感知范围、环境耐受性、冗余性、容错性等作为考核标准。

在前文《自动驾驶技术1-感知技术》中，介绍过了感知层中的硬件设施，

典型环境感知层架构可以分为三个部分：传感器层（Sensor Layer）、融合层（Fusion Layer）以及算法处理层（Algorithm Processing Layer），具体如图所示。

传感器层-负责读取、收集各个传感器的测量结果，即车辆以光学相机、激光雷达、毫米波雷达等采集周围环境数据，以定位装置（Global Positioning System，GPS）、惯量测量单元传（Inertial Measurement Unit，IMU）、速度计等采集自身行驶状态信息，将真实世界的视觉、物理、事件等信息转变成数字信号，便于之后处理。

融合层-负责多传感器之间的坐标标定，并根据预先定义的多传感器融合算法对传感器层传来的数据进行筛选/初步处理，最后将其进行数据/特征融合。

算法处理层-将接收的数据抽象为公共的障碍物特征表示，具体表征为对行驶环境中的目标或者障碍物进行识别、分割和检测，获取其类别、尺寸、几何形状、行驶方向、位置等物理和语义信息输出最终的障碍物结果（位置、速度、类别等）。

后文中将从基于单纯图像和多源传感器融合两种技术分别进行说明。

基于视觉信息融合技术

什么是多源传感器融合？如何分类？

车辆的自动驾驶运行，需要汇总处理各个传感器接收到的信息，如人类天生就具备将已有知识与身体各个器官探测的信息进行综合的能力，自动驾驶的运行亦需要此种能力--多源数据融合就是对这种能力的模拟。

一个完备的自动驾驶系统往往配备有激光雷达、相机、GPS系统等多个传感器，每个传感器产生的数据是十分巨大的。如果只单独处理每个传感器的信息，会丢失信息之间关联性，降低了信息的利用率，对后期决策造成极大影响。

多源数据融合--多传感器数据融合，其目的在于将各个信息源的信息充分利用，合并冗余信息，组合互补信息，以得到对被测对象的一致性描述和解释。

该过程是整合多个传感器各自优势的过程，通过利用不同传感器间信息互补的特性，可以获取比单个子集更精确的感知能力。

多传感器融合具有以下优势：

1.可以增加测量维数，提高信息能够被信赖的程度，增加置信度，提高系统容错性、可靠性以及安全性；

2.经过不同传感器的组合，可以有效扩大传感器检测范围，增强环境鲁棒性；

3.降低了对单个传感器的性能要求，当单个传感器发生故障时，系统仍然可以保证正常的运行，提高了信息处理的速度；

4.降低了信息获取的成本，提高了系统精度。

融合的方式可以分为按照时间同步和按照空间同步：

1.时间同步是把不同传感器在同一时刻收集到的关于同一物体的信息融合起来-常规处理方法是，将不同传感器在规定时间段采集到的信息筛选出来，并根据采用内插外推等方法将其按照精度高低进行排序，以实现同一时间下不同传感器的统一；

2.空间同步是把不同传感器采集的信息求解到同一坐标系下，这一同步主要是通过单个传感器的标定以及多个传感器联合标定来完成的，即求解不同传感器间的坐标转换关系。在完成空间同步后可以将同一物体在不同传感器下的信息对应起来。

若按照结构模式可以分为，

若按照更合适的信息融合所在层次可分为，

从系统设计的灵活性来考虑，采用特征级融合的方式可根据不同数据来设计不同的特征提取模块，对比于数据级融合从某种程度上提升了系统的灵活性。因为数据级融合对于物理特性相近的图像数据而言比较容易，但由于数据的异构性，对于像雷达数据、激光雷达数据这种与图像在数据形式上差别较大的多模态融合就比较难。

特征级融合也需要将提取后的特征设计成可融合的数据形式，而决策级融合仅需要对目标之间进行匹配。因此，决策级融合的方式在系统灵活性方面相对于其他融合方式更好。

而从系统的稳定性来考虑，当某个传感器无法正常工作，例如红外和可见光融合时场景突然变暗或者光线突然增强都会导致某种模态失效，决策级融合可以通过算法来规避识别结果无效的情况，而数据级融合和特征级融合可能因为单一数据的退化导致整个系统失效。

摄像头捕获的图像包含了目标的颜色信息以及丰富的纹理信息，但是摄像头相对于其他传感器则容易受到光线的影响，若没有足够复杂智能且足够验证的算法，是无法很好适用，同时单个摄像头难以感知周围环境的空间结构信息；

激光雷达具有全天候的感知能力，能够很好地捕获环境结构信息以及目标的轮廓信息，测量不受光线强弱影响但数据稀疏无序，而摄像头的数据分辨率高、细节特征丰富，两者具有极强的互补特性（但在实际应用过程中，超过100m的目标不论是激光雷达还是摄像头，都很难对其准确的识别）。

因此，多模态的传感器数据融合可以增加目标识别系统的鲁棒性，提高行车过程中系统的感知能力。

不同的感知设备由于感知的原理不同，实际上传感器采集到的数据在帧率、视角FOV、探测距离、分辨率等关键参数上均不同。

从时间同步上来说，不同传感器的数据采样率不同，这会导致生成的数据帧率在时间上不统一。数据融合时实际使用的数据通过 GPS 时间戳提供全局的基准，从而依据最近原则来判断具体使用的数据帧，并且丢掉多余的数据帧。

从空间同步上来说，即多源传感器数据在空间上一一对应，需要对传感器本身和传感器之间进行标定，

其中以视觉为例，摄像头的标定是建立世界坐标系中的点与像素的对应关系，使用三维世界中任意一点可以准确映射到二维图像上，标定结果由相机内部参数（内部刻画相机坐标系与图像像素的关系，和镜头在成像过程中对图像产生的畸变，在成像时畸形纠正保持图像与外部环境一致）和外部参数呈现（表示世界坐标系三维坐标与二维图像坐标系中的映射关系）。

由以上可知，当选择shi激光雷达和摄像头作为感知传感器时，激光雷达具有视野广、感知范围大、具有夜视能力且可以直接输出目标精确的深度信息的优势，然而，三维激光雷达点云的分布是随着扫描距离的增加而变得越来越稀疏，因此如果仅依赖三维激光雷达输出的点云进行精确的目标分类会有很大的困难。相机输出的高分辨率图包含丰富的颜色、纹理信息，特别适合精确的目标分类。

多源传感器数据本质上是对同一环境的不同的特征表示，因此从数据特征上考虑，多源传感器数据特征是相关的，利用独立的模块割裂地学习多模态数据特征仅仅是将多种特征提取结果简单融合在一起。然而，对于同一种场景下，不同传感器的信息表征能力是不同的，对于阴影和光照变化等环境，摄像头传感器可能更容易受到影响。同时，对于不同类别物体具有相同的形状时，如上文所说依靠激光雷达的数据可能会变得更加难以对目标进行准确的分类。

基于多传感器数据融合方法实例