一文详解自动驾驶车辆的系统架构：感知系统和决策系统

自动驾驶汽车的自主系统的架构通常被分为感知系统、决策系统和控制系统。感知系统通常被划分为许多子系统，负责自动驾驶汽车定位、静态障碍物绘制、移动障碍物检测和跟踪、道路映射、交通信号检测和识别等任务。决策系统通常也被划分为许多子系统，负责路线规划、路径规划、运动规划和控制等任务。底盘控制系统主要包括线控驱动、线控制动、线控转向等系统，执行决策与规划系统得出的底盘控制指令。本文详细介绍了有关感知系统和决策系统的各种方法。

图1展示了自动驾驶汽车自动化系统的典型分层架构的框图，其中感知和决策系统显示为不同颜色的模块的集合。感知系统负责使用车载传感器（例如LIDAR，RADAR，摄像机，GPS，IMU，里程表等）捕获的数据来估计汽车的状态和创建外部环境的内部（对自动驾驶系统而言）表示，以及有关传感器模型，道路网络，交通规则，汽车动力学等的先验信息。决策系统则负责将汽车从初始出发位置导航到用户定义的最终目的地，在此期间要考虑汽车状态和（感知到的）环境的内部展示，以及交通规则和乘客的舒适度。为了在整个环境中驾驶汽车，决策系统需要知道汽车在哪里。如图1中，定位模块负责估算与环境静态地图相关的汽车状态（姿势，线速度，角速度等）。尽管可以手动注释（即人行横道或交通灯的位置）或编辑（通常需要用于移除传感器捕获的非静态物体），这些静态地图（或离线地图）是在自主操作之前自动计算的，通常使用的是自动驾驶汽车本身的传感器。自动驾驶汽车可以使用一个或多个不同的离线地图（如占据栅格地图，remission地图或地标地图）用于本地离线化。

图1  自动驾驶汽车的典型分层架构定位模块接收离线地图，传感器数据和平台的里程表作为输入，并生成自动驾驶汽车状态的输出（图1）。值得注意的是，虽然GPS可能有助于定位过程，但由于高大的树木，建筑物，隧道等造成的干扰，GPS单独在城市环境中的正确定位是不够的，这也使得GPS定位不可靠。道路绘制模块接收离线地图和状态作为输入，并生成在线地图的输出。该在线地图通常是结合离线地图中存在的信息以及使用传感器数据和当前状态在线计算的占据栅格地图。自动驾驶汽车必须识别和遵守水平（车道标记）和垂直（即速度限制，交通信号灯等）交通信号。如图1，TSD（交通信号检测模块）负责交通信号的检测和识别。路线规划模块是在给定离线地图中定义的最终目的地的情况下，在离线地图中计算从当前状态到最终目标的路线。路径是一系列路径点，其中每个路径点是离线地图中的坐标对。轨迹规划模块是在给定路径情况下，考虑汽车状态和环境的内部表示以及交通规则，计算出单条路径的多个组合。路径是一系列姿态，其中每个姿势是离线地图中的坐标对，以及在此定义的位置处所需的汽车方向的坐标对。行为决策模块负责选择当前的驾驶行为，例如车道保持，交叉路口处理，交通灯信号处理等。该模块用来选择在当前状态（决策范围）前几秒钟（大概是5秒时间）在路径中以及此姿势状态下的所需速度。姿势和相关的速度组成一对称为Goal，行为决策模块需要在考虑当前的驾驶行为，并避免在决策时间范围内与环境中的静态和移动障碍物发生碰撞下选择一个Goal。运动规划模块负责计算从当前汽车状态到当前Goal的轨迹，该目标遵循行为决策模块定义的路径，并满足汽车的运动和动态约束，和乘客的舒适感。一个轨迹需要将汽车从当前状态平稳地、安全地带到目标位置。避障模块接收由运动规划模块计算的轨迹并在必要时更改它（通常降低速度）以避免碰撞。最后，控制模块接收运动规划模块得到轨迹以及经由避障模块修改后的轨迹（通常是是降低速度），并计算并发送有作用效果的命令到方向盘，油门和制动器的执行器，以使汽车最好地在真实物理环境下修改轨迹。下面是一些有关以上模块形成的方法。

感知系统

在该系统中，包含了汽车定位、静态障碍物绘制、道路映射、移动障碍物跟踪以及交通信号检测和识别几大模块。1.1汽车定位定位模块负责估计相对于地图或道路（例如，由路缘或道路标记表示）的自动驾驶汽车姿态（位置和方向）。大多数通用定位子系统都基于GPS的。然而，总的来说，它们不适用于城市自动驾驶汽车，因为GPS信号在闭塞区域无法保证，例如在树下、城市峡谷（被大型建筑物包围的道路）或隧道中。文献中提出了各种不依赖GPS的定位方法。它们主要可分为三类：基于激光雷达的、基于激光雷达加相机的和基于相机的。仅依赖于LIDAR传感器的基于激光雷达的定位方法可提供测量精度和得到数据易于处理。然而，尽管LIDAR行业努力降低生产成本，但是其与相机相比仍然具有较高的价格。在典型的LIDAR加上摄像机的定位方法中，LIDAR数据仅用于构建地图，并且通过摄像机数据估计车辆相对于地图的位置。这样的做法降低了成本。基于相机的定位方法便宜且方便，但是这种方法通常不太精确和可靠。

1.1.1基于激光雷达的汽车定位

（1）一种在LIDAR激光射线的环境反射率（激光反射网格图，如图2）使用概率分布的离线网格图用来定位的方法。该方法使用了HDL-64E-Velodyne激光雷达并通过无监督校准方法来校准HDL-64E-Velodyne激光束。这使得激光雷达对具有相同亮度的物体的响应类似。使用二维直方图滤波器估计自动驾驶汽车的位置。通常，滤波器由两部分组成：运动更新（或预测）：用来减少基于运动的估计的置信度；以及测量更新（或校正）：用来增加基于传感器数据的估计的置信度。在运动更新过程中，汽车运动以高斯分布噪声随机“游走”，从通过航位推算坐标系（使用Applanix LV-420导航系统的惯性更新计算）漂移到离线地图的全局坐标系。在测量步骤中，对于不同的位移，它们使用在线计算的反射图与离线计算的反射图之间的相似性。其中，每个位移对应于直方图滤波器中的直方图的一个单元。为了将直方图概括为单个姿势估计，它们使用由直方图建模的概率分布的质心。然而，该方法没有描述他们如何估计方向。该方法显示均方根（RMS）横向误差为9厘米，均方根（RMS）纵向误差为12厘米。

图2  Remission地图

（2）一种蒙特卡洛（MCL）定位方法，该方法将卫星地图与反射得到的地图进行比较。卫星地图从互联网上离线下载，如OpenStreetMap，并且通过LIDAR接受反射强度数据实时构建反射的地图。MCL算法用于通过使用归一化互信息（NMI）度量将反射得到地图与航卫星地图匹配从而来估计汽车姿态以计算粒子可能性。该方法在机器人汽车“IARA”收集的6.5 km数据集上进行评估，并获得0.89 m的位置估计精度。该方法的一个优点是它不需要专门为该方法构建地图。

（3）一种基于道路特征检测的定位方法。他们的路缘检测算法使用环压缩分析和最小修剪方块来分析由多层LIDAR（HDL-32E-Velodyne）扫描形成的连续同心测量（或环）之间的距离。道路标记检测算法使用Otsu阈值来分析LIDAR反射强度数据。路缘和道路标记功能存储在网格地图中。蒙特卡洛定位（MCL）算法用于通过将从多层激光雷达测量中提取的道路特征与网格图匹配来估计汽车姿态。该方法在自主车辆“CARINA”上进行了评估，并且显示出横向和纵向定位估计误差小于0.30 m。

（4）一种多层自适应蒙特卡罗定位（ML-AMCL）方法，流程如图3所示，该方法与3D点配准算法结合使用。为了估计汽车姿势，该方法从3D LIDAR测量中提取水平层，并且使用单独的自适应蒙特卡罗方法来对准具有使用3D点配准算法构建的3D点云图的2D投影的层。对于每个姿势估计，执行针对一系列测距测量的一致性检查，并将一致的姿势估计与最终姿势估计融合。该方法在现实世界数据上进行评估，并获得相对于GPS参考的0.25米的位置估计误差。

图3  多层自适应蒙特卡洛定位方法示意图（5）一种基于蒙特卡罗算法的定位方法，该方法通过2D占据栅格地图和2D离线占据栅格地图之间的地图匹配来校正粒子的姿态，如图4所示。对两个地图匹配距离函数（两个网格图之间的传统似然场的距离的改进版本，以及两个高维向量之间的自适应标准余弦距离）进行了评估。其中在IARA自动驾驶汽车的实验评估表明，定位方法能够使用余弦距离函数在约100Hz下工作，并且横向和纵向误差分别为0.13 m和0.26 m。

图4  占据栅格地图匹配定位方法（6）一种概率定位方法。该方法将世界建模为高斯混合的多分辨率图（如图5所示）。其中，高斯混合图由多层LIDAR扫描仪（HDL-32E-Velodyne）测量的场景下的高度和反射强度（remission）分布辨识。扩展卡尔曼滤波器（EKF）定位算法用于通过高斯混合多分辨率图的3D点云来估计汽车的姿态。该方法在恶劣天气条件下对两辆无人驾驶汽车进行了评估，结果显示了该方法定位估算误差约0.15米。

图5  概率定位方法

1.1.2基于激光雷达加摄像头的汽车定位

一些方法通过使用LIDAR数据来构建地图以及摄像头获取的数据，估计自动驾驶车相对于该地图的位置。

（1）一种将立体图像与3D点云图匹配的定位方法。该地图由地图公司生成（http://www.whatmms.com），地图由几何数据（纬度，经度和高度）以及里程表，RTK-GPS和2D LIDAR扫描仪获得的反射的数据组成。该算法可用于解决使用立体相机的基于三维（3D）点云地图（PCL）的定位问题。该3D点云图由密集的3D几何信息和基于3D光检测和测距（LIDAR）扫描仪的映射系统生成的表面反射率值的强度度量组成。尽管已经提出了一些基于LIDAR的定位算法，但该方法提出了一种使用更便宜的商品立体相机，且精度能达到厘米级的定位算法。具体而言，在每个候选位置，将3D数据点从真实世界坐标系转换到相机坐标系，并从3D PCL地图合成虚拟深度和强度图像。通过将这些虚拟图像与立体深度和强度图像相匹配来估计每帧中真实世界和车辆坐标之间的转换，从而定位自我车辆。流程图如下图6所示：

图6  3D点云地图定位

（2）一种将陆地的全景图像与一年中不同季节捕获的卫星图像相匹配自动驾驶汽车定位方法。在该方法中，LIDAR数据被分类为地面和非地面类别。接着，使用LIDAR数据将由自动驾驶车中的全景相机捕获的地面图像分割成地面和非地面区域，然后变换为鸟瞰图。其中，通过使用KMeans聚类方法将卫星图像分割成地面/非地面区域。然后使用蒙特卡罗算法将鸟瞰图像与卫星图像匹配，从而估计姿势。该方法在NavLab11自动驾驶汽车上进行了评估，并实现了3米到4.8米之间的位置估算误差。

1.1.3基于摄像头的汽车定位

在定位方法，有一些方法主要依靠摄像头数据来定位自动驾驶汽车。

（1）一种基于视觉里程计和路线图的定位方法。他们使用OpenStreetMap，从该图中提取所有交叉点和所有可行驶道路（用分段线性段表示），并将它们连接到感兴趣的区域。然后，他们构建了这个路线图的基于图形的表示以及汽车如何遍历该图的概率模型。使用这种概率模型和视觉里程测量，他们估计相对于路线图的汽车位移。

递归贝叶斯过滤算法用于通过利用其结构和汽车运动速度（通过视觉里程计测量）的模型来执行图中的推断。该算法通过增加当前位于汽车最新运动（直线距离以及近期曲线）图的位置点的姿势的可能性以及降低与之不相关点的可能性来精确定位汽车在地图中的位置。

（2）在一些方法中，特征图通过使用相机数据来构建。该方法中描述了自动驾驶汽车Bertha自主驾驶的定位方法。论文开发了一种基于互补视觉的定位技术：基于点特征的定位（PFL）和基于车道特征的定位（LFL）。如下图7所示（其中a为点特征，b为车道特征），在PFL（点特征的定位）中，将当前相机的图像同先前进行测绘过程中提取的DIRD描述符中获取的一系列相机图像的图像进行比较。全局位置估计从制图过程中获取图像中的全局位置恢复。在LFL（车道特征的定位）中，半自动计算的地图提供道路标记特征（水平道路信号化）的全局几何表征。通过检测并关联从相机图像的鸟瞰视图提取的道路标记特征与存储在地图中的水平道路信号，将当前相机图像与地图匹配。然后通过卡尔曼滤波器组合由PFL和LFL获得的位置估计。

图7  视觉互补定位方法

（3）另一些方法通过使用相机数据来构建特征图，但还是采用替代类型的特征。如一种在城市场景中使用柱状地标作为主要特征（如下图8所示）的方法，因为柱状地标是独特的、长期稳定的，并且可以通过立体摄像系统可靠地检测到。此外，生成的地图表示是内存高效的，允许轻松存储和在线更新。定位由作为主传感器的立体摄像系统实时执行，使用车辆里程计和现成的GPS作为辅助信息源。通过粒子滤波方法进行定位，结合卡尔曼滤波实现鲁棒性和传感器融合。

图8  利用柱状地标实现稳定定位

（4）一些方法是使用神经网络来定位自动驾驶汽车。这种方法通过相应的相机图像以及相应的GPS位置。在测绘组中，神经网络构建环境的表征。为此，神经网络算法学习了一系列图像和捕获图像的GPS位置，并将这些图像和位置存储在神经图中。在定位阶段，神经网络使用由神经图提供的先前获得的知识来估计当前观察到的图像的全局位置。这些方法存在仪表尺度误差并且难以在大面积上进行无人驾驶的定位。VIBML是一种基于神经网络的定位方法，VIBML是基于VG-RAM的基于图像的全局定位方法的扩展。VIBML将全球定位和位置跟踪集成到单个解决方案中，以提供平滑可靠的轨迹估计。VIBML包括三个主要子系统：VG-RAM基于图像的映射（VIBM）、VG-RAM图像的全球定位（VIBGL）和VG-RAM位置跟踪（VIBPT）。架构如下图9所示：

图9  基于神经网络的定位VIBML系统架构：VIBM子系统（红色轮廓）负责映射（它使用VG-RAM来学习由图像、全局姿态和表示一个地方的3D地标集组成的三元组）；VIBGL子系统（也呈红色轮廓）负责系统启动和连续全局定位（基本上从VIBM的VG-RAM恢复全局姿态）；VIBPT子系统（绿色轮廓）负责校正全局姿态估计，并随着时间的推移跟踪新的姿态。

1.2静态障碍物绘制静态障碍物（为非地图上显示的物体）测绘子系统负责计算得到自动驾驶汽车的环境中的障碍物地图。该子系统是确保无人驾驶车安全地在公共道路上导航而不与障碍物（如，路标、路缘石）碰撞的基础，区分汽车自由（可穿越）空间。障碍物地图则主要表示汽车可能或不能导航的地方的相关信息内容。无人驾驶车在行驶过程中必须始终处于自由空间。障碍图是通过测绘（mapping）期间的传感器数据得到，并存储为结构化信息以便在以后的无人驾驶操作阶段中使用。状态空间的表征通常区分为拓扑表示和度量表示。拓扑表示将状态空间建模为图形，其中通过节点标识重要位置（或特征），并且用边缘表示它们之间的拓扑关系（如位置、方向、接近度和连通性）。这些分解的解决方案取决于环境的结构。度量表示通常将状态空间分解为有规则间隔的单元格。此分解不依赖于要素的位置和形状。度量空间分辨率往往高于拓扑空间分辨率。这种多功能性和效率使它们成为最常见的空间表示。

1.2.1离散空间度量表示（1）状态空间最常见的表现之一是占据栅格图（OGM）。OGM将空间离散为固定大小的单元格，通常为分米级别。每个单元格包含占用与其相关的区域的概率。使用传感器数据为每个单元独立更新占用概率。为了简单和高效的目的，可以将表征障碍物的3D传感器测量投影到2D地平面上。独立性的假设使得OGM算法变得快速而简单。但是，它会生成稀疏状态空间表征，因为只有传感器到达的那些单元格才会更新。一种在多层表面地图上应用蒙特卡洛定位的方法来表示2D OGM中占用的不同高度范围。该方法是一种新的技术组合，以在户外环境中有效地定位移动机器人。该方法使用粒子过滤器，并将距离测量值与多级曲面图进行匹配。并且提出了概率运动和观测模型，并描述了如何在概率定位方案中使用这些模型。此外，其中还提出一种主动定位方法，该方法能够通过仅考虑整个粒子集的聚类子集来有效地确定适当的传感器方向。MLS地图更准确地表示垂直结构，并可以处理机器人可以穿过的多个表面。如下图10所示，其中左图为普通立体图，右图为经过多层表面地图（MLS）。

图10  多层表面地图定位（2）使用GPS、IMU和LIDAR数据生成高分辨率红外地面图（high-resolution infrared remittance ground map）。该方法将环境建模为概率网格，而不是将其作为固定的红外汇值（infrared remittance values）的空间网格，从而将每个单元表示为其自身在红外汇值（infrared remittance values）上的高斯分布。随后，贝叶斯推断能够优先加权地图中最可能是静止的且具有一致角度反射率的部分，从而减少不确定性和严重的错误。此外，通过使用离线SLAM对齐同一环境的多个通道（可能在时间上相隔几天甚至几个月）。该算法在各种动态环境中根据概率地图定位车辆，验证了该方法的有效性，在10cm范围内实现RMS精度。构建地图的最终目标是获得观察环境的网格单元表示，其中每个单元存储在该位置观察到的平均红外反射率以及这些值的方差。可分三个步骤生成这样的地图：首先，对所有轨迹进行后处理，以使重叠区域对齐；第二，我们校准每个激光束的强度返回，使光束具有相似的响应曲线；最后，将校准后的激光从对准的轨迹返回到高分辨率概率图中。下图11为不同红外反射率的高分辨率概率图。

图11  不同红外反射率的高分辨率概率图（3）另一类是基于八叉树的地图。该地图用于存储具有不同3D分辨率的信息（如图12所示）。与具有不同3D分辨率的OGM相比，OctoMaps（基于八叉树的地图）仅存储观察到的空间，因此在存储器消耗方面更有效。然而，OctoMaps以统一和离散的方式处理传感器数据的更新和障碍物占用的估计。因此，它们比具有统一占用率的OGM慢。尽管OctoMaps在内存消耗方面具有显着优势，但是在无人驾驶车的实时场景中，强大的计算复杂性使该方法无法实现。

图12  基于八叉树的地图

1.2.2连续空间度量表示

（1）一种希尔伯特映射的新公式，其中通过逐步融合局部重叠的希尔伯特映射来构造全局占用图。不是为整个地图维护一个单一的监督学习模型，而是用机器人的每一次距离扫描来训练一个新模型，并对机器人感知领域上的所有的点进行查询。该方法将分类器的概率输出视为传感器，使用传感器融合来合并局部地图。该公式允许希尔伯特映射在传感器观测之间重叠的真实世界映射场景中增量使用。该方法应用于三维地图构建，并使用真实和模拟的三维距离数据进行评估。

图13  基于希尔伯特映射的全局占用图

（2）一种通过连续占用映射来表示环境的新技术，该技术在两个基本方面改进了流行的占用夹点图：

1）它不假设将世界先验离散为网格单元，因此可以提供任意分辨率的地图；

2）它自然地捕捉测量之间的统计关系，因此对异常值更为稳定，并具有更好的泛化性能。该技术名为希尔伯特映射，基于快速核近似的计算，将数据投影到希尔伯特空间，并且在该空间中学习逻辑回归分类器。该方法允许有效的随机梯度优化，其中每个测量在在线学习期间仅处理一次。可得到三种近似的结果，随机傅里叶变换（Random Fourier）、Nyström和一种新的稀疏投影（a novel sparse projection）。该方法还展示了如何扩展该方法以接受概率分布作为输入，即当由于传感器或定位误差导致激光扫描位置存在不确定性时。实验证明了该方法在具有数千次激光扫描的流行基准数据集中的优势。左图：用于训练的数据点。右图：用SVM和Nyström特征绘制的地图。

图14  连续占用映射建图方法1.3道路绘制道路映射子系统负责收集自动驾驶汽车周围道路和车道的信息，并在具有几何和拓扑属性（包括互连和限制）的地图中表示这些信息。道路绘制子系统的主要是路线图表示和拓扑表示。

1.3.1地图表示路线图通常也是分为度量图和拓扑图。

1.3.1.1度量表示：道路地图的简单度量表示是通过栅格地图表示。栅格地图是将环境离散化为固定大小的单元的矩阵。其中固定大小矩阵中包含关于是否属于道路的信息以及移动到其相邻区域单元的成本。道路网格地图简单易懂。但是，如果在路线图的大区域内移动成本是均匀的，那么使用网格表示可能需要浪费地存储空间和处理时间。路径点（ waypoints）序列是在大型道路栅格图中压缩路径描述的一种替代方案。路径点指的是沿着道路栅格图中的路径的点。路径点序列可以手动定义或从道路网格地图中自动提取。在于2005年DARPA挑战赛中，提出了路线数据定义文件（RDDF）。RDDF是一个格式化文件，包含路径点坐标和无人驾驶车的运行路径，指定的其他相关信息（纬度、经度、横向边界偏移和航向速度）。

（1）一种路线图用于推断无人驾驶车IARA在城市道路上的车道位置和相关属性（栅格地图和RDDF路径），如图15所示。IARA的道路栅格地图包含方形单元格0.2×0.2米。通道的每个单元都被分配上编码。编码从1到16表示了从单元到车道中心的相对距离以及单元中存在的车道标记（损坏、固定或无）的类型。IARA的RDDF路径包含0.5米间隔的航路点，并通过一种算法从道路网格图中自动提取，该算法奖励更靠近车道中心的单元。

图15  道路栅格地图

1.3.1.2拓扑表示路面图的更复杂的表示是通过拓扑图。拓扑图将环境描绘为图形模型，其中顶点表示位置，连线表示位置之间的拓扑关系。拓扑图可以包含更复杂的信息，包括多个车道，车道交叉点和车道合并。（1）2007年DARPA城市挑战赛中提出了路网描述文件（RNDF），这是一个拓扑图，定义为格式化文件，用来指定无人驾驶车操作的路段。根据该文件，道路网络包括一个或多个段，其中每个段包括一个或多个通道。段主要用来表示车道数、街道名称和速度限制。车道用以表示车道宽度、车道标记和一组路径点。车道之间的连接以出口和入口路径点表示。RNDF定义无人驾驶车辆可以访问的道路信息，其中点的信息包括路点（道路上带有二维坐标信息的点）和特征点（指无人驾驶车辆完成指定比赛任务必须识别的交通信号标志所在的点，这些点可以是位于道路上的路点，也可以是位于路边的点，用三维坐标表示）；线的信息包括标志线的宽度、颜色、条数、道路的宽度和车道数；面的信息包括特定的区域（如自由行驶区域和自主泊车区域等）因此，路网文件包含描述路段和描述区域两个方面的信息内容。路网文件包含一段或多段道路，其中每段道路又包含一条或者多条车道。在路网文件中，“segment”表示与路段有关的信息（如路段名称、路段包含的车道数等），“lane”表示与车道有关的信息（如车道名称、宽度和车道上路点的顺序集合），路点在路网文件中位于车道的内部。路点、车道和路段的表示方法如图16所示，其中红色圆点为路点，并以“M.N.P”表示，其中M、N和P分别表示路段号、车道号和该路点序号，而车道和路段分别以“M.N”和“M”的方式表示。

图16  路网描述如果两条道路相连，在车道的衔接处分别用“Entry Way Point”和“Exit Way Point”表示车道连接处的入口点和出口点。一个出口点可能对应一个或者多个入口点，出口点和入口点可以设定在车道的开始、中间或者末端位置，这取决于实际测试任务的需要。图17表示交叉路口处的一种路点连接情况，其中出口点D在车道2.2的末端，它与入口点A和E（分别位于车道1.1和1.2）相连，表示无人驾驶车辆可以有两个选择；出口点B和F分别位于车道1.2和车道1.1的中间，与车道2.1的入口点C相连。此外，还有两种特殊情况：1）当一条道路是环形道路时，它的入口点和出口点可能在同一条车道上；2）当遇到一条死路时，这条车道上的最后一个路点可能指向临近车道上的第一个最近的路点，表明无人驾驶车辆须反方向行驶，即执行U-Turn。在路网文件中停止点用“Stop”来描述。如图17所示，相应的路点D附近有一条停止线，它垂直于无人驾驶车辆的行进路线。

图17  T型路口

（2）一种用于从校准的视频图像和移动车辆获取的激光测距数据中检测和估计城市道路网络中多车道特性的系统。该系统在多个处理器上分几个阶段实时运行，将检测到的道路标记、障碍物和路缘融合为附近车道的稳定非参数估计。该系统结合了所提供的分段线性道路网络的元素作为弱先验。该方法在几个方面都是值得注意的：它检测和估计多条车道；它融合了异步、异构的传感器流；它处理高曲率道路；并且它不假设车辆相对于道路的位置或方向。寻道方法包括三个阶段。在第一阶段，该系统通过激光雷达的数据，检测并定位每帧视频中所绘制的道路标记，以降低误报率。第二阶段处理道路检测到的车道线以及激光雷达检测到的路缘，来估计附近车道的中心线。最后，在产生一个或多个非参数车道输出之前，对任何检测到的中心线进行滤波、跟踪和融合。该方法的数据流如图所示。