基于视觉处理的高级驾驶员辅助系统实现

高级驾驶员辅助系统(ADAS)在未来几年将出现大幅增长。主要原因之一是安全意识的增强，以及客户对驾乘舒适度要求的提高。但最重要的原因是欧洲新车安全评鉴协会(Euro NCAP)加强了安全要求，这将促使明年ADAS设备安装率从个位数上升到几乎100%。因此，可商业化运行的解决方案无疑是当务之急。

这是为了满足当今大容量标准设备和一般客户选择功能的全新部署要求。ADI公司最近推出了全新的ADAS处理器系列(即Blackfin ADSP-BF60x系列)，以满足这一新兴巨大市场的需求。这一全新系列目前已推出两款处理器，能够满足基于摄像头的解决方案的全新需求。

根据需要解决的ADAS任务不同，如今的系统中采用了不同类型的传感器。针对车辆附近的近场和远场环境监控，可将雷达、超声、激光雷达、PMD、摄像头和夜视摄像头用作单传感器或多传感器系统。后者结合传感器数据，可以根据需求实现更加精确的结果。摄像头系统将进一步得到改善，可以看到车内以便分析驾驶员的状态。驾驶员的状态和预测分析可用于更好地过滤ADAS系统未来会产生的各种警告信息。其目的是不要让无关的警告信息充斥驾驶员。如果系统检测到一名运动型轿车的驾驶员正全神贯注地看着前方的交通状况，过早警告他紧跟着一辆汽车可能会让人不胜其扰。然而，如果知道驾驶员正在分神玩手机，或者快睡着了，同样的情况下，及早发出警告甚至做出刹车动作可能就非常合适。

ADAS系统可以扩大车外视野，并对物体进行检测和分类，系统还可以确定驾驶员的状态。这类系统的目的都是为了提高道路安全性，其也将很快成为新车标准设备的一部分。ADAS系统提升了驾乘舒适性和经济性，例如，可以在发生倾斜之前及时控制换档。这会进一步提高驾驶员对系统的认可度，并使汽车制造商实现市场上除标准ADAS设备以外的其他可选功能。

Euro NCAP推动ADAS部署

Euro NCAP测试并公布了欧洲市面上车辆的安全性。测试采用透明的测试方法，测试分为四个种类：成人乘客保护、儿童乘客保护、行人保护和安全辅助(如安全带提醒)。最终，Euro NCAP给出了五星级安全性评价，这一结果将在其网站上公布。每一个安全等级(一至五星)都需要达到四类中每一类的最低分，同时达到最低总分。

预计到2017年，如果不安装ADAS系统，汽车将无法达到期望的五星级要求。因此，汽车制造商届时将至少采用一套ADAS系统作为标准设备。从Euro NCAP的评级方案和近年来的变化对比中我们可以看到目前的考查重点。2011至2012年间，行人保护的最低得分要求提升了50%。这进一步提升了ADAS摄像头的重要性，这是因为其不仅能对行人等对象进行检测和分类，还可以根据评级方案要求对模糊不清的行人进行检测和分类。

摄像头促成标准设备

基于摄像头的ADAS并非新技术——这项技术在过去几年中逐渐成熟，但大多数时候都被视为高级品牌轿车上的客户选配。这项技术不断完善，如今已经显现出巨大作用，能够满足新兴的Euro NCAP要求。然而，我们必须反思这项技术，因为标准设备业务将其在商业方面的价值推到了公众的焦点。过去，系统往往复杂且具有高性能，而目前所面临的任务却大不相同。如今的ADAS系统必须在适当的商业水平下恰好满足所需的功能。系统提供商和器件供应商(如ADI公司)如今面临着权衡问题：既要实现具有商业吸引力的解决方案，又要保持OEM差异化生产的自由性。

ADI公司很早就涉足驾驶员辅助系统开发，并不断投资这项新兴技术。如今，ADI公司已经开发出了一套先进的专用ASAD解决方案，目前首批推出的两款针对基于摄相机系统的处理器开始样片。从一开始，以ADAS摄像头为中心的处理器的规格目标就是减少总拥有成本(ToC)，同时又不牺牲系统供应商和OEM的灵活性。除了所需的编程能力和足够的处理能力外，该处理器还实现了同级产品的最低功耗，使散热设计易于实现。该处理器支持ISO 26262要求的功能安全，可提供面向应用的开发环境以及最优的视觉处理库，从而有助于设计出一套上市时间短、风险低的总体系统。 [page]

系统级最佳性能

ADSP-BF60x将具有五项功能的系统的总体成本降低了30%。ADSP-BF609(可处理高达百万像素格式)和ADSP-BF608(可处理高达VGA格式)支持高达五种并行视觉功能，每秒可处理高达30帧。ADSP-BF60x在105℃环境温度下的功耗不足1.3W，具有同类产品的最低功耗。

为了实现这一功耗，ADI公司采用了直接又特别的概念。这一概念基于两个Blackfin内核，因为已量产的ADAS系统正采用这一架构。然而，那些无法经济高效地在软件中模型化的算法已经采用硬件引擎实现，由此产生了高度可配置的视觉处理单元工具箱。ADI公司将其称作“流水线视觉处理单元”(PVP)，如今它已成为全新ADSP-BF60x处理器的一部分。虽然采用了低功耗处理技术，但还需要以进一步创新来解决现代设计中最重要的功耗问题：外部存储器(DDR)接口。通过适当分配处理能力和合理利用适度的存储器带宽，可以实现最低功耗。此外，一些硬件模块也增强了Blackfin架构，使其能够满足功能安全要求。

有效数据流

许多芯片架构都从视频传感器接收数据，并将其逐帧保存至外部存储器(如DDR)以供逐帧回读(略有延迟)。多核架构甚至还趋向于大幅加快数据移动，目的只是为了使内核能够识别每一帧感兴趣区域(ROI)。ADSP-BF60x概念避免了视频数据的这种功耗传输。全帧依然存储在DDR2存储器中，但无需回读整帧。输入数据一被器件接收后，就会多点传输至流水线视觉处理单元(PVP)，PVP会在数据输入过程中直接对其进行预处理。

如图1所示，PVP摄像头数据流水线可以产生多达三个中间预处理结果，例如边缘图像、积分或通过非线性阈值的重新量化。在上方，它可以提供直方图之类的状态信息。无需在Blackfin内核上执行一条指令，也无需通过DDR总线传输一个字节，就可以实现这些结果。此外，PVP在输出中间结果时还采用了高密度数据格式，因此，结果在大多数时候都存储在片内L1和L2存储器中。

图1：采用ADSP-BF60x处理器的视觉处理

Blackfin内核上运行的软件从这里开始可进一步处理结果。PVP摄像头数据流水线提供的结果使得软件能够有效地识别感兴趣区域(ROI)。现在，只有ROI需要从外部存储器回读以便进一步分析。读取可以由DMA、内核或PVP存储器数据流水线完成。后者通过将ROI数据过滤或调整至理想模板大小，可进一步分析或传输。直方图结果依然可以轻松获得。如果存储器数据流水线的高密度输出存储在片内存储器上，Blackfin内核现在就可以通过本地方式对ROI进行分类，并根据需要对比原始数据对其进行验证，或者对比存储在DDR2存储器中的先前帧的相应区域进行验证。

流水线视觉处理单元(PVP)近观

PVP可以处理多达四个数据流、三个摄像头数据流水线和一个存储器数据流水线，此外还可以计算直方图状态输出。如图2所示，PVP工具箱包括12个处理块，均针对各种视觉处理步骤进行了优化。

图2：流水线视觉处理单元(PVP)[page]

通常而言，存储器数据流水线根据需求采用一个或多个处理块来分析一系列ROI，而且可能即时改变算子。摄像头数据流水线倾向于以并行方式处理全帧，输入数据可以多点传输至多个处理分支。用户可以十分灵活地互连算子而形成数据流水线。图3所示是一种可能的配置。

图中可以看到传统的Canny结构。这种结构包括一个具有高斯系数的低通滤波器、5×5矩阵的增强Sobel滤波器、笛卡尔坐标至极坐标的转换和一个非极大值抑制(NMS)级。剩下的最大值可能会通过一个阈值块传输来降低位分辨率，或对输出进行游程长度压缩，以实现最低的存储器加载。如果由软件(例如用霍夫变换算法)进行后处理，线路检测和车道保持辅助策略就可以通过这一边缘图像获得。

如果梯度转送至积分块(梯度直方图，HoG)，行人检测所需的处理过程就已经完成了一半。低通像素的平方可能馈送到其他的积分块，积分块随后可以在正常模式(SAT)或对角线模式(RSAT)下运行。如果不需要高分辨率(例如在阴影检测的情况中)，它可以降低输出的帧分辨率。

图中所示的示例配置显示了如何在单芯片中有效实施车道保持辅助以及行人和车辆检测，同时将Blackfin内核的MIPS负载保持在适当水平。未使用的MIPS和尚未使用的存储器数据流水线功能可以用来将前灯控制和/或交通标志检测集成在上方。所有这些功能都可以通过ADSP-BF60x器件实现，该器件在105℃环境温度下功耗不足1.3W，因此可以轻易安装在车内中央后视镜后方，靠近图像传感器。此外，ADI公司的ADAS视觉处理器还支持日间和夜间视觉系统，能够分析车辆周围的环境；并配备有驾驶员监控系统，可以检测驾驶员状态。

图3：物体和行人检测配置示例

经济实惠的驾驶员辅助系统

ADI公司将视觉及雷达系统的ADAS列为开发重点。利用Blackfin BF609和BF608形式的全新专用ADAS视觉系统解决方案，ADAS视觉技术目前非常经济实惠，可以在各种级别的车辆中大规模采用。