视觉方案做ADAS,单目和双目到底有什么差别?

发布者:星光小狐狸最新更新时间:2023-06-20 来源: elecfans关键字:视觉方案  ADAS  单目  双目 手机看文章 扫描二维码
随时随地手机看文章

目前视觉方案做ADAS既有双目也有单目,两者在距离检测上用了不同的技术路线,产品化时也存在各自优缺点,对此作者谈了谈自己的看法。本文作者姜安,为中科慧眼CTO。


ADAS功能的第一步是感知,也就是观察车辆周边负责的路况环境。在这个基础上才能做出相应的路径规划和驾驶行为决策。目前感知所采用的传感器包含各种形式的雷达、单目摄像头、双目摄像头等,或是由这些传感器进行不同组合形成的感知系统,而这些传感器件各有利弊,传感器融合是大势所趋。


在这其中,摄像头不可或缺,可以通过采集前方道路图像,实现车道线障碍物以及行人检测ADAS功能。关于ADAS摄像头选用有哪些讲究?单双目方案存在哪些差异?在此谈一谈我的看法。


ADAS摄像头成像哪些要求?

根据ADAS检测需要,摄像头在选择时需要具备下面2个特点:

一是要看得足够远。看的越远就能有更加充裕的时间做出判断和反应,从而避免或者降低事故发生造成的损失。这类摄像头关注的参数是焦距,焦距越长看的会越远。但是焦距越长,带来的问题是视角越窄,所以需要折衷考虑。


二是要求高动态。选用具有高动态范围的黑白相机,可以有效抑制光晕现象,并增强暗处的细节,从而提高成像质量。另外,彩色图像在镜头表面进行了镀膜,虽然提升了人眼的感知体验,但实际上降低了信噪比或者说信息量。这对后续的图像处理不利。


根据这些要求,很容易发现目前行业里的一种炒作现象。很多车上使用的智能硬件多是行车记录仪、云镜等产品,会在原来成像系统的基础上添加ADAS功能,其实只是厂家赚取噱头的方式。


因为行车记录仪的目的是记录车辆周边的状况,看的越清晰越好、越全面越好,即“人友好”。这就需要成像系统具有超高的分辨率、超好的色彩还原性、超大的广角镜头,视角增大意味着焦距的缩小。这与ADAS对成像系统的要求截然相反,ADAS要求的图像质量是“机器友好”,因此在行车记录仪的成像系统基础上开发ADAS功能是不切实际的。目前很多号称有ADAS功能的行车记录仪,一般都只有车道线检测这一个功能。有的虽然有别的如碰撞预警的功能,但是用户体验极差。


单/双目的测距原理区别

目前摄像头ADAS有单目和双目两种方案,两者的共同特点,就是通过摄像头采集图像数据,然后从图像数据上得到距离信息。ADAS一个很重要的作用是碰撞预警。碰撞预警需要关注距离的变化,需要估计即将碰撞的时间。有了距离测量,才会有距离变化,有距离变化才会有碰撞时间的估计,最后才会有预警。


单目摄像头的大致测距原理,是先通过图像匹配进行目标识别(各种车型、行人、物体等),再通过目标在图像中的大小去估算目标距离。这就要求在估算距离之前首先对目标进行准确识别,是汽车还是行人,是货车、SUV还是小轿车。准确识别是准确估算距离的第一步。


要做到这一点,就需要建立并不断维护一个庞大的样本特征数据库,保证这个数据库包含待识别目标的全部特征数据。比如在一些特殊地区,为了专门检测大型动物,必须先行建立大型动物的数据库;而对于另外某些区域存在一些非常规车型,也要先将这些车型的特征数据加入到数据库中。


如果缺乏待识别目标的特征数据,就会导致系统无法对这些车型、物体、障碍物进行识别,从而也就无法准确估算这些目标的距离。导致ADAS系统的漏报。


而双目检测的方式就是通过对两幅图像视差的计算,直接对前方景物(图像所拍摄到的范围)进行距离测量,而无需判断前方出现的是什么类型的障碍物。所以对于任何类型的障碍物,都能根据距离信息的变化,进行必要的预警或制动。


双目摄像头的原理与人眼相似。人眼能够感知物体的远近,是由于两只眼睛对同一个物体呈现的图像存在差异,也称“视差”。物体距离越远,视差越小;反之,视差越大。视差的大小对应着物体与眼睛之间距离的远近,这也是3D电影能够使人有立体层次感知的原因。

图中的人和椰子树,人在前,椰子树在后,最下方是双目相机中的成像。可以看出右侧相机成像中人在树的左侧,左侧相机成像中人在树的右侧,这是因为双目的角度不一样。再通过对比两幅图像就可以知道人眼观察树的时候视差小。而观察人时视差大,因为树的距离远,人的距离近。这就是双目三角测距的原理。双目系统对目标物体距离感知是一种绝对的测量,而非估算。


单/双目方案的优势与难点

单目的优势在于成本较低,对计算资源的要求不高,系统结构相对简单。其缺点在于必须不断更新和维护一个庞大的样本数据库,才能保证系统达到较高的识别率;无法对非标准障碍物进行判断;距离并非真正意义上的测量,准确度较低。


双目系统成本比单目系统要高,但尚处于可接受范围内,并且与激光雷达等方案相比成本较低;二是没有识别率的限制,因为从原理上无需先进行识别再进行测算,而是对所有障碍物直接进行测量;三是精度比单目高,直接利用视差计算距离;四是无需维护样本数据库,因为对于双目没有样本的概念。


双目系统的一个难点在于计算量非常大,对计算单元的性能要求非常高,这使得双目系统的产品化、小型化的难度较大。所以在芯片或FPGA上解决双目的计算问题难度比较大。国际上使用双目的研究机构或厂商,绝大多数是使用服务器来进行图像处理与计算的;也有部分将算法进行简化后,使用FPGA进行处理。目前,中科慧眼在芯片上的计算效率已经达到15fps,在FPGA+ARM架构上的计算效率达到了40fps。


另一个难点在于双目的配准效果。通过双目摄像头的图像配准可以计算生成表示距离的二维图像。下图是中科慧眼双目方案对实际场景信息采集与计算得到的距离的对应关系,不同饱和度颜色代表不同距离,从暖色调至冷色调为距离由近及远。在计算过程中,需要对噪点与空洞做很好的抑制。从右图可以看出,色调(距离)是平滑过渡,没有跳变。

△中科慧眼距离计算获得的二维图像

一些FPGA方案中有很多噪点与空洞,对后续计算不利,存在安全风险。对于小障碍物的识别,既要做到没有杂点和空洞,又要表现细节。否则比如一条横着的栏杆无法识别,会增加驾驶的风险。下面的图表现的是小物体和行人的探测上中科慧眼双目方案与国际上其他算法的对比。

△Our为中科慧眼算法小障碍物的双目配准效果,其它为国际流行传统方法的处理效果


小结

因为检测原理上的差异,双目摄像头在距离测算上相比单目有自己的特点,其硬件成本和计算量级的加倍,是难关也是突破口。就像谷歌自动驾驶汽车不断积累大量的经验和使用数据,才可能一步步积累实现自动驾驶。中科慧眼的双目产品目前完成了样机,也正在进行大规模路测。从产品理论技术原型走到真正被用户接受的产品,还有很长的路要走。


关键字:视觉方案  ADAS  单目  双目 引用地址:视觉方案做ADAS,单目和双目到底有什么差别?

上一篇:记住这5点 秒变电动汽车安全专家
下一篇:车用以太网或将成实现ADAS及自动驾驶关键

推荐阅读最新更新时间:2024-11-12 10:06

汽车图像传感器的应用
近年来,在政府对汽车安全法令的贯彻和实施、消费者驾乘体验及自动驾驶的趋势推动下,汽车图像传感器领域呈爆发式增长。汽车图像传感有着广泛的应用领域,具有卓越性能和先进的图像处理能力的图像传感器在提高行车安全的同时还提升用户驾乘体验,成为近年来汽车领域的炙手可热的技术。预测显示,2014-2018年间汽车CMOS传感器市场的收入年复合增长率(CAGR)将达到28%。下面就随汽车电子小编一起来了解一下相关内容吧。 汽车图像传感器主要应用领域 汽车图像传感器的应用非常广泛,包括用于视觉应用如倒车影像、前视、后视、俯视、全景泊车影像、车镜取代,用于车舱内如乘客监控、疲劳驾驶监测、仪表盘控制、行车记录仪(DVR)、气囊,用于先进驾驶辅助系统
[汽车电子]
汽车图像传感器的应用
加特兰发布国内首款77GHz CMOS雷达芯片,量产产品预计2018年问世
昨天,在IC CHINA 2017上,国内雷达芯片供应商加特兰微电子正式发布用于车载毫米波雷达的77GHz CMOS芯片。根据加特兰CEO陈嘉澍的介绍,这是国内第一款采用CMOS工艺的车载毫米波雷达芯片。目前芯片已经开始小批量提供给雷达厂商进行装车测试,预计使用该款芯片的毫米波雷达将在2018年开始搭载在量产车型上。 Yosemite系列CMOS芯片 这款芯片被加特兰命名为Yosemite,分为2发4收和4发8收两个型号。前者可用于短距离和中距离雷达,后者适用于高精度的中距离与长距离雷达。雷达收发芯片上收发通道的增加有助于增加雷达的分辨率,能够更好地应用在有高精度需求的场景。 业内车载毫米波雷达芯片大多使用的是SiGe工艺,相
[汽车电子]
自动驾驶领域中国前景可期,大陆集团将加大在华投入
“我相信,在今后几年间,中国不仅将会是传统ADAS市场,更将是自动驾驶领域的领头羊。在一些新概念的技术中,包括在物流、运输领域,我认为中国都将是颠覆者和弄潮儿”。4月19日上海车展开幕当日, 大陆 集团ADAS事业部全球负责人Frank Petznick在接受盖世汽车采访时如是说。 大陆集团ADAS事业部全球负责人Frank Petznick(图片来源:大陆集团) 时值2021年,我国全面启动“十四五”规划。其中针对智能汽车的发展方向,中国多部委于去年联合印发《智能汽车创新发展战略》中,明确提出在2025年实现有条件自动驾驶的智能汽车达到规模化生产,实现高度自动驾驶的智能汽车在特定环境下市场化应用。显然,汽车交通领域智能
[汽车电子]
自动驾驶领域中国前景可期,大陆集团将加大在华投入
ADAS最全功能介绍
从功能上分类,可以分为: 1.主动控制类ADAS:ACC/AEB/LKS等 2.预警类ADAS:FCW/LDW/PCW等 3.其他辅助性ADAS:BSD/ADB/全景泊车等 我们来逐一看一下每项功能是如何实现的。 1: 自适应巡航控制系统 Adaptive Cruise Control(ACC) 自适应巡航控制系统是一种智能化的自动控制系统,它是在早已存在的巡航控制技术的基础上发展而来的。在车辆行驶过程中,安装在车辆前部的车距传感器(雷达)持续扫描车辆前方道路,同时轮速传感器采集车速信号。当与前车之间的距离过小时,ACC 控制单元可以通过与制动防抱死系统、发动机控制系统协调动作,使车轮适当制动,并使发动机的输出功率下降,以
[嵌入式]
<font color='red'>ADAS</font>最全功能介绍
自动驾驶后装市场竞赛升级,半导体厂商机会大
虽然在技术、基础设施建设、法律监管与保险等方面需要完善的地方还很多,但自动驾驶技术已呈星火燎原之势。而且自动驾驶并非汽车厂商专属,现在瞄准后装市场(存量车)的自动驾驶生态圈已渐成型。   在宾夕法尼亚州的匹兹堡,Uber(优步)将无人驾驶汽车投入运营,车上有一名司机以应对紧急情况。不少汽车行业人士认为,无人驾驶技术的首次突破性进展将出现在共享出行领域,Uber和Lyft(Lyft在2016年1月刚接受了通用汽车5亿美元的投资)就是种子选手。     其他的选手包括: 百度和Nvidia宣布共同开发用于自动驾驶的人工智能平台 源于麻省理工学院的初创公司nuTonomy正在新加坡进行无人驾驶出租车路测
[嵌入式]
汽车电子连环话 | 漫谈汽车自动转向ACSF功能
如下所示,目前汽车智能和自动化的发展,从法规也是从量产车叠加更多的低阶 ADAS 功能,研究和运营车辆走ITS和AD的路线,两者互为拖动,将汽车慢慢从机械传动占大头,往电子电气化渗透率更高的部分转换。   在WP29的法规体系下:   1)ITS/AD主要推进高阶的自动驾驶   2)GRRF主要覆盖以下的一些工作组:     【Going】Automatically Commanded Steering Function (ACSF)     【告一段落】Automatic Emergency Braking and Lane Departure Warning Systems (AEBS/LDW
[嵌入式]
AD/ADAS的性能概览:在AD/ADAS的开发与验证中“大海捞针”!
如果您希望从数百万小时的驾驶数据中查找特定的相关驾驶事件和未遂事故,以确保您的所需功能正确运行,最好的方法就是创建一个系统性能的概览分析,实现在数据日志中快速检索关注点。为此,康谋在本文将为您详细介绍IVEX的智能概览功能,助力AD/ADAS的开发与验证! 一、AD/ADAS性能概览的重要性 为了开发、演进、测试和验证自动驾驶(AD)功能或自动驾驶辅助系统(ADAS),各大企业都在生成数千小时的包含仿真或真实世界的驾驶数据日志。那么,如何才能知道自身的AD/ADAS系统是否始终按要求运行?是否朝着更好的表现发展? 对“脱离”AD/ADAS模式的情况进行分析是一种常见的方法。这有助于了解系统失败的“原因”,而后可对表现不佳的
[嵌入式]
AD/<font color='red'>ADAS</font>的性能概览:在AD/<font color='red'>ADAS</font>的开发与验证中“大海捞针”!
汽车ADAS系统潮流来临,内存芯片厂商都有啥应对法则?
车内信息娱乐系统(IVI)越来越普及,先进驾驶辅助系统( ADAS )、 无人驾驶 技术亦逐渐成熟,车载系统突飞猛进造就日益庞大的数据处理需求,所需 内存 容量、输出/入带宽不得不随之升级。 不仅如此,车用储存组件相较3C电子等一般应用,更须考虑车辆要求之极高可靠性、安全性,进一步纳入完善的硬/韧体除错与实时反馈等相应机制。 内存控制芯片主力供货商慧荣(SMI)产品企划部项目经理胡文基表示,从早期所用之SD卡、光罩式ROM、PATA/SATA硬盘等演进至今,目前车载系统是以16G起跳之内嵌式多媒体记忆卡(eMMC),以及固态硬盘(SSD)为主流储存媒体,前者主要存放启动扇区、操作系统,并用做部分低阶车种之数据储存;后者则多为储存影
[嵌入式]
小广播
最新嵌入式文章
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

换一换 更多 相关热搜器件
随便看看

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved