3D摄像机助力,自动驾驶还会远吗

发布者:Yuexiang666最新更新时间:2016-09-08 来源: eefocus关键字:3D影像传感器  自动驾驶  英飞凌 手机看文章 扫描二维码
随时随地手机看文章
为迎接自动驾驶时代的来临,半导体业者无不加紧研发自动驾驶辅助系统(ADAS)与车对各种物件(V2X)通讯等新技术;而3D摄影机有助于提供驾驶人更完整的汽车四周即时影像讯息,增进汽车影像应用效能,并促成全新人机介面应用,已成实现自动驾驶关键元件之一。

 

为了实现自动驾驶,车内及车外正在发生的所有状况,均应搜集一切相关资讯。除了监控驾驶的状态,掌握车内的3D资料,亦能促成全新的人机介面(HMI)概念顺利落实。在先进驾驶辅助系统中,以及研发自动驾驶车的过程里,包括驾驶专注度和车内状况等精密准确的即时资讯,都是必备的条件。

 
3D摄影机助力 车内外资讯一眼看穿 

透过精密的3D摄影机,车辆得以捕捉驾驶的动作,并将资讯传送至先进驾驶辅助系统(ADAS)。假如驾驶闭上了眼睛或未正视前方,系统就会触发警报。万一驾驶未能即时反应,系统甚至能启动紧急刹车辅助。此外,3D摄影机的晶片,还能提供直接测量的深度资料,而不用先以角度资讯进行计算,像是立体摄影机即需要进行这一类的计算,必须仰赖大量的运算输入。以英飞凌为例,该公司REAL3影像感测器,只需精巧的安装空间,便能实现3D视野系统,且室内和户外环境皆适用。 

 

市面上已出现许多撷取3D资讯的技术,举立体视觉(Stereo Vision)为例,此系统用两部2D摄影机从不同的角度拍摄景物,并计算其距离(深度)。这种方法的优点是,只须使用低成本的标准影像感测器就能实现,但也须要进行硬体上的调整和校正,相当耗时。此外还必须配合极为复杂且需要大量运算的演算法。最后一点,这种方法在亮度不佳且光线不断变动的条件下,发挥有限。 

 

另一种3D技术则使用结构光,也就是将已知的图案投射于景物,然后再从计算图案的分布中求得深度。这种方法在多路径干扰的情况下具有优势,但却需要高科技摄影机,还需要有特殊的主动照明,镜头和图案投影机之间也需要准确稳定的机械调整。因此需要大量输入用于校正。此外,反射的图案对于光干扰和材质极为敏感。 

 

实现精确影像撷取 ToF感测器不可缺 

采用时差测距(ToF)成像的影像感测器,像是英飞凌所推出的REAL3影像感测器(图1),即让体积小巧、精准且具备多功能的3D影像撷取解决方案得以成真。这些感测器可测量调变光源和反射之间的相位移,再将其转换为距离资讯。运用相应的ToF摄影机,主动将可调变振幅的红外线照射在景物上,再利用摄影机和/或影像感测器对光线投射到物体接着反射两者之间的时间差作计算,测量每一像素的相位移。如此摄影机即能求得所描绘物体每一像素的深度和振福。ToF方法的优点还包括了摄影机体积轻巧、在任何光线条件下均可运作,且容易校正。 

 

图1 REAL3影像感测器示意图

 

ToF技术具备了出色的延展跟缩放能力,也就是说,从最近的几公分到最远20公尺以上,都在摄影机的对焦范围内,只要具备高功率照明就行。个别距离的标准深度解析度为1%,测量解析度目前最高可达352×288像素,摄影机每秒可捕捉一百张影像。ToF摄影机通常包含下列元件:照明单元、光学系统、感测器、控制电子和评估级(图1)。

 

照明单元可能采用LED或雷射二极体,以足够的速率(如LED最高达30MHz)加以调变,让感测器得以准确测量时差。照明单元大多在近距红外线范围内照射,因此能将摄影机环境的任何干扰减至最少。光学系统(镜头)可收集从环境里反射的光线,然后将景物映射在感测器上。带通滤光片只会允许照明单元可用的波长通过,这有助于减少大部分的背景光干扰。 

 

ToF摄影机的核心为3D影像感测器(图2),可测量每一像素的深度及振幅值。照明单元和感测器都必须透过精密的电子系统加以控制,以达到最高的精准度,而这些电子系统都已整合于REAL3影像感测器。实现高效能的影像辨识,除了针对特殊应用最佳化的摄影机系统,还需要对应的运算单元来处理资料,乃至于用于处理3D资料(如手势辨识)的软体(中介软体)。虽然多数的背景光已透过光学滤光片加以抑制,但像素仍有很大的深度动态范围须要处理。因此制造商针对感测器提出了各种不同的策略,有效抑制大部分的背景讯号。 

 

图2 3D影像感测器为ToF摄影机核心,可实现高效能的影像辨识。

 

高整合度设计强化3D ToF影像感测器效用
英飞凌与来自德国席根的Pmdtechnologies公司合作,开发出高效能且高整合度的3D ToF摄影机晶片。Pmdtechnologies为此晶片系列作出的最大贡献是ToF像素矩阵,其具备专利的背景光抑制(SBI)功能。SBI可延伸感测器晶片的动态功能,避免了强光下的过度饱和,例如于户外阳光直射下运作等情况。

 

整合SBI电路的感测器可搭配高亮度日光照度,达到150klx采用对应摄影机设计的系统运作。3D影像感测器结合了高效能的ToF像素矩阵、最佳化经过量产考验的CMOS制造技术,还有系统单晶片(SoC)整合,将感光区与混合讯号电路整合至单一晶片。

 

REAL3影像感测器具备目前最高的整合度,加入以下多项功能:感光像素阵列、智慧控制逻辑、A/D转换器、像素矩阵调变、自主式阶段序列,以及数位输出介面。

 

产品的高整合度,造就出众多优点。最佳化的CMOS技术,使其在红外线范围内拥有高灵敏度。专利的SBI电路使每一像素在各种光源条件下均能可靠运作,无论是在明亮的日照下或黑暗中,亦或在建筑或车辆内外。透过每一个像素直接测量深度和振幅,省去了大量的计算作业。

 

ToF单晶片具备标准的摄影机介面,容易整合。采用单眼摄影机系统架构,因此不需要考量机械基准,照明单元的摆放位置不受感测器的影响,甚至不需要任何的机械调整或角度修正,同时也不须要针对震动或热影响重新校正。

 

REAL3影像感测器可在1ms至4ms的时间内快速读出资料,并支援100fps(每秒画格数)以上的画格率。此影像感测器还可透过I2C介面动态设定,因此可随着相位测量的次数及运作时的曝光时间来调整画格率,针对光线和运作条件将各种功能最佳化,同时将耗电量降至最低。此外,智慧型的电源管理系统亦可确保降低耗电量。英飞凌的合作夥伴Pmdtechnologies公司,亦开发出可在制程末端快速可靠校正影像感测器的方法。这种一次性的校正方法,每部ToF摄影机只耗费不到10秒,为量产时的关键需求。

 

提升汽车安全 3D影像感测器少不了

此REAL3影像感测器,可用以生产体积迷你、高精准度的单眼3D摄影机系统。这一类的系统可应用在需要手势辨识的电脑、家电装置,当然也包括工业用HMI和创新的汽车应用。将3D影像感测器运用到车辆,大幅提升了驾驶的安全性和便利性。为了实现自动驾驶,进而提升安全性,必须针对车内及车外正在发生的所有状况,掌握一切相关资讯。除了先前提到的驾驶状态监控,撷取车内的3D资料,也能实现崭新且干扰更少的HMI概念。

 

例如,3D摄影机可用于判断驾驶头部的确切位置。取得这项资讯后,就能调整出最佳的抬头显示器视线,或在不考量头部位置下,以拟真且流畅的方式在实际环境中投影扩增实境应用。亦支援免触控以手势控制资讯娱乐、导航和HVAC系统。

 

此外,还能对乘客进行分类,以套用预设对应的偏好设定,例如座椅的位置、照后镜的调整、安全气囊的触发力道等。小巧且高效能的3D摄影机同时也是极为关键的元件,可用于提供停车辅助的全方位视线,用于侦测障碍物,或是用于自动驾驶的其他一般工作上。REAL3影像感测器能够运用于车辆的重要条件,包括其对环境影响的高耐受力、轻巧的尺寸、低设计复杂度,还有高阶且可动态设定的扩充能力。再加上,相较于其他3D技术,这种影像感测器需要的运算输入较少,因此占用的CPU效能也较少。

 

因应自动驾驶设计 3D影像感测器商用日益普及

REAL3影像感测器系列目前包含两个系列:侧向解析度160×120画素(QQVGA)的IRS1010C,和352×288画素(CIF)的IRS1020C,使用的画素数量可透过软体自由选择。适用于消费者电子市场的晶片,已采裸晶方式大量供应。除消费者应用版本之外,目前也正在开发采用汽车市场适用的BGA封装的影像感测器世代。此封装符合AEC-Q100标准,尺寸为10公厘×10公厘,系针对 -40℃∼105℃的环境温度所设计。

 

除了3D感测器晶片,最新的CamBoard pico flexx(图3)亦开始提供3D摄影机的参考设计。由Pmdtechnologies所开发224×172画素解析度的摄影机系透过USB2.0连接埠供电,并以英飞凌最新推出的3D影像感测器晶片为基础,尺寸仅68公厘×17公厘×7.25公厘,为目前市面上最小巧的深度感测器摄影机。CamBoard pico flexx使用红外线雷射作为照明单元,可弹性使用各种画格率,最远距离达到4公尺,而且3D影像感测器和照明单元的平均耗电量仅300mW。

 

图3 CamBoard pico flexx使用红外线雷射作为照明单元,提供3D摄影机另种参考设计。

 

Kostal公司也利用REAL3影像感测器为基础,开发出可用于监控驾驶状态的3D摄影机(图4),该产品不只整合影像处理,更达到量产品质的原型。摄影机可透过四十九个参考点,稳定可靠地捕捉驾驶的脸部轮廓,即使照明条件不断变动也不影响。搭配3D深度资料使用,甚至可用来侦测头部位置(x、y和z方向)、头部方向(偏摆、俯仰和翻滚角度)和眼皮的闭合。此摄影机支援352×288画素(CIF)解析度、高达50fps的画格率,可扫描最远1.5公尺的物体,深度解析度高达1公分。Kostal在第66届国际汽车展(IAA)上展出其智慧型ToF摄影机。

 

图4 运用REAL3影像感测器为基础,所开发出之3D摄影机可用于监控驾驶状态。

 

英飞凌3D影像感测器目前已可运用在各式各样的应用之中,除了最早用于消费者应用的版本,日后也将推出用于工业及汽车电子的版本。举例来说,对应的REAL3影像感测器已用裸晶的方式运用到Google ATAP Project Tango之中。Tango 专案包含具备额外感测器和摄影机的智慧型手机与平板电脑,可用3D扫描环境,以运用在像是室内导航和扩增实境等应用。

关键字:3D影像传感器  自动驾驶  英飞凌 引用地址:3D摄像机助力,自动驾驶还会远吗

上一篇:汽车电子连环话 | 自动变道非儿戏,限制条件要谨记
下一篇:汽车电子连环话 | 漫谈汽车自动转向ACSF功能

推荐阅读最新更新时间:2024-05-03 00:38

AEIA自动驾驶处理器专委会成立,芯片迎接新摩尔定律时代
近日,“ADAS与自动驾驶处理器大会”在广州举行。来自政府、高校、整车企业、供应商、半导体企业的代表共同探讨了车载AI处理器和计算平台的的开放生态和中国方案。这是国内第一次围绕车载AI处理器专门组织的行业会议。 地平线创始人兼CEO余凯在会中提到: 全球芯片行业正在迎接新摩尔定律时代,而越来越多的事实正在证实——软硬结合势必将是未来的行业发展趋势 。 同时,在汽车电子产业联盟指导下,地平线牵头、黑芝麻科技、中兴汽车等机构共同发起成立汽车电子产业联盟(AEIA)自动驾驶处理器专委会。 据悉,该专委会将联合自动驾驶领域产业链上下游企业,包括车企、一级供应商、传感器企业等,配合中国汽车电子产业生态联盟,组织开展基于国产自动驾驶处理器
[汽车电子]
4D成像雷达,Arbe树立自动驾驶行业新标杆
对于毫米波雷达,确切说是4D成像毫米波雷达,2021年注定是极不寻常的一年。在汽车行业“新四化”变革大潮中,各路主机厂的纷纷加持正将4D成像技术推上风口,其大规模商用已渐行渐近。 毫米波雷达人们并不陌生,4D成像则不然,在自动驾驶使用的众多传感器中,其技术有何优势?能扮演何等角色?谁在引领技术发展?又将如何商用落地? 当下,汽车雷达已应用于 ACC 和 AEB,但它们还不足以提供最佳性能,亦无法满足 L2+/L3/L4 级别自动驾驶应用所需的功能。Arbe 成像技术为自动驾驶系统提供了所需的洞察力,让 4D 成像雷达成为骨干传感器套件。Arbe 独特且具有颠覆性的雷达技术让 4D 成像功能应用于自动驾驶系统中,在极具挑战性
[汽车电子]
4D成像雷达,Arbe树立<font color='red'>自动驾驶</font>行业新标杆
苹果获54项专利 涵盖自动驾驶汽车导航系统
据外媒报道,美国专利商标局(U.S. Patent and Trademark Office)日前授予了苹果公司54项新专利,其中两项与自动驾驶汽车导航相关,属于泰坦项目(Project Titan)。 泰坦项目概念图 图片来源:patentlyapple.com 自动驾驶导航系统 其中,第一个名为“自动驾驶导航系统”。苹果的发明涵盖一种配有自动导航驾驶路线的车辆,且该车辆搭载了传感器设备,即具备基于沿行驶路线导航的车辆行驶路线的监控特性,以及搭载了与传感器配合的自动驾驶导航系统,从而基于监测车辆沿行驶路线的连续手动导航,以对行驶路线的虚拟特征进行一系列更新;基于监测对虚拟表征的连续更新,将置信度指示器与虚拟表征
[汽车电子]
苹果获54项专利 涵盖<font color='red'>自动驾驶</font>汽车导航系统
英飞凌、三菱、富士占据大市场,我国大功率半导体急需突破
  支持我国自主大功率半导体产业加快发展,给予国产品牌更多市场推广和应用机会。下面就随嵌入式小编一起来了解一下相关内容吧。   大功率半导体主要包括IGBT(绝缘栅双极型晶体管)、双极器件、宽禁带器件等产品,主要应用于新能源汽车、轨道交通、智能电网、新能源发电、舰船驱动、重型工业设备等多个涉及国计民生的领域。随着世界各国对节能减排、智能制造、国防军工优化升级等的迫切需求,大功率半导体器件将成为以上诸多领域发展的核心之一,并将影响国民经济的发展质量和安全。   当前,我国大功率半导体市场主要被 英飞凌 、 三菱 、富士等外国公司占据,这严重制约了核心国产技术的发展。   全国人大代表周清和建议,国家有关部门在重大工程招标中加大对自
[嵌入式]
由MCU走向SoC,汽车芯片转战下一代ADAS和自动驾驶
定义一辆现代化汽车的不再只有外形、舒适度与行驶性能,还有汽车的智能化。从车载信息娱乐系统(IVI)到ADAS,这些都离不开车载芯片的功劳。过去汽车内部的控制系统相互孤立,如今在各大系统逐渐整合的趋势下,汽车芯片也慢慢由 MCU 转向SoC。 据统计机构的研究报告指出,2018年全球汽车SoC的总市值达129.315亿美元,预计在2019到2028年的周期内,其市值还将以8%的年复合增长率大幅上升。其中以增强型IVI的需求仍在不断增长,而终端用户中,对驾驶辅助以及安全意识的提高,将成为ADAS应用SoC增长的关键要素之一。出于同样的原因,专注于消费芯片的厂商,也开始在汽车芯片领域布局。 由于疫情影响了一定的汽车出货量,但从已经回
[汽车电子]
由MCU走向SoC,汽车芯片转战下一代ADAS和<font color='red'>自动驾驶</font>
自动驾驶系统的三大汽车传感器趋势
传感器在高级驾驶辅助系统(ADAS)和自动驾驶系统(AD)中已经非常普遍,它主要用来提高乘客和司机的安全性。 如今,摄像头(Camera)、雷达(Radar)和激光雷达(LiDAR)的组合,被用来扫描车辆环境、实时处理数据,这种方案可以比人类司机.有更快、更准确地反应。 为了客观了解当前汽车摄像头、雷达和LiDAR的市场趋势,EE Times Europe咨询了Yole Intelligence(隶属于YoleGroup)光电和传感部门的高级技术和市场分析师Pierrick Boulay,该部门首席分析师Pierre Cam-bou也分享了部分观点。
[汽车电子]
<font color='red'>自动驾驶</font>系统的三大汽车<font color='red'>传感器</font>趋势
大联大品佳集团推出基于Infineon产品的140W电源适配器方案
2023年9月7日,致力于亚太地区市场的国际领先半导体元器件分销商-- -大联大控股宣布,其旗下品佳推出基于英飞凌(Infineon)XDPS2221芯片的140W电源适配器方案。 图示1-大联大品佳基于Infineon产品的140W电源适配器方案的展示板图 自USB PD3.1规范推出以来,PD充电器的市场容量便大大增加。该规范新增28V、36V、48V三种拓展输出电压,并将最大输出功率由100W提升至240W。这意味着原本适用于手机、平板电脑等电子产品的USB PD充电器,也可在电动工具或两轮电动车中使用。为了加速USB PD3.1规格普及,大联大品佳基于Infineon XDPS2221芯片推出140W电源适配器
[电源管理]
大联大品佳集团推出基于<font color='red'>Infineon</font>产品的140W电源适配器方案
浅析自动驾驶—自动泊车
下班驾车回到小区停车场,在密密麻麻的停泊车辆中忽然发现了一个停车位,带着惊奇与庆幸,你将汽车开到停车位旁。但在这时你却忽然发现,旁边两个汽车停得与空置的车位靠较近,凭借你一(la)流(ji)的车技,根本无法将汽车停进去,只能眼看车位空瞪眼,只悔科二忘天边。 汽车的出现,满足了人们的出行需求,但现阶段,汽车的行驶永远离不开驾驶员对汽车的操作,到达目的地后,停车成为每个驾驶员需要面对的问题。无论是侧方位停车,还是倒车入库,都是需要每个驾驶员熟练掌握的技巧,而实际情况却远不是想象的那么美好,“停车”这一简单操作,却成为了很多驾驶员的难题。 随着高级辅助驾驶系统的出现,汽车的驾驶体验越发丰富,驾驶员在驾驶汽车的过程中也越来
[汽车电子]
浅析<font color='red'>自动驾驶</font>—自动泊车
小广播
热门活动
换一批
更多
最新嵌入式文章
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

更多精选电路图
换一换 更多 相关热搜器件
更多每日新闻
随便看看
电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved