3D摄像机助力，自动驾驶还会远吗

为了实现自动驾驶，车内及车外正在发生的所有状况，均应搜集一切相关资讯。除了监控驾驶的状态，掌握车内的3D资料，亦能促成全新的人机介面(HMI)概念顺利落实。在先进驾驶辅助系统中，以及研发自动驾驶车的过程里，包括驾驶专注度和车内状况等精密准确的即时资讯，都是必备的条件。

 
3D摄影机助力　车内外资讯一眼看穿 

透过精密的3D摄影机，车辆得以捕捉驾驶的动作，并将资讯传送至先进驾驶辅助系统(ADAS)。假如驾驶闭上了眼睛或未正视前方，系统就会触发警报。万一驾驶未能即时反应，系统甚至能启动紧急刹车辅助。此外，3D摄影机的晶片，还能提供直接测量的深度资料，而不用先以角度资讯进行计算，像是立体摄影机即需要进行这一类的计算，必须仰赖大量的运算输入。以英飞凌为例，该公司REAL3影像感测器，只需精巧的安装空间，便能实现3D视野系统，且室内和户外环境皆适用。 

市面上已出现许多撷取3D资讯的技术，举立体视觉(Stereo Vision)为例，此系统用两部2D摄影机从不同的角度拍摄景物，并计算其距离(深度)。这种方法的优点是，只须使用低成本的标准影像感测器就能实现，但也须要进行硬体上的调整和校正，相当耗时。此外还必须配合极为复杂且需要大量运算的演算法。最后一点，这种方法在亮度不佳且光线不断变动的条件下，发挥有限。 

另一种3D技术则使用结构光，也就是将已知的图案投射于景物，然后再从计算图案的分布中求得深度。这种方法在多路径干扰的情况下具有优势，但却需要高科技摄影机，还需要有特殊的主动照明，镜头和图案投影机之间也需要准确稳定的机械调整。因此需要大量输入用于校正。此外，反射的图案对于光干扰和材质极为敏感。 

实现精确影像撷取　ToF感测器不可缺 

采用时差测距(ToF)成像的影像感测器，像是英飞凌所推出的REAL3影像感测器(图1)，即让体积小巧、精准且具备多功能的3D影像撷取解决方案得以成真。这些感测器可测量调变光源和反射之间的相位移，再将其转换为距离资讯。运用相应的ToF摄影机，主动将可调变振幅的红外线照射在景物上，再利用摄影机和/或影像感测器对光线投射到物体接着反射两者之间的时间差作计算，测量每一像素的相位移。如此摄影机即能求得所描绘物体每一像素的深度和振福。ToF方法的优点还包括了摄影机体积轻巧、在任何光线条件下均可运作，且容易校正。 

图1　REAL3影像感测器示意图

ToF技术具备了出色的延展跟缩放能力，也就是说，从最近的几公分到最远20公尺以上，都在摄影机的对焦范围内，只要具备高功率照明就行。个别距离的标准深度解析度为1%，测量解析度目前最高可达352×288像素，摄影机每秒可捕捉一百张影像。ToF摄影机通常包含下列元件：照明单元、光学系统、感测器、控制电子和评估级(图1)。

照明单元可能采用LED或雷射二极体，以足够的速率(如LED最高达30MHz)加以调变，让感测器得以准确测量时差。照明单元大多在近距红外线范围内照射，因此能将摄影机环境的任何干扰减至最少。光学系统(镜头)可收集从环境里反射的光线，然后将景物映射在感测器上。带通滤光片只会允许照明单元可用的波长通过，这有助于减少大部分的背景光干扰。 

ToF摄影机的核心为3D影像感测器(图2)，可测量每一像素的深度及振幅值。照明单元和感测器都必须透过精密的电子系统加以控制，以达到最高的精准度，而这些电子系统都已整合于REAL3影像感测器。实现高效能的影像辨识，除了针对特殊应用最佳化的摄影机系统，还需要对应的运算单元来处理资料，乃至于用于处理3D资料(如手势辨识)的软体(中介软体)。虽然多数的背景光已透过光学滤光片加以抑制，但像素仍有很大的深度动态范围须要处理。因此制造商针对感测器提出了各种不同的策略，有效抑制大部分的背景讯号。 

图2　3D影像感测器为ToF摄影机核心，可实现高效能的影像辨识。

高整合度设计强化3D ToF影像感测器效用
英飞凌与来自德国席根的Pmdtechnologies公司合作，开发出高效能且高整合度的3D ToF摄影机晶片。Pmdtechnologies为此晶片系列作出的最大贡献是ToF像素矩阵，其具备专利的背景光抑制(SBI)功能。SBI可延伸感测器晶片的动态功能，避免了强光下的过度饱和，例如于户外阳光直射下运作等情况。

整合SBI电路的感测器可搭配高亮度日光照度，达到150klx采用对应摄影机设计的系统运作。3D影像感测器结合了高效能的ToF像素矩阵、最佳化经过量产考验的CMOS制造技术，还有系统单晶片(SoC)整合，将感光区与混合讯号电路整合至单一晶片。

REAL3影像感测器具备目前最高的整合度，加入以下多项功能：感光像素阵列、智慧控制逻辑、A/D转换器、像素矩阵调变、自主式阶段序列，以及数位输出介面。

产品的高整合度，造就出众多优点。最佳化的CMOS技术，使其在红外线范围内拥有高灵敏度。专利的SBI电路使每一像素在各种光源条件下均能可靠运作，无论是在明亮的日照下或黑暗中，亦或在建筑或车辆内外。透过每一个像素直接测量深度和振幅，省去了大量的计算作业。

ToF单晶片具备标准的摄影机介面，容易整合。采用单眼摄影机系统架构，因此不需要考量机械基准，照明单元的摆放位置不受感测器的影响，甚至不需要任何的机械调整或角度修正，同时也不须要针对震动或热影响重新校正。

REAL3影像感测器可在1ms至4ms的时间内快速读出资料，并支援100fps(每秒画格数)以上的画格率。此影像感测器还可透过I2C介面动态设定，因此可随着相位测量的次数及运作时的曝光时间来调整画格率，针对光线和运作条件将各种功能最佳化，同时将耗电量降至最低。此外，智慧型的电源管理系统亦可确保降低耗电量。英飞凌的合作夥伴Pmdtechnologies公司，亦开发出可在制程末端快速可靠校正影像感测器的方法。这种一次性的校正方法，每部ToF摄影机只耗费不到10秒，为量产时的关键需求。

提升汽车安全　3D影像感测器少不了

此REAL3影像感测器，可用以生产体积迷你、高精准度的单眼3D摄影机系统。这一类的系统可应用在需要手势辨识的电脑、家电装置，当然也包括工业用HMI和创新的汽车应用。将3D影像感测器运用到车辆，大幅提升了驾驶的安全性和便利性。为了实现自动驾驶，进而提升安全性，必须针对车内及车外正在发生的所有状况，掌握一切相关资讯。除了先前提到的驾驶状态监控，撷取车内的3D资料，也能实现崭新且干扰更少的HMI概念。

例如，3D摄影机可用于判断驾驶头部的确切位置。取得这项资讯后，就能调整出最佳的抬头显示器视线，或在不考量头部位置下，以拟真且流畅的方式在实际环境中投影扩增实境应用。亦支援免触控以手势控制资讯娱乐、导航和HVAC系统。

此外，还能对乘客进行分类，以套用预设对应的偏好设定，例如座椅的位置、照后镜的调整、安全气囊的触发力道等。小巧且高效能的3D摄影机同时也是极为关键的元件，可用于提供停车辅助的全方位视线，用于侦测障碍物，或是用于自动驾驶的其他一般工作上。REAL3影像感测器能够运用于车辆的重要条件，包括其对环境影响的高耐受力、轻巧的尺寸、低设计复杂度，还有高阶且可动态设定的扩充能力。再加上，相较于其他3D技术，这种影像感测器需要的运算输入较少，因此占用的CPU效能也较少。

因应自动驾驶设计　3D影像感测器商用日益普及

REAL3影像感测器系列目前包含两个系列：侧向解析度160×120画素(QQVGA)的IRS1010C，和352×288画素(CIF)的IRS1020C，使用的画素数量可透过软体自由选择。适用于消费者电子市场的晶片，已采裸晶方式大量供应。除消费者应用版本之外，目前也正在开发采用汽车市场适用的BGA封装的影像感测器世代。此封装符合AEC-Q100标准，尺寸为10公厘×10公厘，系针对 -40℃∼105℃的环境温度所设计。

除了3D感测器晶片，最新的CamBoard pico flexx(图3)亦开始提供3D摄影机的参考设计。由Pmdtechnologies所开发224×172画素解析度的摄影机系透过USB2.0连接埠供电，并以英飞凌最新推出的3D影像感测器晶片为基础，尺寸仅68公厘×17公厘×7.25公厘，为目前市面上最小巧的深度感测器摄影机。CamBoard pico flexx使用红外线雷射作为照明单元，可弹性使用各种画格率，最远距离达到4公尺，而且3D影像感测器和照明单元的平均耗电量仅300mW。

图3　CamBoard pico flexx使用红外线雷射作为照明单元，提供3D摄影机另种参考设计。

Kostal公司也利用REAL3影像感测器为基础，开发出可用于监控驾驶状态的3D摄影机(图4)，该产品不只整合影像处理，更达到量产品质的原型。摄影机可透过四十九个参考点，稳定可靠地捕捉驾驶的脸部轮廓，即使照明条件不断变动也不影响。搭配3D深度资料使用，甚至可用来侦测头部位置(x、y和z方向)、头部方向(偏摆、俯仰和翻滚角度)和眼皮的闭合。此摄影机支援352×288画素(CIF)解析度、高达50fps的画格率，可扫描最远1.5公尺的物体，深度解析度高达1公分。Kostal在第66届国际汽车展(IAA)上展出其智慧型ToF摄影机。

图4　运用REAL3影像感测器为基础，所开发出之3D摄影机可用于监控驾驶状态。

英飞凌3D影像感测器目前已可运用在各式各样的应用之中，除了最早用于消费者应用的版本，日后也将推出用于工业及汽车电子的版本。举例来说，对应的REAL3影像感测器已用裸晶的方式运用到Google ATAP Project Tango之中。Tango 专案包含具备额外感测器和摄影机的智慧型手机与平板电脑，可用3D扫描环境，以运用在像是室内导航和扩增实境等应用。