ToF相机在DMS和Face ID领域可取代传统的2D相机

ToF相机在车内应用主要有三处，一是汽车B柱上的人脸识别或者说Face ID，二是汽车中控的手势识别Gesture，三是驾驶员状态监控DMS。未来可能再增加车内人员存在监测Occupant Detection。

图片来源：佐思汽研

2D平面相机主要做车内的DMS，典型代表是凯迪拉克CT6，2017年初研发，通用凡搭配Super Cruise都是此类设计，供应商为中国宁波均胜旗下的均胜安全系统，算法由澳大利亚上市公司SeeMachine提供，硬件为Xilinx的 Zynq-7000 FPGA。福特的Blue Cruise也是类似的设计，包括了F-150，MustangMach-E 和 Evos车型，算法由See Machine提供，硬件为Xilinx的 Zynq-7000 FPGA。宝马早期的DMS由安波福提供，算法是Smart Eye，核心芯片则是英伟达。英伟达的东西自然不便宜。不过自ix、i4开始，宝马转向ToF。

2D平面相机自然不能做Face ID和手势控制，从手机领域就能看出，没有人敢这样做，没有深度数据，2D平面相机很容易被欺骗。手势控制也自不必多言。在DMS领域，2D平面相机也面临诸多挑战，一是强光或快速光线变化，如阳光照射摄像头、林荫大道等场景，2D平面相机会致盲或者反应不过来。二是算法，深度学习模型越来越大，消耗的算法资源越来越多，意味着硬件处理器的成本越来越高。三是准确度，没有深度数据，或者用深度学习推测的深度数据不仅精度很低且耗费大量运算资源。2D平面相机通常只能计算眨眼次数，眼帘开合程度这种平面信息，对欧美人种，大眼还能凑合，亚洲人眼小，眯成一条缝很常见，准确度非常低，可能频繁误报，驾驶员一上车就会关掉DMS。眼球追踪，头部姿态算法是未来DMS的主流，用2D平面相机来做，准确度低且消耗运算资源多，成本高。

为了解决阳光问题，厂家们推出了NIR红外，940nm处的太阳光能量比850nm处的要少得多，因此将光路的工作波长改为940nm基本上消除了致盲问题。

图片来源：互联网

然而问题来了，CMOS图像传感器的量子效率在940nm远低于850nm，这意味着必须使用更强大的LED来照亮驾驶员的脸。由于距离很近，且是一直开启，这不像激光雷达，只会偶尔扫到，可能百分之一秒，这是一上车就开启的，很难做到人眼安全，驾驶员有失明的风险。所以只能降低功率，结果就是效果很差，准确度很低，尤其是夜间，最需要DMS的时候。

还有一个隐私问题，4月7日，工信部发布了《智能网联汽车生产企业及产品准入管理指南（试行）》（征求意见稿），对智能网联汽车网络安全提出了多项要求。《征求意见稿》显然针对未来车载数据隐私问题，提出了新的明确要求，“智能网联汽车生产企业应依法收集、使用和保护个人信息，实施数据分类分级管理，制定重要数据目录，不得泄露涉及国家安全的敏感信息。”2D平面相机无法根本上解决隐私问题。

还有一个小麻烦，2D平面摄像头都是在转向柱上的，这就意味着你要转向柱厂家与你配合，成本自然要增加了，小厂家估计就没有转向柱厂家为你订做此类产品。

结构光主要还是用在手机上，因为它距离有限，很难超过1米，车内应用几乎没见过。结构光要依赖光源投影的pattern。结构光最大的缺点是无法应对动态环境，也就是室外环境，光线环境的快速变化让结构光很容易受到干扰。其次是材料成本高，再次是响应速度慢，需要消耗比较多的运算资源。再次是尺寸大，无法做到水滴屏，必须是大刘海。理论上结构光可以缩小尺寸，但有效距离也会大幅度缩小，必须脸紧贴屏幕，显然这是不实用的。

立体双目在车内应用只有最新的奔驰S级，奔驰在立体双目领域耕耘超过25年，即便是在整个计算机视觉领域，奔驰都是立体双目技术的最顶尖公司。立体双目利用视差图提供深度信息，对光线变换敏感度降低，但仍有标定复杂，消耗运算资源多，成本高的缺点。也只有奔驰这种将立体双目烂熟于心的厂家才能玩得好。

ToF相机具备一切优势，包括阳光干扰、光线变化干扰、隐私、有效距离、深度精度、体积方面。dToF相机就是Flash激光雷达，iToF就是FMCW激光雷达。其物理重建3D过程包括点云数据生成和点云配准，点云数据生成主要是坐标变换，点云匹配最常见的是ICP算法（ICP算法由Besl and McKay 1992, Method for registration of 3-D shapes文章提出，该算法已经在PCL库中实现）。ICP算法本质上是基于最小二乘法的最优配准方法。通过选择对应两个点云的关系点，然后重复计算最优变换，直到满足正确配准条件。

3D人脸识别处理的是3D的数据，如点云、体素等，这些数据是完整的，立体的，准确度高，且无需深度学习的卷积加入，算法简洁可靠，鲁棒性高具备可解释性，消耗运算资源很少。中控CPU（如常见的高通665）的运算资源就足以覆盖，无需单独外加运算SoC，这是ToF相机最强大的地方。此外，因为测距精度高，FOV宽，能够监测大范围的头部运动，同时也更容易集成到车内后视镜，而不是集成到转向柱上。

那为什么很少听说ToF相机在车上的应用呢？原因有两点，一是B柱上的人脸识别Face ID刚刚出现，这个应用场合，非ToF相机莫属。众多新兴造车将在明年开始上这个功能，人脸车钥匙。二是，早期的ToF的光源也是近红外，近期才改用VCSEL，只有VCSEL才能发挥ToF的潜力。

图片来源：互联网

LED的功率密度低，脉冲速度低，效率低，波长稳定性低，用于消费类电子尚可。最大缺点是FOV窄，用于手持设备尚可，用于车内不行。

图片来源：互联网

不过VCSEL进步很快，ToF终修成正果。

ToF又可以分为iToF（间接飞行时间）和dToF（直接飞行时间）两类。dToF和iToF的原理区别主要在于发射和反射光的区别。dToF的原理比较直接，即直接发射一个光脉冲，之后测量反射光脉冲和发射光脉冲之间的时间间隔，就可以得到光的飞行时间。而iToF的原理则要复杂一些。在iToF中，发射的并非一个光脉冲，而是调制过的光。接收到的反射调制光和发射的调制光之间存在一个相位差，通过检测该相位差就能测量出飞行时间，从而估计出距离。iToF的最大问题就在于最大测距距离和测距精度之间的矛盾。举例来说，当调制频率为100MHz时，那么无论飞行时间是1ns还是11ns反应在调制相位差上都是36度，因此其最大测距距离就被调制周期所限制了；iToF有效距离通常不超过2米，但在车内应用足够了。另一个小缺点，iToF由于在检测相位差的时候使用了积分，所以环境光也会在积分过程中对于iToF电路造成干扰，因此iToF在明亮环境下的性能会受到影响。但仍比2D相机要好得多。iToF的测距精度也比dToF高，制造难度也比dToF低。

dToF 深度算法相对简单，但是因为要检测光脉冲信号（纳秒甚至皮秒级），对光的敏感度要求很高，因此接收端通常选择 SPAD即单光子阵列，早期SPAD成本高，良率低，像素低，目前随着松下、佳能、索尼和三星的大力研发，这些缺点都已不存在。当然同样成本下，iToF的分辨率会高一点。dToF则完全不受环境光的影响。全球范围内可以提供3D ToF图像传感器的供应商，包括松下、佳能、索尼、英飞凌、Melexis、ADI、EPC Photonics、三星以及Artilux等多家公司。目前能过车规的主要是Melexis和松下。日本厂家技术能力强，毕竟CCD时代，日本厂家是垄断的，CCD时代的经验累积让日本厂家以dToF为方向，欧美厂家则以难度低的iToF为主。

 图片来源：互联网

上图为Melexis的产品特性简介，显然这是iToF，调制频率是100MHz，绝大部分iToF都是这个频率，高调制频率大约是200MHz。FOV高达110°，波长选择940纳米，也是因为这个波长，量子效率最高。

图片来源：互联网

Melexis达到了最高的车规级，运行温度范围高达105℃，而一般是85℃。2020年8月Melexis宣称其车载ToF传感器出货量已达到100万片。英飞凌则有REAL3传感器，分辨率略低为352*288，也达到了105℃温度上限。

国内因为松下将半导体业务专卖给中国台湾新唐半导体，并且苏州松下半导体也转至新唐名下，因此国内方案就近选择松下的CCD ToF传感器比较多，通常与之配合是ADI的控制IC。

图片来源：互联网

ADI ToF系统框架图，ToF传感器一般都是松下的MN34906，控制IC也可以用ADDI9043。高通的Robotics RB3平台就是这种设计。分辨率是VGA级，90*70的FOV。

图片来源：互联网

ADI更多考虑户外应用，特别适合放在B柱子上的Face ID应用。

对于dToF，其有效距离更远，像素也可以更高，因此更适合做激光雷达，车内应用有些浪费了。ToF吸引了全球所有光电大厂，传统2D相机是被动传感器，已无潜力可挖，而ToF是主动传感器，潜力无限，ToF传感器飞速发展，ToF相机将在DMS和Face ID领域取代传统2D相机。