光学革命—联发科技推出双目结构光参考设计

普及一下为什么非得用双目相机成像原理

首先，确实人通过一只眼也可以获得一定的深度信息，不过这背后其实有一些容易忽略的因素在起作用：一是因为人本身对所处的世界是非常了解的（先验知识），因而对日常物品的大小是有一个基本预判的（从小到大多年的视觉训练），根据近大远小的常识确实可以推断出图像中什么离我们远什么离我们近；二是人在单眼观察物体的时候其实人眼是晃动的，相当于一个移动的单目相机，这类似于运动恢复结构（Structure from Motion, SfM）的原理，移动的单目相机通过比较多帧差异确实可以得到深度信息。

但是实际上，相机毕竟不是人眼，它只会傻傻的按照人的操作拍照，不会学习和思考。下图从物理原理上展示了为什么单目相机不能测量深度值而双目可以的原因。我们看到红色线条上三个不同远近的黑色的点在下方相机上投影在同一个位置，因此单目相机无法分辨成的像到底是远的那个点还是近的那个点，但是它们在上方相机的投影却位于三个不同位置，因此通过两个相机的观察可以确定到底是哪一个点。

双目相机确定深度示意图

双目立体视觉深度相机简化流程

下面简单的总结一下双目立体视觉深度相机的深度测量过程，如下：

1、首先需要对双目相机进行标定，得到两个相机的内外参数、单应矩阵。

2、根据标定结果对原始图像校正，校正后的两张图像位于同一平面且互相平行。

3、对校正后的两张图像进行像素点匹配。

4、根据匹配结果计算每个像素的深度，从而获得深度图。

联发科技今日宣布推出业界首款应用于智能手机的双目立体视觉结构光 (Active Stereo with Structured Light) 参考设计，以内建于Helio P60及Helio P22平台的硬件景深加速引擎搭配红外线投射器 (IR Projector)、两颗红外线摄像头 (IR Camera) 和AI人脸识别算法。该参考设计比3D结构光更具成本优势, 且可达到与iPhone X同等级的人脸建模精度和支付级的安全性。

联发科技深耕立体匹配深度引擎 (Stereo Matching Depth Engine) 研发多年，是最早将相关技术整合到中高阶智能手机芯片中，从而实现双摄实时景深预览的手机芯片厂商之一。随着全面屏的普及，多家手机厂商试图以人脸识别解锁取代正面指纹解锁。联发科技率先与第三方模块厂商和AI算法公司合作，推出以硬件加速的主动式立体人脸建模方案，实现无需外挂DSP即可达到更快更省电的效果。

在成本方面，iPhone X使用的 3D结构光（或称单目结构光）需搭配高成本的点阵红外线投射器，而双目结构光模块使用一般随机纹理 ( Random Texture ) 红外线投射器及一般双镜头组装制程，可大幅简化校准流程，提升良率与可量产性，更具成本优势。对比其他低成本的非结构光人脸识别技术，双目结构光方案具有更高精准度且不易在暗光环境中失效的优点。

在使用场景方面，单目结构光容易受光照影响，在户外使用时，红外线点阵投射器发出的编码光斑容易被太阳光淹没，造成识别率降低。而双目结构光则有较高的抗环境干扰能力，在各种光线和气候环境下都有很好的使用者体验。

联发科技 Helio P60 和 Helio P22平台皆可提供完整的双目结构光模块参考设计。其中包含由奇景光电（Himax）所提供的红外线投射器与两颗IR Sensor，以及由AI领导厂商旷视科技Face++ 提供的人脸辨识, 美颜和建模解决方案。目前已有多家客户积极评估导入。

联发科技的双目结构光方案预期将以亲民的价格为消费者带来更加优异的使用体验，掀起光学革命新潮。大幅加速 “刷脸支付”、“智能美颜”和“3D表情动画” 等应用在智能手机的普及。