高效率信号处理为高质量的AR/VR应用铺平了道路

娱乐和游戏

2016年7月发布的Pokemon Go仅仅过去了一年，那是增强现实技术（AR）演进的关键时刻，在虽然在此之前另一款应用Blippar则将AR的概念引入了大众市场。Pokemon Go生动的演示了科技是如何重塑了一个经典的游戏，让它再次一夜成名。

AR技术吸引用户的是可以将虚拟世界的事件和探索户外真实环境结合起来。人们发现他们无需被文字的海洋与真实隔离，现在可以重新将生活和科技联系在一起。从此，很多科技公司致力于使得AR技术无处不在，并和虚拟现实（VR）技术结合起来，开辟了AR技术更为广阔的应用天地。

应用到手机上

今年夏天Google推出了ARCore框架。其目的是将AR和VR技术引入更为普及的安卓设备，而不仅仅是之前的Project Tango项目。苹果也在今年5月推出了ARKit，随后在新一代的苹果手机上支持了基本的AR功能：从基于安全应用的人脸识别到智能运动程序（它可以将相关统计数据投射到软件检测出的附近用户的屏幕上）。

 应用程序要将虚拟行动变成现实，所需要的能力不仅仅是高性能的图形操作。它还需要运行配套软件来解释探测到的运动，和从不同传感器阵列里面获取的其他环境信号。机器学习技术将支撑把这两部分连接到AR基础设施中的识别算法。

由内而外的跟踪

在某些场景中，AR应用会得到来自外部资源的帮助。比如在零售卖场，指向标提供位置数据给AR增强的室内导航应用。然而对于AR和VR技术无处不在的移动设备而言，这种由内而外的跟踪将至关重要。

由内而外的跟踪可以控制移动设备。与依赖于传感器信号输入的手机相比，由内而外的跟踪更加复杂和具有挑战性，但在大多数情况体现出了的巨大优势。耦合合适的传感器和适当有效的在线处理意味着在大多数情况下，物体可以被检测并且识别，而且所有识别在边缘设备上处理完成。

第一批面向AR的设备依赖于专用传感器，如基于飞行时间（time-of-flight ）原理的3D摄像头，针对距离检测进行了优化。而最新的发展趋势则是更重视应用现有的传感器。

传感器提供的数据经过更先进的信号和视觉处理算法处理，可以基于用户的环境获取更为广泛的信息。目前看来有两种并行发展的趋势：

1. 通过简单的传感器在现有设备上部署AR

2. 融合了更为强大的硬件和专属传感器的新设备将会带来高质量的AR用户体验。新兴产品的价格也会随着产量的增加而下降。

这些趋势的结果是改变原来手机处理的性质。仅仅依靠多核通用处理器和图形处理器的的MIPS值和MFLOPS能力是不够的。电池不能长期维持满足这些高能耗子系统的水平。我们需要的是一个专注于高效信号处理的架构，并且针对机器学习和环境感知算法进行调优。

CEVA是一家致力于把深度学习和类似算法引入移动领域的公司。高度并行的架构可以精细化使用内存，这是传统CPU和GPU不容易实现的。神经网络对于内存的访问效率和处理器的数据吞吐对于整体性能同样重要。

3D渲染是关键

支持高效AR和VR应用的另一方面取决于3D场景的渲染。人工部分的场景需要尽可能逼真，并且能够应对转动和倾斜手机造成的突然的运动变化。这需要软件将这些变化传达给3D渲染引擎的时候具有非常低的延迟。

一旦延时太高了，虚拟动作就很难耦合真实场景。如果用户是戴着耳机注视着一个几乎完全虚拟的场景，移动图像的延时如同用户自己在转圈，最终导致眩晕。

快速传感器跟踪也可以帮助提高渲染引擎的吞吐量。摄像头可以追踪用户的眼球运动，告诉渲染引擎用户大部分的注意力集中在什么地方。锥形渲染技术（foveated rendering）就是利用大脑最敏感的图像部分正好是目光直接注视的区域这一原理。周围的元素可以使用较少的细节进行渲染。

高速信号和视觉处理器可以处理来自多种类型传感器的数据是解决问题的关键。使用这些引擎比3D渲染管线本身更节约功耗，CEVA等公司正在将高质量的AR和VR技术变为可能。并且不会在短短几个小时内耗尽电池。