奇妙科普文，一文看懂AR所有知识

经常和小伙伴调侃说，任性地抛开工作去度假回来，完全不知道这个世界又发生了什么事，又有了哪些听都没听说过的新技术诞生，仿佛我们刚刚从山顶洞下来。

我相信你们感同身受，可能你才刚刚熟悉智能手表或者智能手环的概念，打算购买Apple Watch或者Pebble Time来追追潮流。可是，不知道什么时候，各类VR、AR等名词大举强奸你的视线，这些R究竟都是一些什么鬼？
 

首先我们先来了解VR，虚拟现实，是利用计算设备模拟产生一个三维的虚拟世界，提供用户关于视觉、听觉等感官的模拟，有十足的「沉浸感」与「临场感」。你所看到的一切都是虚拟出来的世界，只是它试图欺骗你的大脑，让你认为它是真的。

VR相当于你做了一个相当真实的白日梦。

当前的VR设备很多，比较典型的有三星Gear VR、HTC Vive、Oculus Rift以及暴风魔镜等。

那AR是什么？AR指的是增强现实，现实被增强了，被虚拟信息增强了。它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，你在可以看到现实世界的同时，还能够看到虚拟信息叠加在现实世界之上，并且双方还能够无缝结合、互动。

调个侃，AR就像你在白天见鬼了。

AR设备比较典型的代表是微软Hololens、Meta 2等等。

AR背后那些技术原理

值得一提的是，添加到现实的这些虚拟信息、虚拟物件并非静态图片，它们会根据摄像头的移动，地理信息，以及各种现实的因素来不断的改变形态位置，你甚至可以和他们进行触摸、语音等交互。

听起来，AR好像更厉害的样子，因为它简直就算从科幻片里走出来的技术，它背后的技术原理是什么？下面我们像拆魔术一样，把AR背后的技术拿到台面上分析。（前方高能！前方高能！前方高能！大家请系好安全带，开始上课啦，不想听的同学，请直接跳到下一个部分）

AR从其技术手段和表现形式上，可以明确分为大约两类，一是Vision based AR，即基于计算机视觉的AR，二是LBS based AR，即基于地理位置信息的AR。
 

基于计算机视觉的AR

它是利用计算机视觉方法建立现实世界与屏幕之间的映射关系，使我们想要绘制的图形或是3D模型可以如同依附在现实物体上一般展现在屏幕上。

想要实现这一点，我们就要找到现实场景中的一个依附平面，然后再将这个3维场景下的平面映射到我们2维屏幕上，然后再在这个平面上绘制你想要展现的图形，从技术实现手段上可以分为2类。

第一种，Marker-Based AR。事先制作好的Marker(例如:绘制着一定规格形状的二维码或模板卡片），然后把Marker放到现实中的一个位置上，相当于确定了一个现实场景中的平面，然后通过摄像头对Marker进行识别和形态评估，并确定其位置，然后将该Marker中心为原点的坐标系称为模板坐标系，我们要做的事情实际上是要得到一个变换从而使模板坐标系和屏幕坐标系建立映射关系，这样我们根据这个变换在屏幕上画出的图形就可以达到该图形依附在Marker上的效果，理解其原理需要一点3D射影几何的知识，从模板坐标系变换到真实的屏幕坐标系需要先旋转平移到摄像机坐标系，然后再从摄像机坐标系映射到屏幕坐标系。

第二种，Marker-Less AR。基本原理与上面的Marker based AR相同，不过它可以用任何具有足够特征点的物体(例如：书的封面，你的桌子)作为平面基准，而不需要事先制作特殊的模板，摆脱了模板对AR应用的束缚。它的原理是通过一系列算法(如：SURF，ORB，FERN等)对模板物体提取特征点，并记录或者学习这些特征点。当摄像头扫描周围场景，会提取周围场景的特征点并与记录的模板物体的特征点进行比对，如果扫描到的特征点和模板特征点匹配数量超过阈值，则认为扫描到该模板，然后根据对应的特征点坐标估计Tm矩阵，之后再根据Tm进行图形绘制。

基于地理位置信息的AR

LBS based AR，即基于地理位置信息的AR。其原理是，通过GPS获取用户的地理位置，然后从某些数据源（比如google）等处获取该位置附近物体(如周围的餐馆，银行，学校等)的POI信息（导航地图信息，每个POI包含四方面信息，名称、类别、经度纬度、附近的酒店饭店商铺等信息），再通过移动设备的电子指南针和加速度传感器获取用户手持设备的方向和倾斜角度，通过这些信息建立目标物体在现实场景中的平面基准上。

这种AR技术利用设备的GPS功能及传感器来实现，摆脱了应用对二维码或者模板卡片Marker的依赖，用户体验和性能都比基于计算机视觉的AR更好，也可以更好的应用到移动设备上。

一个典型的AR设备系统是怎样的？

大家先看下面这张图：

一个典型的AR系统结构由虚拟场景生成单元、透射式头盔显示器、头部跟踪设备和交互设备构成。其中虚拟场景生成单元负责虚拟场景的建模、管理、绘制和其它外设的管理；透射式头盔显示器负责显示虚拟和现实融合后的信号；头部跟踪设备跟踪用户视线变化；交互设备用于实现感官信号及环境控制操作信号的输入输出。

透射式头盔显示器采集真实场景的视频或者图像，传入后台的处理单元对其进行分析和重构，并结合头部跟踪设备的数据来分析虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景的融合计算；交互设备采集外部控制信号，实现对虚实结合场景的交互操作。系统融合后的信息会实时地显示在头盔显示器中，展现在人的视野中。

还有一种AR叫做Magic Leap，它不依赖屏幕，它的到来将会杀死屏幕。Magic Leap搭载了一组非常特殊的光场芯片，它可以让用户看见虚拟物品存在在现实世界当中。

光场（Lightfield）用于描述空间中任意点在任意时间的光线强度、方向、波长。当鲸鱼在我面前游过的一瞬间，它皮肤上每一个细胞向四面八方发出的光，叠加起来形成了一个光场。理论上， 只要完整记录下一条鲸鱼的光场，技术上就可以完全还原这条鲸鱼发出的所有光线。

Magic Leap就是利用这种技术。
 

AR的应用场景
历史告诉我们，一项再牛X闪闪的黑技术，如果它不能走出实验室，它就是废的。

幸运的是，AR技术不仅已经走出实验室，它还将迈向更广阔的世界，应用在工业、医疗、消费领域。

对于AR，你看不懂它背后的技术原理不要紧，但是你得知道它能用来做什么，给你提供怎样的服务，对吧？

工业维修。现在的工业设备愈加复杂，无论是安装，还是维修都成为了难题。但AR技术能给工业领域带来了很多惊喜。戴上AR智能设备，可通过AR技术来为你显示设备故障维修教程，甚至能准确地教会你如何拆卸零部件。即使是没有任何经验的新手，也能利用AR完成维修。而对于研发人员来说，这种AR技术能大大降低成本。

医疗模拟和培训。AR可能革命性的颠覆医疗行业。医生新手学习手术，也许再也不用担心没有足够的实操机会，他们可以随时用AR技术模拟手术。未来的外科医生只需要戴上AR设备，就能在面前展现一个现实与信息实时显示的画面，病人的每项生理数据都会展示在医生的视线里，先切除哪个部位，再切除哪个部位，一目了然，增加了安全的保障。这样，医闹会不会少一点儿？

汽车驾驶。汽车驾驶是AR的一个天然应用场景，因为驾驶员面前那块巨大的挡风玻璃就是一块绝佳的透明显示屏。

在目前的开车过程中，我们眼光游动在前挡风玻璃外、左右中后视镜、中控仪表盘和车机屏幕上。我们还要忙着看手机屏幕，有多少司机在使用手机做导航。眼睛非常忙，如果了AR，我们你驾驶过程中所有需要注意的信息，需要规避的障碍物都会出现在AR屏幕上，你只需要专注于前面一块屏就可以处理各种事情时，开车轻松愉快。

教育。将AR技术应用在教育领域，那就是开启了学习新世界的大门。AR新奇式的体验，对于学生来说，有足够大的吸引力，而这个学习的过程，也并非灌输式，而是游戏化，立体化的，很容易激发学生无意识的记忆，比书本记忆更为持久。

学习地理，我们可以之前前往亚马逊热带雨林里去感受一下。

室内设计与家庭装修
如果你要设计一个房子的内部装饰，或者装修房子，你不需设计、装修完毕之后才能看到效果。通过AR，你可以提前看到沙发放在哪个位置比较好，书架怎么摆放更好，此外，你还可以直接在AR屏幕上了解到这些家居的价格、材料细节。

旅游更加省心。通过VR设备，我们到某个国家或者城市的时候，就能获取当地城市的景点和商场等地方的详细介绍，自动翻译，了解附近购物和餐饮信息只是最基本的功能。如果是在国外，你看到一叠货币时，眼镜也会同步的显示出它的汇率。