这个VR技术这么酷？表情统统被捕捉

实时转换效果如下：
 

目前VR社交存在的问题

现阶段的VR社交，已经完成对社交对象的方向、位置、基本姿态、头部的跟踪，但这只满足了最基本的需求：与对方交流，看见对方身体。目前Altspace VR、High Fidelity 和 vTime已研发出VR社交头显，三者为玩家提供一个虚拟化身（Avatar ）代表虚拟世界中的自己，但形象建模太过“粗糙”，甚至不能反映用户的动作和表情，而且里面所构建的 VR 社交环境也是基于传统社交应用的交互方式。

为了让VR社交更有趣些，Altspace VR开始在里面植入各种功能和小游戏，比如网页浏览、艺术画廊、桌游赌场等。

但是，VR 社交的核心是人与人之间的交往，而非游戏和环境。

人类在现实环境中的社交，并不只有言语上的对话，还需根据表情来得知对方的真实想法和感受。数据统计，人类在社交中的信息传达只有30%是通过语言实现的，剩余70%则是通过表情和肢体动作实现。因此，表情捕捉在VR社交中就显得尤为重要。创造出与真实表情完全同步的虚拟场景，玩家便可以通过表情变化来提高社交对象的社交感受。
 

面部捕捉技术

1.常见的面部捕捉技术

常见的面部表情捕捉技术可将真实的面部表情以动画的方式呈现在自定义的虚拟化身上，让其化身角色变得栩栩如生，打造更沉浸的虚拟现实体验，这在好莱坞电影特效制作中应用比较广泛。苹果去年收购的Faceshift就是一家面部表情动作捕捉公司，该产品通过捕捉演员的面部运动，将其复制在动画影视以及游戏中的虚拟角色中。

但这类识别技术存在两个问题，第一是用户需要在脸部贴上mark点，mark点是电路板设计中PCB应用于自动贴片机上的位置识别点，通过高速摄像机捕捉人脸上的mark点来反算面部动作。放置mark点的过程繁琐复杂，仅适用于专业表演而不适合普通玩家。

第二个问题是， 上述识别技术不具备实时性，还需要进行后期MAYA、3D MAX合成。

2.Veeso的面部捕捉特点

而Veeso的特点是，用户无需在脸上画mark点，而且可进行及时捕捉，直接实时同步在虚拟数字人物中。Veeso的VR头显原型机中设有两个摄像头，一个隐藏在头显中，用于记录玩家的眼球和眉毛运动；另一个从头显正下方伸出来，记录用户的嘴部和下巴的运动。两个摄像头同时记录眼球、眉毛、嘴部和下颚的动作，将面部表情映射到虚拟化身脸上。

3.实时面部捕捉技术难题

由于追踪脸部表情并在虚拟画面中重现是同步的，所以其技术实现难度较大，主要在于：追踪与重现（映射到虚拟化身）的延迟、设备数据处理能力、追踪传感器的敏感精度、社交网络的带宽等等。而且面部追踪涉及到的学科范围较广，包括CV、电子、机械学、心理感知、机器学习、面部动画、传感器等技术。实时面部捕捉的运行过程大致如下，人的表情先被传感器追踪到，经数据处理后，通过高速宽带网络传输至社交对象的VR设备中并被在其虚拟环境中重现。
 

已有的解决方案

其实，已经有多个团队在尝试VR面部捕捉技术。南加州大学助理教授黎颢正在与Oculus合作研究虚拟现实头显的面部跟踪功能，该设备初始原型和研究论文《头戴显示设备的面部表情捕捉》(Facial Performance Sensing Head-Mounted Display)”在2015年的SIGGRAPH（图形学及互交技术特殊爱好者集团）首次被公开。

他们在合作研究中发现，由于VR玩家的头部被HMD挡住一部分，这会为VR实现面部表追踪造成很大的麻烦。于是，研究者们尝试将传感器嵌入在泡沫板里(下图黄色标记部分)，通过感应面部肌肉的抽动来捕捉玩家脸上部的表情，而前面伸出的摄像头用来追踪用户的下巴和嘴的动作。

黎颢表示这个原型证明在虚拟现实头显下使用应变传感器并结合机器学习算法是有可能推断面部表情的，但这样的设备离实现实现面部表情完美追踪与重现还有一定的距离。

Veeso与上述原型实现嘴部和下巴追踪的方式相似，均在产品前面加上一个伸出来的支架和摄像头。而有人曾尝试利用Lip Sync通过声音计算出虚拟角色的口型，让玩家的嘴部形状与所说的话匹配。通过声音来匹配嘴部运动的方式虽在最基本的对话场景中管用，但如果玩家想悄无声息地做个鬼脸就捉襟见肘了。

国外一项技术根据虚拟场景内发生的事件来进行表情重现，当玩家在虚拟场景中遇到突发事件时，根据事件内容来推测用户的兴趣焦点，最终生成生眼部动作。通俗讲，就是根据具体场景来推测玩家的眼部表情。另外一种新型技术则是先用摄像头抓取脸的下半部份，然后利用深度学习分析下半部分脸部表情从而还原出完整脸部。这两项技术虽不能被当做主流捕捉技术，但可为主流解决方案起到润色作用，依据推测型算法让捕捉和重现更加精准。

官方称，Veeso头显能适配所有iOS和安卓设备，不仅支持现在市面上的 VR 内容，还有几款自主研发的游戏可供玩家选择。目前从Kickstarter上发布的 Demo 视频来看，头显的面部追踪系统和 VR 场景中的表情演示还不够准确，还有很多技术问题需要解决。因此所谓的“全球首款内置面部追踪技术的VR设备”这个称号也并不能代表它具有多大的颠覆性。

目前该项目的抢先体验价为70美元，开发者能够以80美元购买设备和开发套件。