人脸跟踪如何让VR变得更好

如今的 VR 更多还是运用于电影游戏这样相对成熟的领域，想象一下，若能将 VR 运用于社交那将会怎样呢？或许，人们只需要回到自己房间带上 VR 眼镜，从此天涯变咫尺，朋友就像真正在身边一样。

专家称，用于虚拟现实头盔的新型面部跟踪系统可能会改变用户沟通方式。

HTC最近发布了一套新的Vive虚拟现实耳机追踪器，其中一款可以追踪面部表情和嘴部运动。这是使虚拟现实更具响应性和互动性的日益增长的趋势的一部分。

科技政策智库信息技术与创新基金会(Information technology and Innovation Foundation)的政策分析师Ellysse Dick表示：“要想把VR从一种新奇或小众工具完全转变为一种广泛使用的消费技术，拥有更真实的体验很重要。”

“它将允许更多有意义的互动和丰富的体验，将扩大教育、工作协作和娱乐等领域的市场。”

近日，HTC发布了一款VIVE 追踪器 (3.0)及 VIVE 面部追踪器。HTC表示，相较于前代产品，全新推出的第三代 VIVE 追踪器电池续航能力增加 75%，重量减轻 15%，覆盖体积占用减小 33%。VIVE 追踪器 (3.0)将延续其备受欢迎的前代产品在动作捕捉、影视制作、运动康复和训练、医疗、企业培训等领域的广泛应用，支持 VR 虚拟形象的全身追踪，可以无缝集成物理对象搭建扩展现实环境。VIVE面部追踪器可以追踪多达38种不同的面部动作，当它与VIVE Pro Eye配对时，用户可以开启全面部追踪功能。

该设备的响应时间在10毫秒以下，并使用双摄像头捕捉你的下半张脸的运动。由于红外照明，它也可以在低光环境下跟踪。VIVE表示，这款面部追踪器将于3月24日上市，售价129.99美元。

VIVE面部追踪器通过嘴唇、下巴、牙齿、舌头、脸颊和下巴的38种混合形状精确捕捉表情和手势。哪怕是一丝微笑，也会清晰捕捉到。

但面部追踪器并不适用于所有HTC的设备中。该公司表示，它将兼容专业级别的Vive Pro系列产品，但不兼容面向消费者的Vive Cosmos。

其他公司已经将面部追踪技术整合到虚拟现实设备里。Magic Leap One和微软的HoloLens都有表情跟踪功能。

还有一家名叫 Veeso 的国外创业公司也在这么干。具体来说，Veeso 是一个类似于普通眼镜盒子的移动虚拟现实头显，支持安卓和 iOS。Veeso 会为标准头显添加两个额外的内置摄像头。其中一个摄像机被安置在两眼之间，检测的部位包括瞳孔、眉毛以及眼睑。另外一个摄像机则悬挂在设备底部，可以识别下颚、嘴唇和口型变化。

现在市面上绝大多数的 VR 游戏都没有人物表情捕捉功能，虽然面部表情捕捉技术已经在电影领域运用了很多年，但其设备即为复杂，需要在人脸上贴很多标记点，并用多个摄像头进行跟踪拍摄，显然，其不适合 C 端消费者使用。

但是当我们在虚拟现实世界中社交或者玩社交类游戏时，表情跟踪显示功能却又显得尤为重要，比如在玩杀人游戏时，我们可以从玩家的表情中找到蛛丝马迹等等。

现在Veeso已经推出了几款尚未上市的应用，其中一款是 VR 视频通话 app。该应用下的人们坐在一个虚拟的房间里进行聊天，个人形象会被卡通松鼠或者青蛙代替。但是当用户说话时，用户表情就会实时而准确的还原在卡通形象上。当然，Veeso 的这项功能还能被运用在扑克、猜谜等社交游戏上。

一个激进的飞跃

专家表示，未来面部跟踪可能会给虚拟现实带来根本性变化。软件用户界面开发先驱、argodesign首席创意技术专家Jared Ficklin表示，举例来说，头戴式设备可以了解用户对界面的反应，并据此进行调整。

 “想象一下，看着一个物体，用一个小小的手势来选择它，而不是试图用光标四处移动。或者将声音、眼神和手势结合起来，可以实现非常自然的互动。你也可以想象另一个方向和更小的，更少社交性的视觉线索的发展。”

菲克林介绍，用握紧脸颊或拉嘴角这种表情可以映射到“选择”和“返回”等交互动作，这让一些人在公共场合进行计算，而又不会让人注意。

“如果你正在使用可穿戴的移动电脑，尤其是以眼镜的形式，这种被社会接受或被隐藏的计算能力将变得非常重要。”

面部解锁通信

阅读表情是虚拟和现实生活中交流的关键。肢体语言专家Patti Wood表示，人脸可以产生21种基本的面部表情，虚拟现实技术可以解读这些表情。在36块用来产生面部表情的肌肉中，只有一小部分用于微笑。

“它将允许更多有意义的互动和丰富的体验，将扩大教育、工作协作和娱乐等领域的市场。”

Wood：“肌肉的精确数量取决于研究人员如何定义微笑。”

Ficklin：“面部表情跟踪可能会从根本上改变用户的虚拟现实体验，尤其是那些在远程会话中使用虚拟角色与他人聊天的用户。”

“这完全是关于非语言交流的重要性，”“将面部表情映射到用户的化身上，意味着与他们会面的人拥有更多非语言交流渠道，这是我们在面对面聊天或视频聊天中所期待的。”他们可以看到对方的反应。”

如果是那样，那就真的和面对面交流没啥区别了…