datasheet

Qualcomm 高通

文章数:503 被阅读:1241407

账号入驻

沉浸式XR体验的三大维度

2018-12-26
    阅读数:

移动体验发展到今天,不满足于移动设备带来的娱乐需求,在永无止境的探索中,我们更加渴望参与其中。我们也曾身临其境体验过AR(增强现实)和VR(虚拟现实),但是你知道这些梦幻级的沉浸式体验都是怎么做到的吗?


实现非凡沉浸式体验需同时聚焦以下三大维度:







首先是视觉上的考验,由于 VR 眼镜屏幕与我们的眼睛距离非常近,因此 VR 的视觉品质需要屏幕像素能够达到与真实世界无限接近的程度,从而做到“以假乱真”的真实感。高分辨率的屏幕同时也去除了“纱窗效应”。



人类通过双眼以 3D 形态观察世界,这就需要立体显示器为场景中的物体显示适当的景深,从而实现3D效果。人眼拥有接近 180° 的视场角(field of view,简称:FOV),而能清晰成像的面积也有将近120°,因此 VR 设备的 FOV 视角越接近这一数值,越能提供沉浸式的体验。



视觉上的考验还远不止如此,更加困难的是从人体运动到显示屏刷新之间的延时问题,也就是 MTP(motion to photon,简称:MTP)延时。通过实验,MTP 延时超过 20ms 将使沉浸式体验显著下降,同时用户也会产生眩晕感。此外,示屏的刷新频率越高,所要求的 MTP 延时越低,比如一块 60Hz 的屏幕的合理延时需少于 17ms,而一块 90Hz 的屏幕则需低于 11ms。


*纱窗效应(screen door effect):即当像素密度不足时画面在人眼中产生虚影的现象,就像通过纱窗看外面的世界。






其次是听觉上的配合,为了使视觉与听觉得到完全同步,我们需要高分辨率音频和3D环绕声。高保真的音频可以在采样频率和采样位数上与人类听力相匹配。



除此之外,因为我们处于三维空间当中,声音是3D形态的。同样在VR场景中,3D音频也必不可少,逼真的3D定位音频可以在头部转动时动态调整3D环绕声。这就意味着我们可以在虚拟现实环境中,通过声音来辨别声源方向和距离,做到与真实生活别无二致。







最后是交互的挑战,直观交互实际上是人类的第二本能,没有什么比转动头部环顾四周更自然的方式了。而骁龙移动平台中的 Hexagon DSP 运行的视觉惯性测距算法,能够计算出我们在虚拟或现实世界中的位置,并提供一个拥有六自由度(6-DOF)的头部姿势。依赖于认知技术,我们还可以使用手势或语音,在图形界面进行控制。


*六自由度(6-DOF)精准运动跟踪不仅可以实现上下左右的基本模拟,还可以在不断变化的虚拟现实环境中,实现前进和后退。



受益于近年来的积极发展,虚拟现实已经摆脱了早期笨重的有线头戴式显示器与控制器。骁龙移动平台采用系统性解决方案和基于 SoC 的定制设计专业引擎,提供经过终端到终端优化后的高效异构运算解决方案,将 VR 变成现实。




 - 推荐阅读 - 



About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved