Imagination技术前瞻副总裁：GPU在体验元宇宙中的作用

利用 GPU 的强大功能实现虚拟沉浸式体验和庞大的数据处理

"当Hiro走近街道时，他看到两对年轻夫妇从Port Zero爬下，这是当地的入境口岸和单轨电车站。他们可能正使用他们父母的电脑在Metaverse中进行四人约会。当然，他看到的不是真人。这都是他的计算机根据光纤电缆上的规定绘制的移动插图的一部分。人是像阿凡达一样的软件。他们是人们在元宇宙中相互交流的视听身体。

--摘自《雪崩》，Neal Stephenson（Bantam，1992年）

一个全新的时代

自20世纪90年代以来，网络空间更多沿着社交路线发展的概念已经存在，而元宇宙一直是人们关注的焦点，像Epic Games、微软和最近的Facebook（现在的Meta）等公司宣布计划创建跨越物理和虚拟环境的互联世界。

就目前所涉及的公司来看，这暗示了元宇宙涵盖的范围：工作、游戏、社交。不过，从教育到医疗再到政治领域，也有可能包括进来。也许最好把它看作是一个虚拟的世界，在这里，现实世界中任何可能的事情都可能发生，同时现实中不可能发生的事情也有可能发生。

将这个雄心勃勃的概念变为现实确实带来了挑战。由于平台、系统和应用程序之间的互操作性将是全面运作生态系统的关键，因此软件需要不断发展以推动元宇宙的实现。在未来几年中，我们可能会看到一些令人印象深刻的软件跳跃式升级更新，这将允许以全新的、令人兴奋的方式管理大量数据。

不过，软件虽然是融合元宇宙实现的各种问题的关键支柱，但硬件则是人们与这个新的在线世界互动的主要方式。全身触觉和虚拟现实装备仍然是一个遥远的幻想，在向元宇宙的过渡期间，VR和AR技术很可能是体验它的主要手段。这为芯片行业带来了重大机遇，特别是从GPU的角度来看，推动大规模创新，帮助用户沉浸其中，同时利用并行性来应对数据挑战。

元宇宙的当前状态

从技术上讲，我们已经看到了较小规模的"元宇宙"。  其中引人热议的一个案例便是Epic Games的游戏《堡垒之夜》（Fortnite）。2019年Marshmello演唱会活动聚集了1000多万人参加，这是一个纯粹的社交活动。随后，许多其他活动结合了几个IP，例Ariana Grande的虚拟巡演“Rift Tour”，Marvel的《星核战争》（Nexus Wars）。同样，在游戏领域，我们也看到Roblox推出了其"开发者市场"，允许开发人员将游戏、资产、插件、3D模型等货币化——有效地创造了在游戏内工作实现赚钱的方法。

但元宇宙不仅仅是游戏。微软是世界上最大的云供应商之一，拥有广泛的工作软件和服务，这些软件和服务通过 Office 365和 领英跨越系统，坐拥数亿用户。随着Facebook（Meta）刚刚宣布了其实现元宇宙的雄心勃勃计划，我们开始更好地了解生态系统可能是什么样子——各种连续的互连数据流，通过平台、系统和应用程序传输，同时使用户能够真正存在于在线虚拟空间中。

AR和VR的潜力 

在考虑人们如何与元宇宙互动时，XR硬件是显而易见的答案。很容易想象，戴上VR头显，连接到《头号玩家》（Ready Player One）中类似的装备，然后立即被传送到您选择的虚拟世界。

但是，VR头显仍处于起步阶段，并且由于昂贵技术，其进入门槛相对较高。简而言之，要实现完全沉浸式的虚拟环境，需要具有高刷新率的高分辨率显示器。随着目前正在开发的智能创新技术，例如注视点渲染，头显将继续发展——每次迭代都变得更加方便和高效。

就早期的元宇宙方面，AR已经显示出显著的增长。像Pokémon Go这样的游戏。用户通过3D扫描周围的现实世界，以进一步强化AR 的沉浸感。Niantic公司最近收购了 6d.ai 和Scaniverse，突显了该公司构建AR硬件和软件的计划，这些硬件和软件可以将真实环境和数字环境完全融合在一起。

微软、苹果、Facebook和谷歌也在开发AR产品，这些产品可能会依赖持续的物理环境扫描来改善用户沉浸感。而且，从2021年到2028年，预计复合年增长率为43.8%（Grand  View Research，2021年2月），AR市场预计将继续快速增长。

AR的真正潜力超越了游戏。该技术可能会产生重大的跨行业影响：从医疗培训到零售实施，再到商业物流，甚至是室内设计。与VR相比，增强现实是一种更容易使用的解决方案，它可能是 向元宇宙过渡的最大驱动力。 

GPU、视觉沉浸感和克服数据挑战

迄今为止，凭借数十年为100多亿台设备打造创新移动GPU解决方案的经验，Imagination认识到图形在创建真正沉浸式元宇宙世界中将发挥的重要作用。我们最近宣布的IMG CXT GPU是第一个将硬件光线追踪引入移动设备的解决方案，同时从硬件角度来看，它非常高效。

今年早些时候，我们建立了光线追踪等级系统（RTLS），确定了现有和未来解决方案的六个级别— 从0级到5级。CXT在4级运行，这意味着它不仅在硬件上执行边界卷层次结构（BVH）光线遍历，而且还在芯片上执行光线相干性排序。这使我们能够对沿同一方向行进的光线进行分组，并充分利用 GPU 的并行计算能力——类似于基于分块的渲染解决方案，从而提高整体 ALU 利用率和测试效率。

短期内，像CXT这样的解决方案可以让公司将光线追踪带到移动AR环境中，这意味着可以跨程序提供更逼真的渲染数字对象。

随着XR硬件的发展，我们将开始看到混合处理解决方案，其中移动GPU可以嵌入到头显本身中。在这种情况下，功率与电池消耗保持平衡将比以往任何时候都更加重要 。CXT 在这方面具有独特的优势，因为它是一种可扩展的解决方案，使SoC制造商能够达到高达9TFLOPS的FP32光栅性能和超过7.2GRay / s的光线追踪性能，同时提供比2级和3级解决方案高出2.5倍的功率效率。

当然，AR和VR技术只是元宇宙的冰山一角。生态系统本身可能会带来许多软件和数据处理挑战，以及令人印象深刻的创新。近年来，GPU已被成功用于解决大数据问题，因为它们可以同时执行数千个线程，从而比传统CPU具有更高的输出和内存带宽。GPU还可以通过Imagination的相干性排序硬件等创新来渲染数字世界，从而释放更高的效率。换句话说，图形处理单元将在元宇宙中如何管理数据方面发挥重要作用。

虽然真正的元宇宙需要一段时间才能实现，但进入该行业是一个激动人心的时刻。 竞争孕育着创新，随着越来越多的玩家加入这个全新在线时代的竞争，我们肯定会看到一些优秀软件、GPU、CPU和AI的发展。