ARM高级产品经理:ARM GPU发展蓝图

日前，ARM高级产品经理Anand Patel分享了ARM在GPU以及多媒体IP上的的发展，同时也介绍了新发布的Mali-G71的产品特性，以下是发言详情。

我们在去年有7.5亿基于Mali GPU的设备出货，目前我们的市场占有率在DTV这块超过了75%，平板这块超过50%，智能手机这块超过40%，所以Mali现在是世界第一出货量的GPU产品。



在介绍Mali-G71之前，我想先介绍一下我们多媒体的产品组合。除了刚提到的GPU以外，我们还有视频处理器，包括视频编解码器、video IP、display等IP。三个IP组合起来构成了一个多媒体的小型的系统，基于这样的一个系统，我们去优化我们的驱动，能够得到一个最好的多媒体用户体验。另外我们还有AFBC这样一个技术，这是一个无损压缩的技术，这个技术可以应用于我们多媒体IP产品组，能够进一步节省系统的带宽，提升用户体验。

构建这样一个多媒体IP组合的意义，一个是0拷贝的数据搬移，这个可以通过我们驱动的优化，软件的优化，在这个IP中间得到实现；还有一个是媒体的安全内容的保护，我们也是通过这三个IP构建了一个安全内容的保护通道，对于这些比较敏感的或者是受安全保护如视频的内容，我们可以通过这样一个硬件的底层得以实现。

举例来说我们高端的T880的IP，GPU已经在三星Galaxy S7产品上得以应用了，华为的Mate8也是用了这样一个GPU的设计，未来会有更多的设计采用ARM的GPU，大家也可以看到新的设备不断的出现。

Mali GPU Roadmap



这边我们有三条产品线，第一条是高端的GPU处理线，这个是从T760这代产品开始的，包括去年发布的T880系列，包括华为和三星都有在用。还有我们今年马上要发布的是我们的G710这个产品。

第二条线是我们高单位面积效能的产品线，这个是从T600开始的，包括T720，去年发布的T820、T830，它和高端相比，它也支持各种最新的API，但是它的侧重点是针对面积做了优化，因为采用这套产品线的用户对芯片面积，也就是成本，是非常在意的。

第三条产品线是我们的低功耗产品线，这个线是从400开始的，包括450以及去年发布的470，它的特点就是它支持OpenGL ES2.0的API，针对富用户界面的场景做了优化，尤其是470，它的功耗非常低，非常适合可穿戴的市场。

现在我们来介绍ARM的显示处理器产品线，我们有DP500到550以及最新的650这样三个产品。它的作用主要是做合成以及旋转以及缩放的功能。这个产品我们还支持AFBC以及之前提到的斜处理器的接口，可以方便客户添加自己的针对图形图像效果优化的IP，去配合DPU做实现。

AFBC用在设备里面可以节省50%的功耗。另外从兼容性来讲，我们在接口上兼容VESA、CEA以及HDMI，这些通用接口我们都是兼容的。另外我们从安卓应用场景考虑，我们是支持双通道或者是双核的display的配置，可以用于比如WiFi display这样的应用场景。

这边，首先最后一个功能是安全显示，包括我们对安全支付以及视频流保护的支持。另外从整个来看我们这个产品有三条线，DP550可以支持到1080P的优化，DP650可以支持2.5K到4K的分辨率。

这边是我们的video产品线，也是视频编解码产品线。它也是支持AFBC的，同时它是单一一个核就可以支持编码和解码的内容，以及支持多种的视频格式。

这边V500是支持H.265以及其他一些早先的视频编解码的格式的，V550这个产品是可以支持到H.265，也就是HEVC，包括10-bit的支持。

这里讲的V550是一个多核可扩展的，可以支持多种编解码格式，同时也是可以很好地灵活地配置的一个解决方案，它在单核的情况下可以支持到1080P 60帧的处理量，在四核配置底下可以达到4K 60帧，八核可以达到4K 120帧。另外它在应用的时候也非常灵活，你可以拿四个核做编码，拿四个核做解码，如果是八核的配置，可以根据你的应用的负载去灵活调配处理能力。

我们三个IP从软件驱动角度来讲也是集成在一起的，这样能够更高效地处理这些数据，比如你video做了解码以后，通过display做显示，这样一个数据流，通过我们之前提到的0拷贝的功能，可以达到一个最高效的解决。

这里再强调一下T880，之前提到的公司有在用，他们也是我们第一个可以支持Vulkan API的GPU产品，在去年年底已经实现了量产，在今年会陆续有新的device面向市场。
    
Mali-G71

现在我们重点来介绍一下Mali-G71这个产品。G71是我们在今年Computex上发布的新一代的GPU产品，它采用的是新一代Bifrost GPU架构。这个产品也是我们基于超过十年的GPU的研发经验设计的新架构的第一代产品，它也是面向最新的应用场景。

从性能的角度来讲，我们希望基于它出货的设备性能比现在2016年的设备提高1.5倍。它也是我们迄今为止扩展度最高的一个产品。在之前的T880的产品上，它只能扩展到16核，但是我们G71这个产品可以扩展到32核，这样能够更好地面向新的应用场景。



在介绍Bifrost架构之前，我想介绍一下我们Mali处理器的命名规则。最早我们Utgard的架构是Mali-450、470这样一个产品，是Mali后直接跟了数字，Midgard这个架构是Mali-T开头的，T600、700到800这个T的含义是我们三流水线的Triple的T的含义。到Bifrost这个架构，因为我们这个是有很大的架构的变化的，所以ARM在考虑做一个重命名，但是基于Mali这个命名已经被市场广泛的接受，所以最后我们决定在Mali后加一个G，这个G是代表Graphics，这个G71的7开头是代表我们的高端，未来可能还有我们的面积做优化，到低功耗有5开头和3开头的产品会陆续面市。

Bifrost: 全新的GPU架构

谈到GPU的架构演进历史，2010年的时候我们推出了Utgard的架构，当时面向的设备它的分辨率也比较低，720p这样一个屏幕，它的内容也比较简单。到2013年的时候，我们推出了Midgard的架构，它面向的设备可以达到1080p HD的分辨率，内容也是变得越来越复杂了。到了2016年，我们之所以推出Bifrost的架构，是因为可以看到内容变得越来越精细，越来越复杂，在GPU渲染的角度来说会有更复杂的光影的处理，包括全局光照的处理，从显示面板的角度来看，未来4K的面板也会大量涌现，所以基于这样一个市场需求我们推出了Bifrost崭新的GPU的架构。基于前面提到的各种各样的应用场景，包括设备的需求，以及我们面对的挑战，Bifrost这样一个架构可以解决这样的问题。

谈到Bifrost架构的一些创新，我们创新的主要目标一个是节省功耗，另外一个是对开发者变得更友善，还有一个是今天早上提到的这样一个异构运算，通过CPU、GPU一起去做加速。在能耗节省的技术里面有一个指令组的着色器的实现。这个实现下面有一个例子，在Midgard这个架构的时候我们每一条指令执行，灰色是指令执行的部分，绿色是我们每个指令执行前后的逻辑控制的额外的处理，在Midgard上每一条指令前后会有这样额外的操作，但是在Bifrost的架构下，我们可以把相关的指令组合在一起，只是在前后部分有额外的操作，这样它是能效更好的一种实践。



这地方有一点，一个是通过索引驱动的顶点渲染，我们可以节省带宽，另外在设计中，我们也考虑到了布局布线的优化，帮助我们客户能够更好、更快地把产品推向市场。

这个地方提到的开发者友好它的含义是开发者在崭新的架构底下可以花更少的时间快速的把自己的应用进行优化。另外还有我们这个架构也是基于Vulkan API做了设计的架构，它能更好地支持Vulkan。

这个地方提到的异构运算主要是让CPU和GPU合作，去更好地处理这个任务，我们Bifrost这个架构会支持全一致的功能，它的功能，CPU可以访问GPU的缓存，GPU也可以CPU的缓存，在交互操作的时候可以极大地程度上避免对内存的访问，这样是一个更高效、更低耗的解决方案。

我们现在来看一下Mali-G71下能效的一些提升，这个提升是基于Mali-T880 GPU做的对比。首先从能耗角度我们是提升了20%，也就是说同样的功耗底下我们能够增加20%的处理能力，在多核可配这块我们是达到了32核的扩展能力，以前的880只能达到16核，从这个性能密度的角度来讲我们可以提升40%的性能密度，也就是说你要达到同样的性能，你的面积可以下降40%，我们的客户可以拿这40%做很多事情，比如节省成本，或者是节省功耗，还有一点是在带宽的节省这块，G71这个产品可以提升20%，这个带宽对系统设计来讲也是至关重要的。

这里是Mali-G71的一个性能表现，可以看到我们其实是和平板电脑的独立显卡做的对比。我们在2016年的G71 16核配置的情况下，大家可以看右图这个横轴就相当于它的性能，它已经完全可以和平板电脑的独立显卡做对比。底下是集成的一些GPU，包括2015年的集成显卡GPU以及mobile GPU，可以看到有一个很大的性能的领先，所以可以想见的是在未来在智能手机上graphics处理能力会越来越强，已经可以达到终端笔记本电脑的处理性能，所以未来有可能我们的手机会变成最强大的数据处理工具。

谈到VR的用户体验，可以看到的是在高端VR用户体验上主要有四块的需求，第一个是在刷新率的角度上讲，现在高端的设备会达到120赫兹的刷新率，对GPU的处理能力要求非常高，因为在VR的时候，你需要处理左右眼两幅图像；从屏幕的角度讲，分辨率以前是1080p，未来会上升到4K这样的分辨率；从延迟的角度来讲，这个图形处理渲染的latency需要控制在4毫秒以内；另外很重要的一点是4倍的多采样、反走样，或者是多采样、抗锯齿这样一个技术，因为VR在用户体验的时候，它的屏幕离人眼非常近，屏幕像素点的锯齿效应会非常明显，所以这样一个功能我们GPU能够很好地支持，这样可以很好地增进或者是加强用户体验。

所以，综上所述，我们现在需要一个非常高端的GPU来面对VR这样一个市场，G71是很合适的产品，它多核可配可以灵活地应对不同的产品性能的需求，同时它的功耗的节省也能够更好地增进用户体验。

Mali “Egil”
    Mali “Egil”是我们新一代视频编解码处理器，这个处理器可以支持到4K UHD的分辨率，同时它也可以VP9这样最新的编解码的格式，它这个架构设计还是一贯的单核可以支持多种编码或者是解码的格式处理。另外一点是它在HEVC，就是H.265这个格式上，在编码的质量上做了增强，这是它很突出的一个特点，所以这个产品是面向下一代视频编解码处理需求的一款新的产品。
    Egil它很大的一个特点就是在编码这块做了增强，我们首先是支持VP9这样一个编码格式，同时在HEVC这块我们也是支持了很新的功能，其他类似MPEG、H.264的格式也都是完全可以支持的。
    这里要提到的是开放媒体联盟（Alliance for Open Media）。ARM作为一个创始人公司之一参与到开放媒体联盟的设立中。这个联盟主要的宗旨就是开发新一代视频编解码的标准，这个标准也是免版权税的一个标准，可以看到很多公司从芯片设计再到互联网公司都参与了这样一个标准的设定。