英伟达自动驾驶软硬件一体化解决方案

GPU(Graphics Processing Unit)图形处理器，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上图像运算工作的微处理器。

1985年10月ATi使用ASIC技术开发出了第一款图形芯片和图形卡，1992年4月 ATi发布了Mach32图形卡集成了图形加速功能，1998年4月ATi被IDC评选为图形芯片工业的市场领导者。

但那时候这种芯片还没有GPU的称号，很长的一段时间ATI都是把图形处理器称为VPU，直到AMD收购ATI之后其图形芯片才正式采用GPU的名字。

NVIDIA公司在1999年发布GeForce 256图形处理芯片时首先提出GPU的概念。从此NV显卡的芯就用这个新名字GPU来称呼。GPU使显卡削减了对CPU的依赖，并实行部分原本CPU的工作，更加是在3D图形处理时。

GPU所采用的核心技术有硬体T&L、立方环境材质贴图与顶点混合、纹理压缩及凹凸映射贴图、双重纹理四像素256位渲染引擎等，而硬体T&L技术能够说是GPU的标志。

GPU能够从硬件上支持T&L（TransformandLighting，多边形转换与光源处理）的显示芯片，因为T&L是3D渲染中的一个重要部分，其作用是计算多边形的3D位置和处理动态光线效果，也可以称为“几何处理”。一个好的T&L单元，可以提供细致的3D物体和高级的光线特效。

为密集型、易并行程序而生

GPU的核数远超CPU，被称为众核（NVIDIA Fermi有512个核）。每个核拥有的缓存大小相对小，数字逻辑运算单元也少而简单（GPU初始时在浮点计算上一直弱于CPU）。在浮点运算、并行计算等部分计算方面，GPU可以提供数十倍乃至于上百倍于CPU的性能。GPU会产生大量热量，所以它的上方通常安装有散热器或风扇。

GPU的众核架构非常适合把同样的指令流并行发送到众核上，采用不同的输入数据执行。在 2003-2004年左右，图形学之外的领域专家开始注意到GPU与众不同的计算能力，开始尝试把GPU用于通用计算（即GPU）。

之后NVIDIA发布了CUDA，AMD和等公司也发布了OpenCL，GPU开始在通用计算领域得到广泛应用，包括：数值分析，海量数据处理（排序，Map- Reduce等），金融分析等等。GPU通用计算方面的标准目前有 OPEN CL、CUDA、ATI STREAM。

GPU面对的则是类型高度统一的、相互无依赖的大规模数据和不需要被打断的纯净的计算环境。适合在GPU上运行的有：

（1）计算密集型的程序。所谓计算密集型(Compute-intensive)的程序，就是其大部分运行时间花在了寄存器运算上，寄存器的速度和处理器的速度相当，从寄存器读写数据几乎没有延时。

（2）易于并行的程序。GPU其实是一种SIMD(Single Instruction Multiple Data)架构， 他有成百上千个核，每一个核在同一时间最好能做同样的事情。

具备以上特征的，是图形、视频的处理，因此GPU也可以说成专为图像处理而生。GPU图形处理的过程大致分成 5 个步骤： vertex shader、primitive processing、rasterisation、fragment shader、testing and blending。

1、vertex shader,是将三维空间中数个（x,y,z）顶点放进 GPU 中。

2、primitive processing，是将相关的点链接在一起，以形成图形。

3、rasterisation，因为电脑的屏幕是由一个又一个的像素组成，因此，需要将一条连续的直线，使用绘图的演算法，以方格绘出该直线。图形也是以此方式，先标出边线，再用方格填满整个平面。

4、fragment shader，将格点化后的图形着上颜色。

5、testing and blending。便是将第一步所获得的投影垂直距离取出，和第四步的结果一同做最后处理。

自动驾驶GPU厂商的一枝独秀

GPU厂商有不少，如Imagination、Inter、NVIDIA、AMD(ATI)、3dfx、Matrox、SiS和VIA、GCxx（隶属于Vivante）、Adreno（隶属于高通），但目前大部分的市场，都在移动端。

PowerVR（隶属于Imagination技术公司）专注于移动GPU技术授权，它是移动平台GPU授权的老大，授权伙伴主要有Intel、苹果、联发科、LG、高通、瑞萨、三星、海思、Marvell、索尼等等。

Mali（隶属于ARM）有一整套GPU授权方案很多不具备独立开发GPU技术的芯片供应商都直接使用了ARM处理器+Mali GPU的设计，比如三星、瑞芯微、展讯、意法半导体、全志等。

GPU厂商在移动市场领域也是呈寡头垄断局面，AMD和英伟达合力垄断了游戏/生产力GPU市场。但在自动驾驶领域吗，当中最为出名的，便是NVIDIA。

2016年底，基于AMD自家GPU芯片的Radeon Instinct姗姗来迟，号称服务于自动驾驶汽车/无人机等领域，可用于深度学习推理和训练。作为一个高性能GPU加速器，它结合MIOpen和ROCm开源软件，用于加速提升机器智能的发展。

其中Radeon Instinct MI6加速器基于备受欢迎的北极星GPU架构，采用被动散热，板卡功耗150瓦，FP16峰值性能达到5.7TFLOPS，板载16GB GPU内存。

Intel不但是世界上最大的CPU生产销售商，也是世界最大的GPU生产销售商。但在自动驾驶领域，Inter并没有朝着GPU的方向而去，而是选择了Mobileye的EyeQ和Altera的FPGA方案。

如此一来，GPU在自动驾驶领域的争夺，目前就只是NVIDIA的一家独大了。

NVIDIA的GPU全家桶

针对自动驾驶领域，NVIDIA煞费苦心的构建了软硬件一体化的解决方案，连入门的开发套件也一应俱全。

硬件产品：

DRIVE PX Parker AutoCruise，具备自动巡航能力，可支持高速公路自动驾驶以及高清制图。DRIVE PX Parker AutoChauffeur，可用于点到点行驶。DRIVE PX Xavier 能够提供 20 TOPS 的高性能，而功耗仅有 20 瓦。2018 年第一季度上市。

DRIVE PX Pegasus能同时运行许多深度神经网络，可满足自动驾驶的一切安全所需，无需方向盘或踏板。Pegasus 将于 2018 年中向 NVIDIA 的汽车合作伙伴供应。

软件产品：

NVIDIA DGX 系统 可以将数据中心的神经网络训练时间从几个月缩短到仅仅几天。所得到的神经网络模块可以在 NVIDIA DRIVE PX 上实时运行。训练好深度神经网络，然后再部署至汽车。

NVIDIA DriveWorks作为NVIDIA DRIVE软件的一部分提供，用于选择汽车制造商，一级供应商和研究机构，致力于开发让汽车自行驾驶的系统。

NVIDIA DRIVE IX 软件可利用来自车内外麦克风和摄像头的传感器数据，追踪驾驶员四周的环境。车载 NVIDIA DRIVE PX AI配合数据中心内的 NVIDIA Tesla GPU ，可创建高度精细的地图。

开发者套件：

当然还不止于此，为了让创业者更容易学习，接触人工智能，公司推出了高性能、低能耗的 NVIDIA Jetson TX1 \TX2模块。专为开发者研发的套件，可以帮助初创公司进行深度学习、计算机视觉，进行大型、复杂的深度神经网络实验。虽不是专门针对自动驾驶，但很多初创团队都是用了TX2，完成了初代自动驾驶技术的验证。

可以说，NVIDIA为用户提供了一整套的产品，让市场学习并接受以GPU为核心的自动驾驶运算力平台。但光有产品，教学还不够，要让市场接受新鲜事物，赤膊上阵有时也势单力薄，最好能拉一些巨头共舞。

结盟产业链供应商，力推自动驾驶平台

为了更好的帮助开发者，以及初创公司，NVIDIA与一家自动驾驶系统零部件供应商AutonomouStuff合作，开发了一套基于DRIVE PX的整套软硬件自动驾驶平台，分高中低配版本。

其中高级版本使用了福特Fusion车型，包含2个Velodyne VLP16激光雷达，未来将推出VLP32激光雷达；11个Sekonix摄像头；1个Xsens MTI-G710、1个GNSS辅助、IMU强化版全球导航卫星系统/惯性导航系统（GNSS/INS）；5个雷达；1个NovAtel SPAN IGM-A1惯性测量单元（Inertial Measurement Unit，IMU）；1个ibeo四层多回波（Four Layer Multi-Echo）LUX传感器。 

传感器合作伙伴：

当然不仅于此，在LIDAR厂商中，NVIDIA还挑选了ibeo、Quanergy、Velodyne作为合作伙伴。

NVIDIA和QUANERGY通过采用QUANERGY传感器和来自NVIDIA DRIVE PX（一个强大的自动驾驶平台）的处理器的集成方法，联手打造了自动驾驶汽车之路。QUANERGY传感器使汽车能够检测，识别和分类周围的物体。

摄像头也有合作伙伴，包括Ficosa Corp、FLIR、Leopard Imaging Inc、PointGrey / FLIR、Sekonix。FLIR以革命性的FLIRBoson®热像仪内核为基础构建而成的FLIR ADK™是开发下一代汽车热像仪和高级驾驶员辅助系统（ADAS）的经济高效方式。ADK的热数据端口可直接通过标准USB连接进行分析，或通过可选的NVIDIA DRIVE™PX 2连接进行分析。

Leopard Imaging Inc.专门创建相机解决方案。示例包括嵌入式机器视觉应用的立体深度映射，以及支持智能机器和消费类产品的摄像机。他们可以支持各种RAW和YUV传感器，可以使用NVIDIA的片上ISP，也可以使用CSI或USB使用外部ISP。

安全伙伴：

Elektrobit和NVIDIA合作，开发了适用于NVIDIA DRIVE™PX的Elektrobit EB tresos解决方案：用于开发高级驾驶辅助系统（ADAS）的软件平台。它将强大的计算处理器与硬件和软件相结合，为自驾车辆提供安全至关重要的ADAS功能。

2017年6月7日，瑞典哥德堡 - ARCCORE是汽车行业软件和嵌入式平台的创新公司，正在NVIDIA DRIVE™PX平台上构建安全关键软件，为复杂的汽车系统提供动力。ARCCORE的软件平台将基于着名的汽车标准AUTOSAR，并将用作自动驾驶的高性能评估系统。

结盟OEM、Tier1，落地商业化

为了推进自家产品的落地商用，NVIDIA又找来了主机厂、Tier1，主机厂中不乏奥迪、奔驰、丰田、沃尔沃，宝马菲亚特、雪铁龙、保时捷等全球知名厂商，Tier1有博世、ZF、奥托立夫、海拉。

2017年3月16日，Bosch展示了与NVIDIA合作打造的Bosch AI 车载计算机。

2017年5月10日，NVIDIA宣布它正在与丰田合作提供人工智能硬件和软件技术，以提高计划在未来几年内推向市场的自动驾驶系统的功能。

2017年6月26日，NVIDIA宣布与ZF和海拉建立了战略合作伙伴关系，将AI技术与新车评估计划（NCAP）安全认证相结合，用于大规模部署自动驾驶车辆。该协议是非排他性的。

沃尔沃汽车和奥托立夫将与NVIDIA合作开发用于人工智能自动驾驶汽车的先进系统和软件，他们计划在2021年之前出售基于NVIDIA DRIVE™PX汽车计算平台的生产车辆。

在 CES 2017 上，奥迪和 NVIDIA 宣布加速推进长期合作，这一新的共同目标将使先进的 AI 汽车在 2020 年上路行驶。NVIDIA GPU 为全球所有下一代宝马汽车中采用的车载导航和信息系统提供支持。特斯拉和 NVIDIA 从最早开发革命性的 Model S 就已经开始合作。

虽然跟OEM、Tier1绑定了合作关系，但NVIDIA并不踏实，因为大部分协议都是非排他协议。而在NVIDIA的官网上，自动驾驶合作伙伴一页中，Tesla、宝马、本田、奥迪的合作页面已经打不开。

犹记得在2017年底，马斯克在一个私下场合，曾表露出要自造自动驾驶芯片的意愿，料想跟NVIDIA的合作也不是太满意。嗯，他的上一个合作伙伴是Mobileye。