英伟达的自动驾驶蓝图：四大进展引关注

NVIDIA（英伟达）创始人兼首席执行官黄仁勋在GTC China上发表了2个多小时的主题演讲中，自动驾驶是重点之一，发布了软件定义的自动驾驶平台Orin、开源自动驾驶深度神经网络NVIDIA DRIVE、并宣布与滴滴达成合作，以及迁移学习、联邦学习等方面的进展等等。

根据现场演示的一段“点到点”的自动驾驶视频可以看到英伟达目前的进展：在遵守红绿灯交通规则、支持变道、进出匝道、汇车、监督驾驶员姿态方面都运行顺畅。

五年前很多人就说：“2020年就能看到自动驾驶的车辆了。”但现在看来这个目标还遥遥无期。不过技术仍在向前推进，业界也能更为理性地看待这个问题。

自动驾驶的挑战一直存在，“安全”无疑是最重要的一点。在车辆真正上路行驶前，需要大量的模型训练和开发工作，让自动驾驶车辆尽可能多去开更多的里程，才能够保证自动驾驶车辆比人类驾驶更为安全。

英伟达在汽车领域深耕已有超过十年的时间。在英伟达看来，AI技术在被道路上真正使用之前，其实是发生在数据中心的，因为对于自动驾驶来说，第一步是海量数据的收集工作。车上安装了多种多样的传感器，如果以每天行驶6小时-8小时计算，每周就会收集到PB级的数据。海量的信息需要进行处理、标记、存储、训练，以便车辆能够更好地了解周围环境、识别其它车辆、车道信息等。基于这些方面，英伟达与合作伙伴共同实践，让AI大脑能更好地了解、甚至去“驾驶”车辆。

黄仁勋提到，真正把这些技术应用在实际道路之前，需要首先进行验证，判断系统是不是真的能效。这需要大量的训练和开发工作，这也是为什么英伟达推出了很多的开发工具，只有不断地模拟、测试、验证，才能真正用于实际道路上。

开源自动驾驶深度神经网络NVIDIA DRIVE

“AI对于安全的自动驾驶汽车开发来说至关重要，它能够让车辆感知周围环境并做出实时反应，从而实现智能行驶。其核心是由数十个深度神经网络组成的，它们可以处理冗余和不同任务，以确保精确的感知、定位和路径规划”，黄仁勋表示，要真正实现自动驾驶，意味着车上需要更多的软件，也需要更多的计算能力去跑这些软件。

不过，深度神经网络的复杂度在增加，数量也在继续增加。要保证整个计算过程做得极其精准，避免车辆出现任何错误，开发者所面临的挑战是巨大的。

黄仁勋宣布将在NVIDIA GPU Cloud(NGC)容器注册上，开源其NVIDIA DRIVE自动驾驶汽车开发深度神经网络。由于AI自动驾驶汽车是软件定义的汽车，它必须基于大量数据集才能在全球范围行驶。向自动驾驶汽车开发者开源深度神经网络，并提供学习工具，能够使他们根据不同的数据集对这些网络进行优化。”

英伟达向自动驾驶汽车开发者开源的内容包括：预训练AI模型和训练代码。这些预训练的模型都是基于英伟达自己的IP所研发，用高质量数据训练了上千小时生成。通过NVIDIA AI工具，开发者们可以自由扩展和自定义模型，从而提高其自动驾驶系统的稳健性与能力。这些工具能够让英伟达的汽车客户去针对车型来定制自己的软件，这是之前做不到的。

革命性的自动驾驶平台Orin

黄仁勋还宣布了可用于自动驾驶和机器人的高度先进的软件定义平台——NVIDIA DRIVE AGX Orin，它内置了全新的Orin系统级芯片，由170亿个晶体管组成，集成了NVIDIA新一代GPU架构和Arm Hercules CPU内核以及全新深度学习和计算机视觉加速器，每秒可运行200万亿次计算，几乎是上一代Xavier系统级芯片性能的7倍。Orin可处理在自动驾驶汽车和机器人中同时运行的大量应用和深度神经网络，并且达到了ISO 26262ASIL-D等系统安全标准。

（ORIN芯片）

据英伟达汽车事业部高级总监Danny Shapiro介绍，Orin SoC是英伟达研发多年、投入数十亿美元的一款芯片，代表了英伟达下一代汽车和机器人SoC技术。作为一个软件定义平台，DRIVE AGX Orin能够赋力从L2级到L5级完全自动驾驶汽车开发的兼容架构平台，助力OEM开发大型复杂的软件产品系列。

值得一提的是，Orin和Xavier均可通过开放的CUDA、TensorRT API及各类库进行编程，因此开发者能够在一次性投入后使用跨多代的产品。

迁移学习、联邦学习可加速训练、保护数据隐私

迁移学习、联邦学习正在被英伟达用于自动驾驶领域，通过这些加速训练能够帮助整个行业进一步加快研发，并突破“数据”这一关键瓶颈。

对于预训练的模型，英伟达提供迁移学习工具，客户可以将自己的数据放到这些模型中，进一步进行优化,预训练的模型可以进行适当调整，以适应OEM特定的汽车、传感器和具体地区要求，加速汽车公司的研发进程。

联邦学习则可供多个组织和公司在不移动或共享数据的情况下进行合作。一直以来，数据隐私是瓶颈问题，而联邦学习可允许数据网络中的各个节点只负责训练其自身的本地模型，并定期提交给参数服务器。该服务器不断累积并聚合各自的贡献，进而创建一个全局模型，再分享给各个节点。其突破性在于实现了模型的流动，数据始终保存在本地，大大消除了数据隐私的顾虑。

特别是汽车行业跨国公司很多，在进行跨国的数据传输方面其实有很多限制。通过联邦学习，就可以用各地的数据来共同训练一个全球模型，这可以让更多的合作伙伴使用，对于合作的项目、公司，或公司内的其它部门，都能够从中获益。

可以说联邦学习是一个革命性的解决方案，不仅仅是汽车行业，所有有“数据隐私”需求的行业都可以采用它。

与滴滴达成合作

在客户合作方面，黄仁勋宣布和滴滴出行达成合作。滴滴将使用NVIDIA GPU和其他技术开发自动驾驶和云计算解决方案，在数据中心使用NVIDIA GPU训练机器学习算法，并采用NVIDIA DRIVE为其L4级自动驾驶汽车提供推理能力。

作为滴滴自动驾驶AI处理的一部分，NVIDIA DRIVE借助多个深度神经网络融合来自各类传感器（摄像头、激光雷达、雷达等）的数据，从而实现对汽车周围环境360度全方位的理解，并规划出安全的行驶路径。

自动驾驶何时到来？

英伟达汽车事业部高级总监Danny Shapiro表示，“物体识别”是一个关键领域，下一个阶段就是预测，例如：预测其它车辆和物体，然后做出相应的反应。现在全世界范围内有很多自动驾驶的试点，包括：中国、德国、美国、日本。英伟达和合作伙伴正在非常谨慎地、不断地向前推进，以保证最高级别的安全性。

真正的自动驾驶何时实现？Danny Shapiro的看法是，自动驾驶实验目前在一些受限环境已经开展很多了，例如在港口、机场、矿场、建筑工地、农业，以及固定路线的巴士，或是在其他规定区域内行驶的车辆。这些场景相对封闭、路线固定、目标物体较少。而自动驾驶真正在开放路面使用，还有一段路要走。