剖析Tesla全自动驾驶之路:从 Autopilot 2.0 到 3.0的历史进程

2019-06-14来源: 2030出行研究室关键字:Tesla  自动驾驶  Autopilot  2

作者简介:知乎id ryan woo,硅谷软件工程师,第一批特斯拉Model 3车主


之前笔者曾在知乎上发表过两篇关于Tesla Autopilot 1.0的文章,感兴趣的读者可在知乎上查找「Ryan Woo:Tesla自动驾驶的前世今生」、「Ryan Woo:Tesla 自动驾驶2.0」。今天笔者将主要剖析Tesla全自动驾驶之路的最近一个进程——从 Autopilot 2.0 到 3.0的升级。

 

虽然 HW 3.0 FSD 全自动驾驶电脑的喧嚣已经过去一段时间了,不过还是希望这篇文章能够提供一个比较硬核的关于 Tesla Autopilot 硬件及其发展历史的介绍。(在下文中为了方便把 “Autopilot 自动辅助驾驶” 简称为 “AP”)


首先我们来看一下从第一代到如今第三代AP电脑的对比简图:

我们先来聊一个不起眼的东西:摄像头滤镜。


摄像头滤镜


AP 2.5 与 AP 2.0 在硬件上一个看似不起眼的区别,便是摄像头从RCCC滤镜换成了RCCB滤镜。

 

在说RCCC和RCCB滤镜前,我们先说个大家几乎每天都在用的滤镜——RGB滤镜,也叫做拜尔滤色镜:

 

RGB其实是分布着3种彩色的滤镜, RGB 分别代表着:R(Red)红,G(Green)绿,B(Blue)蓝,但是在实际应用中,为了更好的适应人眼视锥细胞的特性——对绿光尤其敏感,所以我们实际使用了50%的空间安装绿滤镜,剩余各25%安装红和蓝滤

镜,因此实际应用中应该被称为RGGB滤镜 。


当光线经过不同颜色的滤镜后,我们会得到相应的RGB通光量,再通过去马赛克算法来插值得到每个像素的红、绿、蓝色的组成数值,从而呈现我们所看到的彩色。

解释了我们常见的RGGB滤镜,再来看 Tesla 用到的 RCCC 和 RCCB滤镜。这其中C代表着Clear,也即是白色滤镜,于是当光线通过滤镜时,我们能得到更多的亮度信息而不是色彩信息,这样做的直接好处就是在昏暗的光线下,可以得到几倍于RGB滤镜的亮度信息,这对于CMOS传感器面积有限的车载应用尤其重 :

那么为什么我们需要一块红色滤镜呢?聪明的你应该能猜到了——因为人类世界很多警告信息就是用红色/橙色代表的,例如红灯、停车牌等,所以获取红色信息远比蓝色、绿色更为重要。

 

现在说完了RGGB和RCCC滤镜,RCCB就很好解释了:B也即是蓝色,所以 RCCB 就是 25%红色,50% 白色,25% 蓝色组成的滤镜[3],那么为什么我们要加入蓝色呢?

 

因为随着技术的进步,我们不再仅仅只需要获得亮度和红绿灯感知(RCCC),我们还需要更多的靠颜色来感知整个世界,如果说RCCC是最大限度做到辅助驾驶,让一切光线变得有利于物体有无的判断,那么RCCB就是让你在不牺牲亮度的前提下,最大限度的感知整个世界,这也正是全自动驾驶所需要的信息量——我不仅要知道那是一个障碍物,我还需要知道那是一个什么样的障碍物,会对我的自动驾驶决断产生如何的影响。


在Aptina的RCCB演示图标中可以对比看见,RCCB 滤镜能够比参考的RGGB滤镜多出 3-4dB 信噪比,同时依然能保证图像的清晰度和接近的彩色还原 :



看完了这不起眼的滤镜介绍,这里插播一个问题供大家思考:为什么Tesla HW 2.0 没有提供行车记录仪和哨兵模式呢?


360度环绕摄像头


曾有一个记录视频,仪表盘的车跳得非常欢快。如果这就是 AP 计算时摄像头采集的数据,我是不是应该很担心呢?

 

先说结论:

 

1. 因为AP摄像头最佳工作状态时运动时,静止或者慢速时会产生不可避免的显示问题。

2. 屏幕显示的动画是示意图,远不是AP实际得到的计算输入数据,因此完全不用担心AP的决策。

 

现在我就来解释这种看似可笑的显示失误是如何产生的,以及为什么我们不用担心 AP 的决策。如前所述,AP HW 2.0 之后的系统装备了8个周边摄像头,由于视角的差异,摄像头与摄像头之间其实是有重叠的部分。


这就是摘取的一个AP状态时侧后、侧左同时看到的一帧图像——非常正常的一辆埃尔法从左后方开过来:

但是我们如果把时间再往后一点,埃尔法侧后还没完全经过,车头却进入了侧左摄像头的视角:

而如果我们看三个摄像头,侧后、侧左和超广,这台埃尔法甚至车头都没有了!同时多了一个屁股留在左后视角中:


我们再往前看一点,左后干净了,但是左侧剩下一点车尾,而超广中居然仅有一个车头:

所以我们再去看刚才那个仪表“跳舞”的视频,结合这里的视角想想,其实就是当车停止或者慢速的时候,摄像头在判断车的形状、方向、大小的细节时被这种切割的画面所干扰,得到了匪夷所思的跳舞效果。类似的,如果你仔细观察一辆车从你后方超车经过,你也会看到动画中的车会在接近你时突然靠近你的车道,似乎是要侧撞了,但是又渐渐回到自己车道,再安全远离。其实这些都是摄像头采集数据时,车在跨越集合部分时断层产生的错误图像。

 

那么我们究竟要不要在乎这种看似很危险的显示呢?AP 会不会认为旁道的车突然接近我而反向躲避呢?这里就要用到一点神经网络数据处理的知识了——当输入数据的时候,我们是有错误标记的,那么神经网络的第一步就是尽可能标准化我们的数据(Normalization),所以对摄像头视野进行校准,对两个摄像头之间的重叠区域进行标记和取舍就是 AP 数据处理时的重要一部分,而这些恰恰是 AP 硬件决策计算前可以很容易解决的。还记得你提车时那段几十公里的路校准摄像头吗?就是这个作用——每一台车的摄像头角度会有细微的差异,而这个校准的过程也会一直在背后进行,渐渐的AP电脑就会知道每台摄像头的像差如何,距离如何,重合的视角如何计算,后期就只需要套用这个计算好的补偿公式,便能得到一个完整的360度视频进行传递给 AP 的神经网络做决策计算。


所以现在你明白当我们看到那些好笑的“跳舞”小车时,不用过度惊慌了吧!当然如果Tesla 有足够的计算能力,它也能在显示动画小车的部分做这样一个数据校正补偿处理,也许等到 HW 3.0 有足够算力时,他们会逐步解决这个显示问题。


Autopilot 车载电脑


在以前介绍AP 1.0 的文章中我详细解释了它的硬件构造和布局,这里我便跳过这部分,直接对HW 2.0、HW 2.5 以及HW 3.0 进行比较和说明。

 

HW2.0,先说结论:HW 2.0 是赶工的产物,由于那次著名的AP事故 ,Mobileye 与 Tesla 的关系极速变冷,Tesla 只能把还在研发中的 HW 2.0 匆忙上架,具体赶工到什么样,我们可以通过电路板间接看出来。

 

这是 NVIDIA 的 Drive PX 2开发基板,正面是两块 Parker CPU 模组:



NVIDIA Drive PX2 测试基板正面是两块 Parker CPU 模组

 

背面是两块 Pascal GPU 模组:


NVIDIA Drive PX2 测试基板背面是两块 Pascal GPU 模组

 

所以总共是:


4x Denver + 8x Cortex A57 CPU + 2x Parker GPGPU。

 

这是第一批 Tesla 2016 Model S AP HW 2.0 的主板,可以明显看到四个问题:


1. 主CPU附近有大量的基板留白;


2. 整个主板仅有一颗 Parker CPU 和一颗 Pascal GPU;


3. Pascal GPU 依然通过类似开发主板桥接的方式与主基板连接在一起;


4. 背面有大量的留白。


可以明显看出其主板的整体集成度并不高,基本就是NVIDIA 开发公版的简单套用,同时所有芯片加起来仅有:2x Denver + 4x Cortex A57 CPU + 1x Parker GPGPU。


相较于NVIDIA Drive PX2 测试基板理论算力整整少了一倍,如果 NVIDIA 都不敢说自己完整版的Drive PX 2 可以做到L5 甚至 L4,Tesla 何德何能可以把仅有一半算力的平台做到全自动驾驶?



Tesla 2016 Model S AP HW 2.0 主板-正面Tesla 2016 Model S AP HW 2.0 主板-正面


Tesla 2016 Model S AP HW 2.0 主板-背面Tesla 2016 Model S AP HW 2.0 主板-背面


所以到这里我想你也能得到同样的结论:

 

这个HW 2.0 就是内外压力之下,Tesla 匆忙上架的产物,为了降低采购成本,Tesla 仅仅选取了最核心的 Drive PX2 AutoCruise(理论计算性能仅有一半)先满足宣传和稳定民心的需要。接下来怎么走? 我们站在2019年往回看,那会是风雨摇摆的两年。


2016年12月,就在 HW 2.0 发布后不到两个月 Tesla AP 主管 Sterling Anderson 便离职,而且带走了不少 AP 组的工程师和高管去自己的创业公司。


而失去了自己主管的Tesla 情急中找到了LLVM 编译器和 Apple Swift 语言的创始人 Chris Lattner 来领导 AP 开发,而这时的 HW 2.0 AP 就像襁褓中的婴儿,不仅硬件资源吃紧,整体软件也要从0开始研发,Elon Musk 许诺的2-3个月便能超越 AP 1.0 的计划彻底落空。最终顶着巨大压力的 Chris Lattner 仅仅干了不到 6个月便悄然离去,加入了 Google 。

而购买了AP HW 2.0的车主甚至发起诉讼,控告Tesla 没有拿得出手的 AP 可用,就在这生死存亡之时,Elon Musk 终于给AP部门物色到了新的主管——Andrej Karpathy,作为Musk 从OpenAI 挖来的大将,也是李飞飞的高徒,Andrej 临危受命,以一个研究人员的身份扛起了 AP 开发的大旗。

也在同一时间,Tesla 发布了 HW 2.5 硬件,但是整个过程非常低调,有黑客发现Tesla的在线配置系统突然出现了 AP3

[1] [2]
关键字:Tesla  自动驾驶  Autopilot  2 编辑:鲁迪 引用地址:http://news.eeworld.com.cn/qcdz/ic464670.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:技术文章—通过深入学习提高和发展车辆感知
下一篇:超级大国的自动驾驶之争 中国胜算何在?

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

特斯拉电卡(Tesla Semi)车实现预期续航,960公里?
众所周知的是,大众款Model 3如今是美国特斯拉公司的明星车型,不过特斯拉尚未生产销售的另外一个“秘密武器”是电卡车(品牌为Tesla Semi)。据外媒最新消息,特斯拉电卡车日前传出一个好消息,在上路测试中,在装载大约34吨货物的情况下,这款卡车实现了预期的续航里程,有可能是马斯克过去提到的960公里续航。 据国外媒体报道,严格来说,特斯拉的电卡车是半挂车(卡车车头),司机可通过各种后挂车厢运输不同种类的货物或集装箱。 据悉,2017年,特斯拉公司正式对外发布了电卡车,当时该公司表示,未来大规模生产版本的特斯拉电卡车是一款“美国8级卡车”,最大载重量为36吨。 电卡车提供两个版本,15万美元版本
发表于 2019-08-19
由于驾驶使用不适当的USB而导致TeslaCam的问题
在几个月前的特斯拉论坛上讨论的范围涵盖驾驶人所面临的问题,有关他们的存储介质用于TeslaCam和他们车内的哨兵模式。 TeslaCam是一款在驾驶时持续运行的仪表盘。 Sentry Mode是一项新功能,除了其他功能之外,一旦车辆接近车辆,它就会使用车辆的摄像头记录周围环境。然而,重点是要强调此USB问题并非TeslaCam才有的,而是通常一般行车记录器和汽车驾驶需要花钱另外买USB磁盘驱动器来存储他们大量写入的数据。这两项功能可将大量数据存储在USB驱动器或SD卡(通过USB适配器)上,可插入车辆中控台的USB端口。在深入探讨之前,重要的是必须重申人们遇到的问题不在于Telsa,而是Telsa为了管理和支持汽车的数据需求所购
发表于 2019-07-25
由于驾驶使用不适当的USB而导致TeslaCam的问题
由于使用不适当USB而导致TeslaCam的问题
在几个月前的特斯拉论坛上讨论的范围涵盖驾驶人所面临的问题,有关他们的存储介质用于TeslaCam和他们车内的哨兵模式。 TeslaCam是一款在驾驶时持续运行的仪表盘。 Sentry Mode是一项新功能,除了其他功能之外,一旦车辆接近车辆,它就会使用车辆的摄像头记录周围环境。 然而,重点是要强调此USB问题并非TeslaCam才有的,而是通常一般行车记录器和汽车驾驶需要花钱另外买USB磁盘驱动器来存储他们大量写入的数据。 这两项功能可将大量数据存储在USB驱动器或SD卡(通过USB适配器)上,可插入车辆中控台的USB端口。在深入探讨之前,重要的是必须重申人们遇到的问题不在于Telsa,而是Telsa为了管理
发表于 2019-07-25
由于使用不适当USB而导致TeslaCam的问题
车内辅助系统来了,人类驾驶能否被自动驾驶成功取代?
在过去几年,自动驾驶汽车产业一直非常乐观,声称Level 4与Level 5的自动驾驶技术将可以在2020年导入大众车款。然而,去年在美国亚利桑那州发生的自动驾驶测试车辆撞人致死事故,以及数起滥用TeslaAutopilot功能所导致的致命案件,透露了一个共同的事实:它们证明,要在现实世界的条件下以机器驾驶取代人类驾驶相当困难。 随着关于自驾车的非理性狂热在残酷的现实中逐渐平息,车厂开始意识到与自动驾驶相关的商业与法律风险。这可以从美国汽车工程师学会(SAE)设定的自动驾驶技术等级出现了变体,例如“Level 2+”、“Level 3-”或是笔者目前最爱的“Level 2.9”看出。 好吧,我们懂了……车厂
发表于 2019-06-10
车内辅助系统来了,人类驾驶能否被自动驾驶成功取代?
消费者对Tesla 的“隐形认可”在哪些方面?
不管产品包含多少高深的技术和创新,最后的归宿都是消费者或者说是终端用户。对消费者理解和尊重,不全是大道理,也不是噱头。我们来看看炒得火热tesla,ElonMusk梦想的实现过程。更多面对行业内诸多抨击、批评,但是,Tesla火爆的订单是现实,这是为什么?我非常认同ElonMusk自身定位的“科技公司”。不过正是这个科技公司正在不折不扣的颠覆人们三观。                             平全文   用心做好,用户看不到的地方
发表于 2019-04-12
消费者对Tesla 的“隐形认可”在哪些方面?
汽车智能网联与自动驾驶行业盛会不容错过
2019深圳国际汽车智能网联及自动驾驶创新技术论坛是由OE 汽车与隶属于全球领先展会主办方英富曼集团的UBM Creativity博闻创意联合举办。      本次论坛联合深圳国际未来汽车及技术展2019(EV&AUTOTRONICS China 2019,简称EVAC 2019),于2019年12月19日在深圳会展中心举办,强强联合共同打造中国重要的未来汽车技术交流展示平台,将邀请汽车行业专家、政府领导、高校教授、整车厂、零件部公司围绕汽车智能网联及自动驾驶领域共同参与探讨,促进产业升级,共同推动汽车行业前瞻技术发展与进步,在现场您将与海内外超30,000家专业买家、超300家高新
发表于 2019-10-09
小广播
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2019 EEWORLD.com.cn, Inc. All rights reserved