自动驾驶软件能否检测到我们所看到的

2020-10-16来源: EEWORLD关键字:自动驾驶软件  移动眼

自动驾驶软件驱动程序能感知、检测和预测在车辆周围弹出的物体吗?它能像人类驾驶员那样,掌控自发事件的重要性,设计出安全、果断的反应吗?

 

这是一个价值640亿美元的问题,但我们至今还没有找到答案。

 

大多数自动驾驶公司和科技公司,包括Waymo、Cruise、Nvidia、Mobileye和一大批初创公司,都试图通过发布自动驾驶汽车在城市行驶的视频片段,来展示其自动驾驶软件的成熟度。但问题在于,通常有些场景要么被明显地剪辑掉,要么被巧妙地加速。影片中提到了用于拍摄地点的城市,但通常没有提到拍摄时间。

 

 

在开发自动驾驶汽车的科技公司中,英特尔/Mobileye是最具代表性的。Mobileye公开了两段未经编辑的视频片段——一段是在1月份的消费电子展期间,另一段是在5月份。

 

视频都是在耶路撒冷繁忙的街道上拍摄的。每个Mobileye视频显示器屏幕上相同的三个独立的视频元素: 一架Mobileye自动驾驶在耶路撒冷驾驶的无人机镜头,一名安全司机的视图(显示他正在做什么),以及可视化软件,将机器的视图呈现为周围的自动驾驶工具。

 

这段视频可以让我们了解到,在耶路撒冷,自动驾驶正在 (无人机镜头)看些什么,它的传感器(12个摄像头)正在捕捉什么,Mobileye的自动驾驶软件是如何解读世界的,以及机器是如何理解可视化软件呈现的视图的,可视化软件指导着自动驾驶的行动。我们还密切关注安全驾驶员,了解他看到了什么,以及与可视化软件的外观相比是否出现了人为差异。

 

这个练习非常耗时。但当Mobileye宣布,中国吉利汽车集团将从明年开始将Mobileye的自动驾驶“全堆栈”、360度摄像头ADAS解决方案用于动力级别L2+的电动汽车时,这意味着到这个实验将具有重大意义。

 

Mobileye与吉利的协议表明,Mobileye正在将最初为L4测试自动驾驶开发的软件在耶路撒冷“经过试验和验证”——进口给中国的L2/L2+消费者汽车。这是自动驾驶汽车的自动驾驶软件和硬件第一次直接针对消费者的ADAS汽车,实现“hands-free ADAS”的案例。Mobileye承诺在不到一年的时间内实现这一里程碑。

 

这是否代表了Mobileye的自动驾驶软件驱动的成熟。在开始耶路撒冷测试之前,该公司已经为严格的设计和工程制定了预先的细节,这在自动驾驶开发中是非常必要的。

 

英特尔高级首席工程师和Mobileye自动驾驶汽车标准副总裁Jack Weast最近强调:“你不能把一堆东西编码出来扔在路上,然后看看会发生什么”——许多自动驾驶初创公司都遵循这样的做法,希望能吸引风投资金。在Mobileye的情况下,“你要深入思考系统的设计。你要试着理解纸上的设计是什么样,并对设计进行正式验证。”

 

英特尔一位发言人表示,Mobileye从2013年开始开发和测试高速公路试点,并一直在增加不同的功能,包括高清地图,责任敏感安全和真实冗余。 “2018年初开始了对现有配置的广泛道路测试。”

 

我们在标记什么

 

在一帧一帧地反复观看Mobileye的视频剪辑后,我们注意到一些东西所引发的一些问题:

 

可视化软件是否正确地评估了某一对象(卡车和公共汽车的混淆)?

软件是否在跟踪目标?一些汽车或人突然消失了,软件似乎完全遗漏了他们,但是,几秒钟后,他们又重新出现。为什么?

我们应该担心这些闪烁的物体吗?

为什么视觉传感器没有检测到特定的物体,比如1月份发布的Mobileye视频中的摩托车或婴儿车?在感知这些物体之前,传感器似乎迟疑了几秒钟。

难道自动驾驶没有撞到婴儿车只是运气吗?

Mobileye的自动驾驶软件,一些驾驶动作,比如没有保护的左转,让我们觉得有点过于激进。

 

需要澄清的是,与我们交谈过的自动驾驶专家中没有人对我们所说的“潜在问题”发出警告。“我们把它们视为危险信号,但专家们并认为。

 

一位匿名的自动驾驶专家表示:“计算机视觉是一个困难的问题。”从传感器的观点来看,“可能有什么东西挡住了视线。“传感器实际能看到的东西和我们从其他角度能看到的东西之间有很大的区别。”

 

VSI实验室的创始人和负责人Phil Magney告诉我们,“关于visualizer的评论,确实有些物体消失了又出现了。这并不罕见。根据Magney的说法,“当对物体的信任度瞬间下降时,你会从视觉工具中失去目标。”当存在部分遮挡或当物体的方向改变时,就会发生这种情况。在一些物体上,它们会消失,只有当物体靠近时才会显现。在这种情况下,当目标进入对车辆至关重要的感兴趣区域(ROI)时,这些条件下的置信度才会增加。”

 

当被问及最初没有在可视化软件屏幕上检测到的婴儿车时,Magney表示,“这可能是分类的问题。它是基于神经网络和它被训练的好坏。”

 

那么,问题会是自动驾驶软件驱动程序从未见过婴儿车吗?但是Magney注意到软件驱动程序并没有完全忽略bug。“实验对象暂时有足够的置信度进行分类,但几帧之后,由于物体的方向改变,它消失了,但当你走近时置信度又增强了,实验对象又重新出现了。”

 

软件并非完美无缺

 

Mobileye的首席技术官、英特尔公司的高级研究员Shai Shalev-Shwartz承认:“我们的视频显示了最近的进展,但并不是完美的。”

 

他强调,“我们的立场是,透明度是构建自动驾驶系统过程中的一个关键因素。”

 

在深入研究提到的具体场景之前,Shalev-Shwartz给出了一些一般性的评论:

 

可视化只显示“事实”——目前被摄像机稳定探测到的事件。驾驶政策有一个“常识”层,包括“事情不会凭空消失”这样的逻辑。“这些非视觉指南是汽车决策过程的一部分。

 

一些物体在二维图像中被检测到,但是在三维世界中理解它们的位置和运动状态会带来很大的不确定性。这些2D图像没有显示在可视化中,而是在RSS(责任敏感安全)上下文中使用。

 

RSS的一个重要组成部分是“知道你不知道的东西”。这意味着在任何时候,对于三维空间中的每个区域,我们知道以下情况之一:

 

(1)已知它被某个道路使用者占用

(2)已知它未被占用

(3)未知。RSS逻辑在每种情况下都能正常运行。我们对2D中检测到的物体也使用“未知”机制,但是在3D世界中定位它们有很多不确定性。

 

Mobileye回应物体消失之谜

 

视频的第一部分我们要检查的是婴儿车。13:48到15:05。

 

婴儿推车失踪了?

 

14点52分,有个人推着婴儿车。上面的图片是视频中婴儿车出现时的一个画面。计算机似乎直到很久以后才意识到这一点。这是AI没有训练过的对象的情况吗?

 

Shai Shalev-Shwartz:行人和婴儿车一直都在被检测。然而,可视化只显示“事实”。

 

下一个视频片段是从16:40到17:20。事件发生在16:47左右。这个可视化软件似乎搞不清楚从左边过来的是一辆公共汽车还是一辆卡车。然后它瞬间消失了。

 

Shai Shalev-Shwartz:区分卡车和公共汽车对自动驾驶的决策不是必须的,特别是当它离你有三辆车远的时候。

 

AV Software Driver

 

在17:17左右,你突然看到一个红色的盒子,这种物体之前没出现过。什么造成了这样的幽灵?

 

Shai Shalev-Shwartz:我们的感知神经网络被调到安全的一边(falsie vs. missy),因为目标丢失是一个安全问题,而错误检测这个问题比较comfort(缓和)。尽管如此,驾驶的舒适性并没有受到影响(决策时要考虑到目标是“活跃”的车架数量,并相应地调整制动配置以减少颠簸)。

 

AV Software Driver

 

在21:50左右。一辆摩托车明显地朝那辆汽车驶来。这是安全驾驶员的观点。计算机似乎直到很久以后才意识到这一点。为什么?

 

Shai Shalev-Shwartz:做决策时要考虑到不确定性(在显示器上看不到)。

 

我们要强调的第一部分是在3分钟之后。为什么车子在3:05左右几乎停了下来,而左边的车道明显是空的,它可以很容易地绕过卡车?

 

Shai Shalev-Shwartz:我们使用不同的上下文线索来确定一个物体是否是需要超车的障碍物/静止物体(例如,等待在交通堵塞中的车辆vs.双停车辆)。这一机制正在迅速完善。然而,这不是一个与安全相关的问题。

 

 

一群汽车停在街道的右边。他们中的任何一个都可以退出。然而,可视化软件只能看到一个。是什么引发了这种闪烁现象?在整个过程中,对象都是在“低级”位置被检测到的。这只是一个形象化的问题。

 

 

接下来我们要提醒大家注意的是左转向。视频在10:45左右开始。Mobileye测试车缓缓驶进道路,因此它基本上阻断了交叉交通,为自己创造了一个开口。还有一些时候让我觉得是攻击性驾驶。这被认为是“文化差异”的行为吗?

 

Shai Shalev-Shwartz:这在以色列和大多数西方国家都很正常。无所事事地等待完美的情况是没有用的。请记住,我们基于RSS的驾驶政策可以很容易地调整以适应不同的驾驶风格。

 

下一部分我们要问的是14时33分到14时48分。在拍摄过程中,Mobileye车队正等待转弯。为什么方向盘会动得这么厉害?看起来计算机正在进行自己的路径规划。但是什么导致了方向盘的疯狂移动呢?

 

Shai Shalev-Shwartz:这是黑客攻击工具的副作用之一。当使用带有专用控制栈的av就绪平台时,就不会发生这种情况。

 

 

我们所涉及的下一个问题是当Mobileye车辆停下来换电池后会发生什么。顺序大约从14:45开始。在无人机拍摄的视频中,我们看到右侧停着几辆车。但在可视化软件上,停车数量一直在变化。导致这个的原因是什么?

 

Shai Shalev-Shwartz: 这就是之前提到的(1)已知它被某个道路使用者占用(2)已知它未被占用。

 

情况在“不断改善”

 

根据Shalev-Shwartz的说法,一言以蔽之,Mobileye的自动驾驶软件在不断改进。

 

大多数自动驾驶专家和Mobileye一致认为,自动驾驶软件在公交和卡车上的混淆并不重要。一位行业观察人士表示:“(一辆车的)尺寸可能颇具挑战性。但当我们谈到探测和反应时,我们真正关心的是知道你前面有一辆车。”

 

Mobileye的CTO解释:“这只是一个显示问题(不影响驾驶安全性)。从计算机视觉的角度来看,这是一个相当简单的任务。由于它不是安全关键因素,因此没有得到优先考虑。尽管如此,他补充说,“最近的传感版本在这方面表现出更好的性能。”

 

尽管如此,我们还是注意到可视化软件在确定对象大小时似乎存在问题。这是否由2D成像的限制造成的?

 

Shalev-Shwartz:“这在不断改进,并且已经达到了相当大的准确性水平。Mobileye使用基于RSS的驾驶策略,为有限的可见性增加了安全保障。

 

为什么计算机有时在跟踪一个对象时似乎有问题。在一个场景中,它看到了一辆汽车或一个人,但在另一个场景中,几秒钟后,计算机似乎完全忘记了它看到的东西。对象就消失了。这很令人担忧。

 

Shalev-Shwartz表示:“我们肯定会追踪物体。我们有时会因为遮挡或图像的局部可见性而无法跟踪,所以我们不能‘指望’它,也不能通过深度神经网络来确定它的存在(故障通常是由于遮挡或分类错误造成的)。”

 

 “此外,我们基于RSS驾驶政策使用新颖的方法和技术来处理遮挡和能见度有限区域。这就是为什么这些“错误”不会影响驾驶体验和驾驶安全的部分原因。”

 

虽然我们所有的操作都是手工完成的,但我们相信Mobileye有工具可以自动发现电脑在每个硬盘上可能犯下的错误。这个过程是怎样的。

 

 “我们有一个非常结构化的程序。每次试驾都有一名安全驾驶员和一名负责实时标记事件的副驾驶。然后,我们通过一个专门的团队执行的离线分析来运行日志。在大规模的验证中,我们使用了新奇的方法,比如与L/R系统进行比较,使用参考传感器离线地真相等。”

 

 

总结

 

Mobileye的此次测试给予了自动驾驶相当的大的贡献,当越来越多的设备被认为比人类更聪明时,我们就会越来越迫切地想知道这是怎么回事?


关键字:自动驾驶软件  移动眼 编辑:muyan 引用地址:http://news.eeworld.com.cn/qcdz/ic513385.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:2021款奥迪e-tron首配数字化矩阵LED前大灯 可投射图像
下一篇:首尔半导体推出新型汽车前大灯 可将电动汽车能耗降低约20%

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

特斯拉将在未来几周内发布 “零干预”全自动驾驶软件
10月9日消息,据国外媒体报道,电动汽车制造商特斯拉的首席执行官(CEO)埃隆·马斯克(Elon Musk)透露,特斯拉将在未来几周内发布最新版的FSD(全自动驾驶)软件,可使车辆实现零干预驾驶。这项功能的推出暗示,特斯拉可能推出自动驾驶出租车车队,这是特斯拉内部的网约车服务。马斯克认为,该公司能够在2021年将自动驾驶出租车车队投入使用。在该公司允许司机使用自动驾驶出租车车队运送乘客之前,该公司必须改进和提升其Autopilot(自动辅助驾驶系统)和全自动驾驶套件。Autopilot一直以来都很引人注目,但它只是部分实现了自动化。目前,特斯拉已经通过一系列软件更新来改进Autopilot系统和全自动驾驶套件。7月初,马斯克曾在
发表于 2020-10-10
全新自动驾驶软件能让你看到3秒以后的动作
,都能正确评估其他汽车的行动。另一方面,无人驾驶汽车软件应对这种情况是极其困难的。这意味着事故很可能发生,而对自动驾驶汽车的接受程度正在下降。 基于这些可能的场景,系统为无人驾驶汽车确定各种运动选项。与此同时,该程序还计算可能出现的紧急情况,通过加速或刹车,车辆可以在不危及他人安全的情况下驶往安全地方。如果轨迹可以在没有可预见的碰撞的情况下行进,并且同时可以进行紧急操纵,则自动驾驶车辆可以使用该轨迹。 交通状况的详细预测在以前被认为过于复杂,不可实行。但由Matthias Althoff教授领导的慕尼黑研究小组现在不仅能够证明实时数据评估和对未来交通状况的同步模拟在理论上是可能的,而且还能够提供更可
发表于 2020-09-21
全新<font color='red'>自动驾驶</font><font color='red'>软件</font>能让你看到3秒以后的动作
知行科技完成B1轮融资,用于扩大自动驾驶量产规模
近日,知行科技宣布完成 B1 轮融资,将主要用于扩大 L2 级自动驾驶的量产规模扩大、推进 L2+自动驾驶量产。据悉,本轮融资由建银苏州科创基金领投,禾裕壹号跟投,原股东理想汽车、明势资本、国中创投继续跟投。 知行科技集成了 L2 级自动驾驶控制器的智能前视摄像头已获得多家主机厂的量产定点,将于本月开始给某家一线车厂批量供货。明年,公司会进行更高级别的 L2+自动驾驶量产。  知行科技智能前视摄像头采用 AUTOSAR 软件架构,支持最高 3 路 CAN,能够实现 ACC Stop&Go、AEB、Full speed LKA、TJA、IHBC 等 L2 级自动驾驶功能。在 80km/h 以内
发表于 2020-07-06
知行科技完成B1轮融资,用于扩大<font color='red'>自动驾驶</font>量产规模
英伟达与梅赛德斯奔驰达成协议,为其提供自动驾驶芯片和软件平台
6 月 24 日讯,英伟达已与德国戴姆勒旗下梅赛德斯奔驰达成协议,公司将为奔驰自 2024 年生产的汽车提供最终可用于自动驾驶功能的芯片和软件平台。 据了解,两家公司将基于 Drive AGX Orin 自动驾驶平台开发自动驾驶解决方案,其中自动驾驶芯片的运算能力可以达到 200TOPS。根据英伟达的计划,这一芯片最早将在 2022 年正式量产。 两家公司的合作也不仅局限于硬件、软件层面,可以说英伟达建立了自动驾驶的整体解决方案,包括前期数据搜集、深度学习模型的训练、AI 模型的建立以及模拟。在交付用户后,英伟达也会负责软件升级,并通过 OTA 的方式分发给用户。  新的计算平台不仅将会
发表于 2020-06-24
英伟达与梅赛德斯奔驰达成协议,为其提供<font color='red'>自动驾驶</font>芯片和<font color='red'>软件</font>平台
未来汽车:一台特殊的电脑
的,此后,更多关于汽车软件安全漏洞的报告相继出现。现在我们已经意识到,汽车是极易被攻击的,并且随着软件驱动和自动化程度的提高,它们将变得愈加复杂。在未来几年,随着智能基础设施的普及,汽车的安全挑战只会更加严峻。许多人认为,行业标准和相关法规的出台能为汽车制造商提供指引,将安全性紧密地整合进流程中,从而安全地设计、制造和管理汽车。其中一个例子就是加州出台的相关法规,要求自动驾驶汽车在安全方面必须达到一定标准。正如互联移动和全球汽车实践战略分析总监Roger C. Lanctot在文章《智能出行和智能城市的挑战》(来自《通往移动出行之路》电子书)中写道的,除了安全问题外,汽车公司正在更新它们的准许管理和数据隐私算法,以应对日益增长的数据隐私
发表于 2020-06-18
未来汽车:一台特殊的电脑
移动又一强敌诞生, Veoneer与高通联姻
总裁Cristian Amon和总部位于斯德哥尔摩的一级资本公司Veoneer的首席执行Jan Carlson公布了合作协议。根据协议,他们将把Veoneer开发的“感知和驾驶政策堆栈”与高通(Qualcomm)用于ADAS和自动驾驶汽车的Snapdragon Ride平台结合起来。  尽管这些公司在电话会议中对竞争对手的名字只字不提,但有两件事在不断变化的AV市场中脱颖而出。 首先,VEONEO - QUALCOMM团队已经将目光投向英特尔的移动眼。 这两家公司声称,他们的解决方案将是现有供应商(即Mobileye)的“真正替代品”,因为它向一级供应商和OEM提供“开放系统
发表于 2020-09-01
<font color='red'>移动</font><font color='red'>眼</font>又一强敌诞生, Veoneer与高通联姻
换一换 更多 相关热搜器件
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2020 EEWORLD.com.cn, Inc. All rights reserved