谁告诉你DMS只是个临时解决方案?

2020-06-23来源: EEWORLD关键字:DMS  ADAS

鉴于特斯拉频频发生的自动驾驶事故来看,我们是时候对DMS驱动程序监控系统做一个详细的解析了,那么什么是DMS?

 

作为ADAS系统的主要功能之一,DMS(Driver Monitor Status )防疲劳预警系统是利用DMS摄像头获取的图像,通过视觉跟踪、目标检测、动作识别等技术对驾驶员的驾驶行为及生理状态进行检测,当驾驶员发生疲劳、分心、打电话、抽烟、未系安全带等危险情况时在系统设定时间内报警以避免事故发生。DSM系统能有效规范驾驶员的驾驶行为、大大降低交通事故发生的几率。

 

DMS系统主要包含:抽烟监测、接打电话监测、分心驾驶监测、未系安全带监测、喝水监测、打哈欠监测、闭眼监测、异常状态监测等基础功能。

 

自6月初特斯拉在台湾高速公路上的悲惨事件发生以来,这件事情似乎一直出现在所有汽车刊物上。看完视频,本人有三个想法:

 

为什么自动紧急制动没有启动?

 

司机在做什么?

 

为什么还有人相信私人乘用车在几年内就会实现“自动驾驶”呢?

 

在我从事汽车电子行业20年的经验中,尽管欧洲NCAP(新车评估计划)和最新的欧洲通用安全法规(GSR)都明确规定了主动驾驶员监控的必要性,并将在在短短几年内就会启动,但依然有大部分人完全不考虑驾驶员监控系统(DMS),在与那些所谓的聪明人交谈时,他们总是以为“DMS充其量只是一个临时的解决方案,而在最坏的情况下已经过时了。”

 

不管对错,许多人认为我们已经到了L4最后阶段,“完全自动驾驶”的现实只是遥不可及的更新。再看一遍特斯拉撞车视频,你就会对此有所怀疑了。

 

到2025年,Waymo和Cruise等公司将提供某种自动穿梭巴士或自动出租车服务,对此我并不怀疑。但他们是否能从运营这些服务中赚钱尚未可知。

 

此外,我仍然觉得普通民众在心理上对任何机器人汽车导致的杀人事故做好了准备,这在统计上是不可避免的,因为自动驾驶汽车越来越多地部署在公共道路和高速公路上。

 

我最近在澳大利亚堪培拉的Seeing Machines公司看到了这张迷人的幻灯片,他们为凯迪拉克CT6的通用超级巡航提供了基于视觉的DMS。

 

让我们进一步看看DMS世界中发生的一些技术发展,以及通过让人类成为更安全的司机来拯救生命所取得的进展。

 

眼睛会被光弄瞎吗?

 

对于Super Cruise中驾驶员监控视觉传感器最常见的评价是,它可能会被太阳光弄瞎,而批评者经常利用这一点来忽略DMS技术。我是一个DMS的狂热爱好者,所以我可以从幻灯片上看出,最上面一行的前两张图片使用的是850nm的红外线(IR)光,而其他图片都使用的是波长940nm的红外线组件。

 

DMS

 

所以如何? 940nm的阳光比850nm的能量要少得多,所以将光路的工作波长改为940nm基本上可以解决致盲问题。

 

 

那么为什么不先从940nm器件开始呢?

 

这是因为它们要到2016年底才能进入汽车行业,所以按照典型的汽车时间表,它们最早也要到2019年才能投入生产。”可以肯定的是,基于940nm视觉的DMS将在今年晚些时候开始在批量生产的汽车上使用。

 

如果你是一个刚刚加入DMS的技术公司,并且还在考虑为NCAP的兼容性设计一个系统,那么还有一个进一步的光路挑战需要注意:CMOS图像传感器在940nm时的量子效率要比在850nm时低得多,这意味着必须使用更强大的led来照亮驾驶员的脸。

 

红外线对人眼可能是看不见的,但在高功率下并不安全——想想激光眼科手术就知道了。这需要验证光路是否符合光生物安全的IEC 62471[1]。

 

所以说,作为DMS后来者的设计选择使用850nm的照明,传感器就可能会被阳光遮挡;使用940nm的照明,可能使驾驶员失明。你还认为汽车等级的DMS很简单吗?

 

940nm下基于视觉驱动程序监控的所有设计和开发问题现在都已经解决了,但这也是为什么DMS花了这么长时间才被用于汽车的原因之一。

 

如何训练你的机器

 

人们可以对这些图像进行推理分析并确定它们显示驾驶员戴着不同类型的面具。要想成功地开发出一款足以在现实生活中使用的强大DMS,需要大量的自然驾驶数据来训练算法,并结合详尽的测试和验证。这需要多年的研发。

 

在疫情期间,司机需要佩戴个人防护设备,这意味着DMS必须使用全脸面罩、护目镜和呼吸器的复杂组合。

 

目前,最先进的驱动程序监控视觉算法得到了广泛的训练和验证,无需校准;几乎是瞬间跟踪脸部和眼睛;操作范围接近180度(头部完全转向左或右);并且可以戴上大多数太阳镜。

 

 

这些算法对性别、国籍和种族都是不可知的,经过培训后,它可以与帽子、棒球帽、珠宝、围巾、卫生面罩、安全眼镜或护目镜以及宗教服装一起使用。

 

在这个领域的玩儿家中,Seeing Machines并不是汽车级驾驶员监控软件的唯一供应商,其他供应商还包括视力、Jungo、Momenta、SenseTime、Smart Eye和Xperi。

 

从长远来看,一切都是自动的

 

任何认为DMS只是一个临时解决方案的人似乎是有些道理的,从长远来看,它将被自动驾驶汽车所取代。但正如经济学家John Maynard Keynes所指出的那样:“In the long run we are all dead。”

 

虽然我并不确定DMS和自动驾驶的未来。但我希望你能准确的理解欧洲NCAP和欧洲GSR指令关于监测司机是否困倦和分心的要求,并记住它。

 

延伸阅读——DMS功能详解

 

驾驶员监控系统(driver monitoring system,DMS)一般是对L2-L3级别的自动驾驶系统而言的,对L4级别是没有意义的,除非系统仍然是需要安全员的测试环节。

 

监控的目的是发现驾驶员走神(distraction)、疲劳(fatigue)或者打瞌睡(drowsiness),甚至出现无法驾驶的意外情况,比如欺骗辅助驾驶系统用矿泉水代替双手在方向盘上,或者与乘客争吵打架等。另外,如果作为自动驾驶的研发阶段,监控驾驶员可以提供驾驶行为的第一手数据,甚至用于仿真模拟系统中。

 

非侵入式(non-intrusive)方法是监测的首选方法,而基于视觉的系统更具有吸引力。主要的视觉线索包括面部特征、手特征或身体特征。许多检测系统仅使用单个视觉线索,这种系统鲁棒性差,比如出现遮挡或光照变化时,容易被干扰。所以将多种视觉线索组合才是关键,也是具有挑战性的。

 

一个驾驶员面部监控系统是基于驾驶员面部图像处理来研究驾驶员身心状况的实时系统。可以从眼睑闭合、眨眼、凝视方向、打哈欠和头部运动等,检测到驾驶员状态。基本分成两大类:

 

仅从眼部区域检测驾驶员;

 

不仅可以从眼睛中检测,还可以从脸部和头部的其他区域检测。

 

下图是一个驾驶员脸部监控系统框图:检测人脸,还有眼睛和其他脸部特征,同时跟踪变化,提取症状,实现疲劳和分心检测。驾驶员面部监控系统的主要挑战是:

 

 

(1)“如何测量疲劳?”第一个挑战是如何准确定义疲劳以及如何测量疲劳; 疲劳与体温,皮肤电阻,眼球运动,呼吸频率,心率和大脑活动之间存在关系;第一个也是最重要的疲劳迹象会在眼睛中出现。

 

(2)“如何测量注意力?”第二个挑战是测量驾驶员对道路的注意力;可以从驾驶员头部和注视方向(gaze direction)估计驾驶员的注意力。

 

人脸检测方法可参照一般目标检测的方法,现在深度学习也已经在这个领域展示“肌肉”。人脸检测是一个老问题,人脸检测挑战的情况有以下一些:

 

— 面内旋转;

 

— 面外旋转;

 

— 化妆品,胡须和眼镜的存在;

 

— 表情(快乐,哭泣等);

 

— 照明条件;

 

— 脸部遮挡;

 

— 实时处理要求。

 

眼部区域总是先被用于驾驶员症状提取,因为最重要的心理活动与眼睛活动有关。

 

眼睛检测的两大类:

 

1) 基于红外光谱成像的方法;

 

2) 基于视觉的方法;

 

除了眼睛,还可以检测其他面部成分:嘴巴,鼻子和脸部突出(Salient)点。

 

面部跟踪是分析驾驶员心理活动的主要手段。这种跟踪任务和一般单目标的跟踪是相似的,主要挑战包括:

 

从三维空间到二维空间的映射而让一些信息丢失;

 

— 具有复杂的形状或运动;

 

— 部分遮挡;

 

— 环境光线变化;

 

— 实时跟踪要求。

 

与疲劳、分心和打瞌睡有关的症状提取包括:

 

1) 与眼部区域有关的症状:闭眼、眼睑之间的距离、眨眼速度快、凝视方向和跳跃运动;

 

2) 与嘴巴区域有关的症状:开/闭;

 

3) 与头部有关的症状:点头、头部姿势和头固定不变;

 

4) 与面部有关的症状:主要是表情。

 

下面分别举几个例子:

 

如图是一个基于深度神经网络(DNN)的驾驶员监控系统。

 

 

其基于脸部、双目和嘴巴三个区域的检测网络结构如下:

 

 

而基于单目(左眼)区域加嘴巴区域的检测网络结构如下

 

 

如图是一个基于深度学习模型的人脸表情识别系统:输入图像检测面部和特征,从面部成分提取时空特征,使用预训练的分类器(图像取自CK+数据集(d))确定表情。

 

 

而整个深度学习模型是CNN和LSTM结合,如下图

 

 

下图一个身体姿势(posture)识别驾驶员分心症状的系统。其症状类包括:喝酒,调整收音机,正确姿势驾驶,摆弄头发或化妆品,面向后面,与乘客交谈,用左手打手机通话,用右手打手机通话,用左手发短信, 用右手发短信。

 

 

系统的算法框图如图:包括面部检测器、手部检测器和皮肤区域分割。对于每个输出图像(即皮肤,面部,手),训练AlexNet和InceptionV3网络(5个AlexNet和5个InceptionV3),最后识别是一个加权组合输出。

 

 


[1] IEC/EN 62471 的目的是为了评估与不同灯和灯系统相关的光辐射危害,并全面取代 IEC/EN60825 标准中关于LED 产品能量等级的要求,增加了光生物方面的要求,包括辐射强度,辐射亮度等,并根据测试数据对产品进行危害分级,包括豁免级,低危害,中等危害,高危害级别。其中欧盟部分的标准EN62471:2008 已于 2009.09.01 开始执行,EN60825 关于LED 的部分将于 2010.09.01 完全失效。


关键字:DMS  ADAS 编辑:muyan 引用地址:http://news.eeworld.com.cn/qcdz/ic501109.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:苹果汽车专利:后座用户界面可隐藏 在使用时才会点亮
下一篇:宾利推出三面旋转显示屏系统 不用的屏幕可回收至仪表盘

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

DMS的爆发,从2020开始
ADAS系统中重要的功能部分,正在飞速发展。DMS(Driver Monitor System),是驾驶员监测系统的简称,也是目前流行的ADAS(高级驾驶辅助系统)系统功能中很重要的一种,甚至是标配。因为,近年来出于公共出行安全考虑,欧盟和中国均已出台法律法规,国内已率先对“两客一危”等商用车车型安装DMS系统作出强制要求,乘用车搭载要求也在推进制定中。而E-NCAP发布2025路线图,要求从2022年7月开始新车都必须配备DMS。随之,乘用车品牌如沃尔沃、凯迪拉克等也在搭载相关产品。这些车企动作的背后,是一大批Tier 1供应商的陆续入场和DMS应用的爆发。DMS开始爆发2006年,雷克萨斯LS 460首次配备主动DMS,摄像头
发表于 2020-06-15
<font color='red'>DMS</font>的爆发,从2020开始
车载DMS研究:装车已进入高速增长期,2020Q1同比增长360%
DMS(Driver Monitor System)为驾驶员监测系统的简称,是指驾驶员行驶过程中,全天候监测驾驶员的疲劳状态、危险驾驶行为的信息技术系统。在发现驾驶员出现疲劳、打哈欠、眯眼睛及其他错误驾驶状态后,DMS 系统将会对此类行为进行及时的分析,并进行语音灯光提示,起到警示驾驶员,纠正错误驾驶行为的作用。DMS 一般分为主动式 DMS 和被动式 DMS。 被动式 DMS 基于方向盘转向和行驶轨迹特征来判断驾驶员状态。主动式 DMS 系统一般基于摄像头和近红外技术,从眼睑闭合、眨眼、凝视方向、打哈欠和头部运动等,检测驾驶员状态。本报告只研究主动式 DMS。 2006 年,雷克萨斯 LS 460 首次配备
发表于 2020-06-03
车载<font color='red'>DMS</font>研究:装车已进入高速增长期,2020Q1同比增长360%
车载DMS研究:DMS装车进入高速增长期,2020Q1同比增长360%
DMS(Driver Monitor System)为驾驶员监测系统的简称,是指驾驶员行驶过程中,全天候监测驾驶员的疲劳状态、危险驾驶行为的信息技术系统。在发现驾驶员出现疲劳、打哈欠、眯眼睛及其他错误驾驶状态后,DMS 系统将会对此类行为进行及时的分析,并进行语音灯光提示,起到警示驾驶员,纠正错误驾驶行为的作用。DMS 一般分为主动式 DMS 和被动式 DMS。 被动式 DMS 基于方向盘转向和行驶轨迹特征来判断驾驶员状态。主动式 DMS 系统一般基于摄像头和近红外技术,从眼睑闭合、眨眼、凝视方向、打哈欠和头部运动等,检测驾驶员状态。本报告只研究主动式 DMS。 2006 年,雷克萨斯 LS 460 首次配备
发表于 2020-06-02
车载<font color='red'>DMS</font>研究:<font color='red'>DMS</font>装车进入高速增长期,2020Q1同比增长360%
视觉测量脉搏的DMS监测驾驶员状态
欧盟将在 2022 年 7 月开始强制新车都必须配备 DMS。欧盟的要求分两项,一项为 driver drowsiness and attention warning;另一项为 advanced driver distraction warning。不过尴尬的是,欧盟目前还拿不出一个统一的 DMS 测量标准,仅有简短的一句话,driver drowsiness and attention warning’ means a system thatassesses the driver’s alertness through vehicle systems analysis and warnsthe driver if needed
发表于 2020-03-09
视觉测量脉搏的<font color='red'>DMS</font>监测驾驶员状态
视觉测量脉搏的DMS驾驶员状态监测
欧盟将在 2022 年 7 月开始强制新车都必须配备 DMS。欧盟的要求分两项,一项为 driver drowsiness and attention warning;另一项为 advanced driver distraction warning。不过尴尬的是,欧盟目前还拿不出一个统一的 DMS 测量标准,仅有简短的一句话,driver drowsiness and attention warning’ means a system thatassesses the driver’s alertness through vehicle systems analysis and warnsthe driver if needed
发表于 2020-03-09
视觉测量脉搏的<font color='red'>DMS</font>驾驶员状态监测
车联网再次提速,哪些领域会有机会?最大困难是什么?
去布置 RSU,那时自动驾驶的风口就会到来。 在利益面前是没有任何瓶颈的。只要有钱赚,所有的困难都能够突破。 比如以前,火箭回收是不可想象的,但马斯克就做到了。 无人配送也是,它能够率先突围的原因我认为是能够产生巨大的经济效益。Q3:智能网联汽车在实现智能和网联功能时对软件和硬件的需求在成本中占比多少?毕欣:智能网联汽车的核心控制域和计算平台对软件和硬件的需求在成本中的占比与芯片的专利、功耗、性能都有关。 从 ADAS 角度来看,控制器和传感器的成本已经降到非常低。如今芯片的集成度越来越高,毫米波雷达和视觉的发展已经大大降低了传感器成本。 在这些方面,软件、主机厂压力很大,传统零配件企业
发表于 2020-06-04
车联网再次提速,哪些领域会有机会?最大困难是什么?
小广播
换一换 更多 相关热搜器件
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2020 EEWORLD.com.cn, Inc. All rights reserved