基于多层深度学习框架和运动分析的驾驶员疲劳监测系统

2020-03-24来源: EEworld关键字:机器学习  LSTM  驾驶员疲劳驾驶

摘要:汽车工业的最新发展引起了科研人员对疲劳驾驶监测的研究兴趣,意图开发一种有效的驾驶员监测系统,能及时发现心理物理状态异常,减少疲劳驾驶引起的交通事故。现在许多文献特别专注于生理信号的研究,通过测量心率变异性(HRV)来得到有关心脏运动的信息。事实上,HRV还是一个有效的评估生理压力的指标,因为它可以提供与自主神经系统支配的心血管系统活动相关的信息。本文旨在通过提取人脸特征点,分析由血压引起的皮肤细微运动,再以一个稳健的方式重构光电容积图(PPG)信号。所得结论是,传感器检测到的PPG信号与使用人脸特征点重构的PPG信号有很强的相关性,而且我们从实验结果中获得了支持这一结论的证据。

 

1   前言

 

困倦是一种生理状态,其特征是人的意识程度降低,难以保持清醒状态。根据国家安全委员会的调查,在美国,疲劳驾驶导致的致命性事故的占比正在显著上升[1]。因此,开发一种可以提前发现驾驶员生理状况不适宜开车的有效预警系统将具有重要意义。据报道,有研究显示,心率变异性(HRV)与驾驶员的注意力程度相关联[2]。准确的讲,心率变异性是一个代表个体的生理适应能力和行为灵活性的重要指标。评估心脏运动的方法是使用PPG信号测量血压,由此再评估心率变异性。具体地说,PPG信号是由代表逐次心动周期的血管容积峰值组成,PPG检测方法是,使用LED光源照射皮肤的不同部位,再用光电二极管评价光的反射强度[3]。尽管生理信号使我们能够监测困倦程度,但是最近的研究方向主要是使用计算机视觉技术评估驾驶员的疲劳程度[4]。虽然在汽车环境中开发人脸检测系统肯定具有挑战性,但仍有许多方法使用摄像头确定眨眼率,由此来评估疲劳程度[5]。与其它研究不同,我们的方法侧重于利用计算机视觉技术来检测和提取人脸特征点,通过分析先前录制的视频序列的像素强度变化,来定义人脸特征点的时间序列。更具体地说,我们的方法的基本原理也是通过“视频放大”来揭示血压变化引起的面部细微运动。本研究的目的是通过定义人脸特征点时间序列而不是使用传感器来构建PPG信号。

 

本文后面的结构如下:第二部分介绍相关的研究成果;第三部分概述PPG信号,并介绍我们的基于长期短记忆和卷积神经网络的管道。第四部分解释实验过程。最后,第五部分讨论我们方法的优点和未来研究方向。

 

2   相关研究

 

在以往发表的论文著作中,大部分是通过生理信号检测驾驶员困倦,取得了很高的检测精度。事实上,很多研究证明,仅基于计算机视觉技术的驾驶员疲劳监测解决方案可能不一定行之有效,尤其是侧重于分析交通标志的视觉方法,在路况不佳时,往往会失败。

 

一部分科研人员曾公布了一项光体积描述信号(PPG) 检测研究成果[6],作者使用低功率无线PPG传感器取得了很好的检测效果。另一种方法 [7] 是作者利用在手指和耳垂检测到的低频和高频PPG信号来评估疲劳程度。本文引用的研究成果主要是通过研究ECG和PPG信号来评估HRV信号。不过,本文所引用的方法对计算性能有较高的要求,需要在车上集成昂贵的检测设备。尽管集成的传感器不一定是直接测量工具,但为了准确地获取生理信号,驾驶员还是需要将手或身体的其它部分(例如耳垂或手指)放在传感器上,这对于在汽车上推广应用是一个限制。本文另辟蹊径,提出一个创新的框架,基本原理是抓取司机面部图像,采集人脸特征点,重建PPG信号,以此评估HRV信号和疲劳程度。

 

3   背景和管道方案

 

如前所述,我们提出了一种创新的驾驶员困倦状态监测方法,而无需使用传感器来获取PPG信号。部分学者的研究成果[8]阐述了视频放大方法是如何通过放大普通视频图像来揭示人脸面部的运动变化,因为逐次心动周期中的血压变化会引起皮肤不同部位的颜色变化。研究证明,自主神经系统活动可调节某些生理过程,例如,血压和呼吸速率,通过评估心率变异性信号可以间接测量这些生理过程,因为心率变异性信号在生理压力、极度疲劳和困倦期间会出现变化。

 

评估HRV心率变异性需要使用生物反馈工具或软件,以及检测心电信号的高质量传感器,还需要功能强大的处理器来管理大量的数据。ECG信号是传统的心率变异性评估方法,不过,这种方法在使用上存在某些缺陷,尽管检测效果良好,但是在数据采集(数据采样)过程中,人体的细微运动会导致信号内出现一些噪声和伪影。为了克服ECG的问题,业界提出PPG信号是可靠的解决方案,检测血液容积变化的能力使PPG能够有效地检测裸眼难以观察到的皮肤细微运动。特别是,通过分析PPG信号,我们能够界定在特定时段内的心率变化,显示自主神经系统的两个分支(副交感神经和交感神经)是否都在正常工作。通常,HRV值小,表示心率间隔恒定;HRV值大,则表示心率间隔异常。非常正常的心律和心率的细微变化可以确定注意力是否因为慢性生理压力而降低。但是,不存在一个标准的HRV值,因为HRV值因人而异。

 

考虑到这一点,我们采用长期短记忆(LSTM)神经网络[9]与卷积神经网络(CNN)[10]相结合的方法开发了一个驾驶员困倦监测系统。本文提出的管道机制代表心脏运动评估方法取得了进步,因为它是使用一个低帧率(25fps)摄像头检测和提取人脸图像中的关键特征点,并分析每个视频帧的像素变化。准确地讲,LSTM是评估数据之间隐藏的非线性相关性的有力解决方案。


具体地讲,LSTM管道的输出是综合传感器检测到的原始PPG目标数据后预测的人脸特征点时间序列。此外,CNN模型的准确分类表示LSTM预测有效,可以确定汽车驾驶员的注意力程度。

 

4   实验

 

总共有71个对象参与了我们的LSTM-CNN管道运行。更具体地说,数据集是来自不同性别、年龄(20至70岁之间)和病理的病患/驾驶员的PPG样本。在这种情况下,我们不仅采集健康对象的数据,还收集高血压、糖尿病等病患的数据。考虑到这两种困倦状态的差异,分别测量了两种困倦各自的PPG信号样本。具体地而言,我们模拟被同步ECG采样信号证实的完全清醒和困倦两种情景,其中Beta和Alpha波形分别证实大脑在唤醒和困倦时的活动状态。每种情景的模拟间隔设为5分钟,以确保系统有充足的时间完成初步校准和实时连续学习。同时,我们使用低帧率(25fps)全高清摄像机记录一段驾驶员的面部视频,如前文所述,我们先用基于Kazemi和Sullivan机器学习算法 [11] 的dlib库,检测先前录制的视频帧,提取人脸面部特征点,然后,计算与每个特征点关联的像素强度,以及每帧像素强度的变化,确定人脸特征点的时间序列,将其输入LSTM神经网络。

 

4.1   CNN管道

 

本节将更详细地介绍实验中使用的CNN模型架构。本文提出的CNN架构为验证LSTM预测结果提供有力的证据。具体地讲,我们的CNN模型能够跟踪和学习汽车驾驶员的面部表情,从而提高困倦检测水平。为了训练模型,我们将批大小(batch size)设为32,初始学习率设为0.0001。此外,我们在隐藏层中使用了32个神经元,在二进制分类中使用了2个输出神经元。

我们非常看好实验结果,因为准确率达到80%。

 

4.2   长短期记忆网络(LSTM,Long Short-Term Memory)管道

 

图. 1. LSTM管道

 

关于长短期记忆网络(LSTM,Long Short-Term Memory)检测顺序数据(时间序列)的关联性的能力,我们构建了一个LSTM模型,用面部特征点时间序列作为输入数据,原始PPG信号作为目标数据,重建PPG信号(图1)。在使用MinMaxScaler算法调整(0.2,0.8)范围内的所有时间序列值后,综合考虑以下参数,我们进行了模型训练。模拟训练采用256个神经元,批大小(batch size)128,初始学习率和辍学率分别设为0.001和0.2。为了评估PPG重构信号的鲁棒性,我们计算了PPG最小点的频率(傅里叶频谱),我们特别分析了这些点的频率,比较了原始PPG最小点的频率与重构PPG最小点的频率。

 

5  结论

 

 

图2.原始PPG最小点的快速傅立叶变换(FFT)频谱(蓝色)和重建PPG最小点的快速傅立叶变换(绿色)。

 

最后,我们提供了一种基于LSTM-CNN的有效的监测系统,通过PPG信号评估心脏活动来确定驾驶员的困倦程度。与其它方法不同,我们的方法是利用面部特征点数据重建PPG信号,不涉及传感器系统。如前文所述,我们构建了LSTM管道,用面部特征点时间序列作为输入数据,传感器检测到的PPG作为目标数据,证明PPG重构信号的鲁棒性。此外,我们还构建了CNN模型,不仅可以对驾驶员的生理状态进行分类,还可以验证LSTM的预测结果。最后,我们计算了原始PPG最小点的快速傅立叶变换(FFT)频谱和重构的PPG最小点的FFT频谱(图2)。实验结果证明,我们的方法有广阔的应用前景,因为我们能够区分瞌睡的对象与清醒的对象,准确率接近100%,这与科学文献报道的类似管道取得的平均成绩一致。使用改进的PPG传感器[12],以及利用Stacked-AutoEconder架构[13]学会的特殊功能对PPG信号进行深度处理,将会给本文提出的管道带来哪些改进,是本文作者目前正在研究的方向。


参考文献


[1] National Safety Council: https://www.nsc.org/road-safety/safety-topics/fatality-estimates

[2] Melo, H. M., Nascimento, L. M., Takase, E., Mental fatigue and heart rate variability (HRV): The time-on-task effect. Psychology & Neuroscience, 10 (2017) 428-436.

[3] Rundo, F.; Ortis, A.; Battiato, S.; Conoci, S., Advanced Bio-Inspired System for Noninvasive Cuff-Less Blood Pressure Estimation from Physiological Signal Analysis, Computation 6 (2018) 46.

[4] Zhang, W., Cheng, B., Lin, Y., Driver drowsiness recognition based on computer vision technology, Tsinghua Science and Technology 17 (2012) 354-362.

[5] Haq, Z. A., Hasan, Z., Eye-blink rate detection for fatigue determination. In 1st India International Conference on Information Processing (IICIP), Delhi, India, 2016, 1-5.

[6] Xu Y. J.; Ding, F.; Wu, Z.; Wang, J.; Ma, Q.; Chon, K.; Clancy, E.; Qin, M.; Mendelson, Y.; Fu, N.; Assad, S.; Jarvis, S.; Huang, X., Drowsiness control center by photoplythesmogram, In Proceedings of 38th Annual Northeast Bioengineering Conference (NEBEC), Philadelphia, USA, 2012, 430-431.

[7] Koh, S.; Cho, B. R.; Lee J.-I.; Kwon, S.-O.; Lee, S.; Lim, J. B.; Lee, S. B.; Kweon, H.-D., Driver drowsiness detection via PPG biosignals by using multimodal head support, In Proceedings of the 4th International Conference on Control, Decision and Information Technologies (CoDIT), Barcelona, Spain, 2017, 383-388;

[8] Wu, H.-Y., Rubinstein, M., Shih, E., Guttag, J., Durand, F., Freeman, W. T. Eulerian Video Magnification for Revealing Subtle Changes in the World. ACM Transactions on Graphics 31 (2012)

[9] Hochreiter, S., Schmidhuber, J, Long Short-Term Memory, Neural Computation 9 (1997) 1735 1780

[10] Lecun, Y., Bengio, Y., Convolutional Networks for Images, Speech, and Time-Series, The Handbook of Brain Theory and Neural Networks (1995).

[11] Kazemi, V., Sullivan, J., One millisecond face alignment with an ensemble of regression trees., In 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014, 1867-1874.

[12] Mazzillo, M., Maddiona, L., Rundo, F., Sciuto, A., Libertino, S., Lombardo, S., Characterization of SiPMs With NIR Long-Pass Interferential and Plastic Filters, In IEEE Photonics Journal, 10 (2018) 1-12.

[13] Rundo, F., Conoci, S., Banna, G.L., Ortis, A., Stanco, F., Battiato, S., Evaluation of Levenberg-Marquardt neural networks and stacked autoencoders clustering for skin lesion analysis, screening and follow-up, IET Computer Vision 12 (2018) 957-962.


关键字:机器学习  LSTM  驾驶员疲劳驾驶 编辑:muyan 引用地址:http://news.eeworld.com.cn/qcdz/ic492447.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:成像雷达:一个传感器控制所有传感器
下一篇:TE推出温度与湿度传感器 可用于汽车暖风空调系统等

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

将机器学习渗透到工业和消费应用中,ST高级iNEMO传感器问市
意法半导体推出最新的ISM330DHCX 和 LSM6DSRX iNEMO™6轴惯性测量单元(IMU),将动作检测机器学习内核(MLC)技术的优势扩大到工业和高端消费应用领域。 机器学习内核(MLC)技术对动作数据执行基本的AI预处理任务所用功耗,约为典型微控制器(MCU)完成相同任务所用功耗的千分之一。因此,集成这一IP技术的IMU传感器可以减轻主MCU的处理负荷,延长情景感知和体感设备的电池续航时间,降低维护检修成本,缩减产品体积和重量。 继去年推出首个MLC增强型商用IMU后,意法半导体现在又推出了LSM6DSRX和ISM330DHCX,分别定位高端消费电子和工业应用,例如,增强/虚拟现实、无人机飞行控制
发表于 2020-03-13
将机器学习渗透到工业和消费应用中,ST高级iNEMO传感器问市
博世与清华大学合作推进人工智能研究
博世与清华大学今日宣布,清华大学-博世机器学习联合研究中心正式成立。双方将在人工智能领域开展为期五年的合作。“与全球知名学府清华大学展开合作,是博世推进人工智能领域前沿技术研发以及加速布局工业人工智能应用的又一个里程碑。” 博世中央研究院总裁 Thomas Kropf 教授强调,“人工智能技术的进步需要学术界的共同努力。因此,博世正与世界各地的大学和行业佼佼者建立合作,希望以此推动人工智能领域取得重大突破。清华大学与博世集团之间的合作将给双方带来巨大的协同效应。” 博世将投入 5000 万元人民币,携手清华大学推动工业领域人工智能前沿技术的研发。合作双方将围绕机器学习这一工业人工智能研发与应用的核心领域展开相关研究,包括
发表于 2020-03-09
Genesys收购nGUVU,利用机器学习和行为分析提升劳动力交互
全球领先的云客户体验和联络中心解决方案提供商Genesys® (www.genesys.com/zh-cn)日前宣布收购了其长期合作伙伴nGUVU,为其劳动力交互管理解决方案加入了游戏化的新功能。nGUVU总部位于加拿大蒙特利尔,是一家主打游戏化解决方案的云平台软件供应商,利用机器学习和行为分析提升劳动力交互和员工绩效。 今后,Genesys的客户可以用更新潮的方式获得更好的员工体验。新加入的游戏化进一步增强了Genesys Cloud的WEM功能。Genesys Cloud是一款全球领先的公有云联络中心平台和一体化解决方案。更新后的解决方案能够使企业大幅提升员工交互和客户体验,并减少人员流失,降低运营成本。 
发表于 2020-03-06
研究人员研发机器学习法 用微波准确识别物体可用于自动驾驶汽车
 据外媒报道,美国杜克大学(Duke University)和法国尼斯大学物理系(Institut de Physique de Nice)的工程师们研发了一种新方法,利用微波识别物体,可以提高准确性,同时减少了相关的计算时间和功耗。该系统可以用于自动驾驶汽车、安全扫描和运动传感等关键领域,以改善物体识别,并提高物体识别速度。新方法基于机器学习,省去了中间环节,跳过了创建图像供人工分析的步骤,可以直接分析纯数据。此外,该方法还可以确定最优硬件配置,揭示最重要数据的同时发现实际上最重要的数据是什么。在一项概念认证研究中,该设置进行了数十次测量,而无需通常所需的数百或数千次,就正确识别了一组3D数字。在该项研究中,研究人员
发表于 2020-03-05
研究人员研发机器学习法 用微波准确识别物体可用于自动驾驶汽车
MathWorks 被Gartner 评为机器学习平台魔力象限领导者
MathWorks 宣布,该公司在Gartner 的《2020 年数据科学和机器学习平台魔力象限》报告中被评为领导者。Gartner 对 MathWorks 的前瞻性和执行能力进行评估后,将该公司定位为 2020 年度领导者。 MathWorks 首席战略师 Jim Tung 表示:“对我们来说,被认可为数据科学和机器学习领域的领导者,证明 MathWorks 能够提供解决 AI 挑战的全方位平台。MathWorks 凭借各种工具、咨询服务和支持功能为复杂的工程项目提供支持,积累了 30 多年的丰富经验,让工程师和科学家们能够构建更完善的 AI 数据集、解决集成问题,并在系统范围内持续测试 AI 模型。” 借助
发表于 2020-03-04
MathWorks 被Gartner 评为机器学习平台魔力象限领导者
i.MX RT600让数百万台联网的边缘设备实现高性能机器学习能力
恩智浦半导体(NXP Semiconductors N.V.,纳斯达克代码:NXPI)今日宣布i.MX RT600跨界微控制器 (MCU) 上市,这是一款面向音频、语音和机器学习等超低功耗、安全边缘应用的理想解决方案。 i.MX RT600跨界MCU在功耗、性能和存储器方面具有显著特点。主要包括: 主频高达 300MHz 的Arm® Cortex®-M33内核可选的Cadence® Tensilica® HiFi 4 音频、语音数字信号处理器(DSP)。运行主频高达 600MHz,并支持四组 32x32 MAC。多达4.5MB 片上 SRAM,支持关键指令和数据的“零等待”访问。28nm FD-SIO (耗尽型
发表于 2020-03-03
i.MX RT600让数百万台联网的边缘设备实现高性能机器学习能力
小广播
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2020 EEWORLD.com.cn, Inc. All rights reserved