摘要:详细分析了大型车辆存在的盲区和解决方案功能单一的问题,发现传统部标机满足监管需要但交互性体验感差,驾驶员有一定排斥心理,故意遮挡、破坏卫星定位终端逃避监控的行为,表明部标机整体上线率不高。本文提出一种新型行车安全系统,最多能接8路视频,集成360全景算法解决车辆视觉盲区问题,支持倒车显示,并提供录像、本机回放功能,具备4G全网通系统支持在线地图,方便导航和查看实时路况,集成满足监管要求的ADAS和DMS,支持JT/T808和JT/T1078标准协议,实现远程监管。系统不仅满足了驾驶员多方面需求,还满足了交管部门监管要求,集成度高、功能丰富、能完成需要多种设备才能完成的功能,经济性和实用性俱佳,有助于解决驾驶员和监管机构之间的矛盾,能降低交通事故率。
作者简介:孙德生(1980—),男,硕士,工程师,目前从事嵌入式系统、智能电子产品、汽车电子电器设计和开发工作。E-mail:89660958@qq.com。
0 引言
随着我国经济持续高速增长,大型车辆快速增加,包括大货车、大巴、公交等。这些车辆都有一些共同特点,如体积大、车身高、转弯半径大、内轮差大、驾驶时盲区较多[1-2]。近年来,由于大型车辆盲区问题造成的交通事故越来越多,因此,解决大型车辆盲区问题显得尤为重要[3]。市面上也有一些单独解决驾驶盲区的设备,如电子外后视镜、360 全景,但其功能单一,集成度低,拓展性差。另外,出于监管需要,交通部对道路运输车辆要求安装符合JT/T808 和JT/T1078 标准的设备,两客一危还得支持主动安全ADAS等,结构上趋于单锭机,就是市场上俗称的部标机。它一般不带显示屏,驾驶员无法直接操作设备,缺乏交互体验感,无法本机回放视频,很不方便。部标机更偏重于技术监管,驾驶员对部标机有一定排斥心理,故意遮挡、破坏卫星定位终端、逃避监控行为时有发生,导致目前部标机上线率不高,监控人员责任心不强,不能实时提醒纠正驾驶员违法、违规行为,在监管上也存在一定难度[4]。
本文提出基于高通MSM8953 的新型行车安全系统,支持最多8 路视频接入,导入360 全景算法解决车辆的视觉盲区,配置12.3 英寸(1 英寸=2.54 cm)高清显示屏,显示效果清晰,支持倒车显示,并提供DVR 录像功能,有紧急情况时本机快速回放录像,具备4G 全网通的系统可支持在线地图,方便导航和查看实时路况。支持满足监管主动安全要求的ADAS 和DMS,以及JT/T808和JT/T1078 标准协议,可轻松实现平台监管。本系统设计解决了司机的盲区问题,满足倒车安全、查看实况导航、本地回放多路视频录像等需求,又支持JT/T808和JT/T1078 标准协议及主动安全ADAS 和DMS,满足监管需要。设备集成度高,能完成需要多种设备才能完成的功能,经济性和实用性好,可以平衡驾驶员和监管之间的矛盾,真正以科技降低交通事故率,利国利民。
1 新型行车安全系统硬件设计
本文提出基于高通8953平台设计的一套功能丰富、满足道路运输大型车辆安全行车的智能系统。
1.1 系统硬件框架设计
新型智能行车安全系统的硬件原理框图如图1所示。
系统主控制器采用高通MSM8953,8 核Cortex-A53,主频2.0 GHz,14 nm 制程,GPU 为Adreno506,集成4G LTE 基带支持LTE CAT 7 全网通,可插入SIM 卡联网。电源模块采用宽电压设计,9 ~ 36 V 均能正常工作,适应标准电压为12 V 或24 V 的车辆。系统工作温度为-30 ~ 75 ℃,存储温度范围为(-40 ~ 85)℃,搭配的eMCP 为SKhynix 的H9TQ27ADFTMC, 其中存储为32 GB,运行内存为3 GB LPDDR3,配置12.3英寸1 920×720 分辨率的TFT LCD 显示屏、12.3 英寸10 通道触摸屏;内置GNSS 模块支持北斗、GPS、GLONASS 多种定位系统,内置无线模块支持802.11 b/g/n/ac 功能。系统支持5 个硬按键,可做按键开关机、音量大小调节,或定义为其他快捷操作;接入手麦支持PTT 对讲与播放功能,可与后台控制中心实时通话。系统支持接入多路摄像头,走AHD 信号,最多可接入8路720P 摄像头,可以解决司机盲区、AI 智能识别等,且支持DVR 录像,存储到TF 卡或U 盘。系统预留了两组串口,一组可以接CAN 模块获取原车CAN 信息,另一组可接入雷达主机获取周边障碍物感知,拓展了整个系统的功能,提高了复杂场景的实用性。
1.2 多路摄像头接入设计
系统设计使用高通MSM8953,均能接MIPI 4 LaneCSI0 和CSI1 两组接口,一路CSI 的最大处理能力为4路720P@30 fps,两路CSI 共可接入8 路720P 摄像头。多路摄像头接入如图2 所示。
图2 多路摄像头接入框图
CSI MIPI 信号支持虚拟通道,如图2 所示,连接主控平台MSM8953 的视频解码芯片TP2855 通过CSIMIPI 提供4 Lane 信号。VC0 ~ VC7 代表8 个虚拟通道,每个虚拟通道可以连接1 个摄像头,通过1 个视频解码芯片TP2855 将4 个摄像头数据按照虚拟通道设计融合在一起,然后通过MIPI 4 Lane 送到主控,在主控MSM8953 中再将融合数据按照虚拟通道拆开,重新还原成4 个摄像头的独立数据。整个系统可以接前向ADAS、DMS、车内监控、360 全景摄像头、其他用途的标准AHD 信号720P 摄像头,系统同时支持录像,包括8 路摄像头同时录像存储到TF 卡或U 盘。其强劲的视频能力对整套系统价值的作用至关重要。
1.3 拓展功能模块接入设计
系统硬件接口有限,为了拓展一些功能,不得不接入一些其他成熟的功能模块来丰富系统功能和提高体验感。以拓展CAN 模块和雷达主机功能模块为例,接入设计如图3 所示。
图3 功能模块拓展框图
系统预留两组串口,一组可以接CAN 模块,CAN模块连接车辆CAN,然后把解析好的CAN 信息通过RS232 串口发送给主控平台,如实时车速、左转向、右转向、倒车、档位等信息,可用于ADAS 预警和智能切换盲区显示图像。系统另一组串口接入一个雷达主机,最多可以支持8 路雷达探头连接雷达主机。雷达主机实时获取各路探头探测的前方障碍物距离信息,通过串口协议送给主控平台,主控再根据预设探头安装位置确定是哪个方位的预警信息。利用雷达探头的距离信息触发系统显示状态的变化。在处理其他应用场景时,如当前在导航页面,雷达探测到右侧探头近距离范围有物体遮挡,系统即可根据探头的安装位置,实时调出车辆右侧安装的摄像头画面[5],便于驾驶员观察做出安全合理的操控。
2 新型行车安全系统软件设计
新型智能行车安全系统软件基于Android 9.0,针对车载场景做了大量系统裁剪、改造,系统集成了ADAS、DMS、360°全景算法等,最多支持8 路录像和JT/T808 和JT/T1078 协议,以及江苏省道路运输车辆主动安全智能防控系统标准协议(简称苏标),满足监管要求,可以切实降低交通事故风险。
2.1 前向ADAS
2017 年初,JT/T1094 标准《营运客车安全技术条件》中明确要求,2018 年4 月起,车长超过9 m 的营运客车都需要加装符合JT/T 883 要求的LDW(车道偏离预警系统)和FCW(前车碰撞预警系统)。ADAS 是高级驾驶辅助系统,包含LDW 和FCW。通过视觉传感器进行数据采集、分析,利用视觉算法识别行驶过程中的多种危险情况,可提前进行预警,及时提醒驾驶员防范危险情况的发生[6]。ADAS 处理流程框架设计如图4所示。
高通8953 处理器的图像数据处理模块通过硬件抽象层获取前视摄像头图像的原始数据,然后将每一帧数据送给ADAS 算法预警处理模块,通过预警处理模块将识别前方车道线、车辆、行人等物体的类型、坐标等信息反馈回去,再把识别出来的信息传递给系统识别结果处理模块,根据信息采取合适的预警逻辑处理,根据预警级别选择TTS 语音模块处理,语音提醒驾驶员注意前方状况[7]。根据苏标主动安全监管要求,需要在触发预警事件时拍摄时间间隔为200 ms 的3 张照片和1 段默认为5 s 长的短视频上传到监管平台[8],如图5 所示。
图5 平台显示主动安全ADAS事件
2.2 DMS
DMS 是驾驶员行为分析,通过终端采用人脸识别、深度学习技术分析驾驶员是否有抽烟、打瞌睡、接电话、分神、疲劳驾驶、驾驶行为异常等违规行为,规范驾驶员行为,提高驾驶安全性[6,9]。DMS 算法处理的工作流程与ADAS 类似,触发了DMS 预警事件时,按照苏标要求也需要拍3 张间隔为200 ms 的照片和1 段默认为5 s 长的短视频上传到监管平台保留证据,DMS 事件在平台上的显示如图6 所示。
图6 平台显示主动安全DMS事件
2.3 360°全景
360°全景一直是解决驾驶员视觉盲区最有效的方法之一。系统集成了北京双髻鲨免拼接360 全景算法,功能先进,特别适用于大型车辆,安装时无需传统的铺布标定,非常便利。360°算法应用流程框图如图7 所示。
通过安装在车身前后左右的4 个高清广角摄像头,能实时采集车身左右各6 m、前后各5 m 超大视野的高清视频画面。4 路图像帧数据均输入到360 算法引擎中,通过精确算法进行画面畸变校正、图像拼接融合等处理[10],标定时需要在光线充足的白天进行,车辆要在比较平整且纹理较多的道路上低速行驶,速度不超过5 km/h,以便于算法计算参考标志,总过程不超过5 min 就可快速合成车身周围360°俯视鸟瞰全景画面。图像预览基于OpenGl 以3D 处理,3D 立体效果好,可以有效降低盲区带来的事故。安装在深圳公交上的360全景实测效果如图8 所示。
图8 公交车360全景实测效果
驾驶员可自行滑动右侧3D 显示角度到所需观察角度。结合CAN 信息,系统在收到左/ 右转向信号后,可以自动切换到左/ 右摄像头画面,收到倒车信号可以切换到后视摄像头画面,切换到右侧的实测效果如图9所示。
图9 360°全景显示俯视图和右侧放大图
2.4 远程监控
交管对大型车辆的监管严格,如两客一危车辆必须安装部标机和支持ADAS,每年还需要年审。部标机实时上报位置到监管平台,按照JT/T808 协议标准处理。本系统在设计中不但充分考虑了位置信息的需求,而且结合4G 全网通的优势,按照JT/T1078 视频传输要求,可以实时将车辆的多路摄像头画面送到监控平台。车队领导等监管领导在平台上可轻松获取当前车辆位置,通过摄像头视频查看车辆周围环境[11],通过DMS 摄像头还可以直接看到驾驶员的实际驾驶状态,有异常时可及时纠正,规范驾驶员行为。
系统运行时还可以定时发送车辆位置到平台,如3 s 发送一次,平台按车辆车牌分类存储,进而形成行车轨迹,直观地在平台上查看车辆具体的行驶路线,以及当时行驶的车速、方向等。
系统还支持语音对讲,管理人员在平台上可以监听车内声音,也可直接呼叫驾驶员,驾驶员通过手麦可以回话,手麦外放声音大,在嘈杂的柴油车上也能听得清楚,沟通时非常实用方便。
3 结束语
本系统设计不仅解决了司机的盲区需求和驾驶辅助问题,又支持JT/T808 和JT/T1078 标准协议以及主动安全ADAS 和DMS,能满足监管要求,调和司机和监管之间的矛盾,最大幅降低交通事故率,使多方受益。
参考文献:
[1] 陈家豪.论大货车盲区监测的可行性和必要性[J].汽车工程学报,2018,8(5):92-97.
[2] 赵志成,张玉峰,何佳,等.车辆盲区监测系统综述[J].汽车电器,2018(10):20-22.
[3] 尹兴林,徐鑫.城市公交行车安全事故分析研究[J].城市公共交通,2019(07):26-28+30.
[4] 李梅.广西道路运输安全事故统计分析及对策建议[J]. 西部交通科技,2020(5):166-170.
[5] 陈立伟,仝盼盼,熊敏,等.24GHz盲区监测与变道辅助雷达系统的开发[J].汽车安全与节能学报,2019,10(2):200-210.
[6] 康莹莹.保障公交车安全的主动安全智能防控系统[J]. 城市公共交通,2019(11):38+41.
[7] 孙德生.基于ADAS的汽车倒车防碰撞系统设计与研究[J].电子技术应用,2021,47(1):28-30,35.
[8] 江苏省交通运输厅运输管理局.2017.道路运输车辆主动安全智能防控系统[S].
[9] 上海市交通运输行业协会新能源和节能减排分会. 基于视觉技术的公交主动安全预警应用现状及发展趋势[J].城市公共交通,2020(08):42-45+49.
[10] 许翔,黄宏宏.一种基于全景影像技术的车辆盲区监测系统:中国,CN110920525A [P].2020-03-27.
[11] JT/T 1078—2016.道路运输车辆卫星定位系统视频通讯协议[S].北京:交通运输部,2016.
上一篇:【解读】车联网网络安全标准进展
下一篇:汽车安全技术走向「内卷」,主被动安全不再是唯一考量
推荐阅读最新更新时间:2024-11-10 10:32