新型智能网联监控系统在智能集卡车上的应用

按照上海市经信委和上海市公安局 、 上海市交通委联合制订的 《 上海市智能网联汽车道路测试管理办法 》提出并组织开展智能网联汽车道路测试或示范应用申请的主体具备车辆状态在线监控功能 ，能够实时回传下列第 1 、2 、3 项数据信息 。

能够自动记录和存储在车辆事故或者失效状况发生前至少90 秒的下列数据信息 ：

1 . 车辆控制模式 ；2 . 车辆位置 ；3 . 车辆速度 、 加速度等 ；4 .环境感知与响应状态 ；5 . 车辆灯光 、 信号实时状态 ；6 . 车辆外部 360 度视频监控情况 ；7 . 测试驾驶人和人机交互状态的车内视频及语音监控情况 ；&车辆接收的远程控制指令 ；9 . 车辆故障情况 。

而传统监控设备是以视频为主，基本上是模数以及模拟交叉使用的监控设备。目前车载监控设备在智能车发展的带领下，正在步向多元化、智能化、数字化发展 。常规车载监控系统在我国具有广泛的应用 ， 由传统的单端模式 ， 逐渐往云端集中化统一监控过度 。

据西安公交巴士股份有限公司介绍 ，该公司使用车载监控设备实现车辆的全面监控 ，使相关管理人员及时把握车内车外情况 ，保障行人的安全出行及公交的统一管理 ， 根据公交车类型不同使用 4_6 相机监控视频 、 车辆 CAN 总线数据 、 GPS 定位数据记录以及云监控功能 。

由于集卡车具有车身长 、盲区大 、运行颠簸 、可拆卸后挂车等问题 ，原有的设备需要应用在集卡车上实现全时段多相机 ，车身 360 度无死角监控 ，具有一定困难 。现对应用在智能集卡车上的智能网联监控系统需求如下 ：

(1)需要对集卡车进行舱内舱外全方位视频监控

( 2 )需要接入多组摄像头信号同时采集 ；

(3) 数据存储模块需要考虑车辆颠簸带来损坏风险 ；

( 4 )可拆卸后挂车需要监控设备对摄像头数量变化进行自适应处理 ；

(5)在提供多组视频信号的同时需要适应智能车发展 ， 表现在需要进行多路 CAN 数据以及实时 GPS 数据采集 ， 并实现不同数据之间的同步 ；

(6)同时需要将相应的数据上报云平台 ， 实现远程监控功能 。

新型智能网联监控系统硬件部分如图 1 所示,

由主处理芯片 、 相机接入模块 、 CAN 处理模块以及各种外围设备组成 ：

（1）硬件设计 3 组四合一相机连接模块 ， 可支持同时接入最多 12 个相机 ；

（2）系统通过主从 MCU 进行并行处理 ， 提高处理速度 ， 两组处理器之间通过 SPI 进行数据传输以及时钟同步 ；主 MCU 需要进行所有监控数据（ 音视频 ， CAN ） 记录以及云平台通讯功能 ， 因此在芯片 选型上需要在编码能力以及 CPU 处理能力上考量 ， 目前系统使用是英伟达 TX2 。从 MCU 则需要在 CAN 数量 ， CPU 主频 ， 车载级别等方面权衡考量 ， 系统设计过程中选型芯片 有 NXP 的 MPC57XX 、MPC56xx 、 MPC55xx;Infineon 的XMC 1400 、 TC29xT 、TC37xTX 等芯片 。

（3）CAN 处理器性能支持最多 6 组 CAN 同时接入 ， 且具有后续扩展能力 ；

（4）电源部分设计了备用可充电电池 ， 为车辆掉电后数据录制提供保证 ， 满足法规要求 ；

（ 5 ）系统提供两种存储设备接入接口 ， 数据传输协议支持 4G 、 WIFI 、 千兆以太网 ， 同时系统支持 ublox/M8L 不同精度 GPS 定位功能 。

1.2 系统架构

新型智能网联监控应用程序部分的系统框架如图 2 所示 ， 音频数据 、 GPS 数据以及多组相机数据通过数据接收模块处理 ， 原始相机数据直接使用 GPU 进行处理 ， 该过程每相机数据需要分别进行一次数据拷贝以及数据转换.

如图所示 3, 通过时序控制最大化利用内存空间 ， 数据最后通过显存动态拼接多相机画面后 ， 并将数据传出给HDMI 显示模块以及 Recorder（ 数据记录模块 ） ，HDMI 通讯接口能够将实时相机画面显示于屏幕便于司机或者相关工作人员观察车辆仓内以及仓外情况 。

Recorder 将所有输入数据利用定时器进行帧同步 ， 定时器根据当前系统设置帧率定时 ， 截取每帧拼接后相机数据以及音频进行 H264 以及音频编码生成视频文件 ， 编码后的数据经过 RTMP协议（Real Time Messaging Protocol , 实时消息传输协议 ） 推送音视频数据 ， RTMP 协议用于在平台之间传递视音频以及数据 ， 其实现基于 TCP-IP 协议上 。

因此能提供可靠的交互 、 互联网上传输时不会出现丢包情况叭从而保证云平台以及监控APP 可通过网络进行实时可靠的 、 低延时的推流显示 。帧间获取的原始 CAN 数据以及 GPS 数据经过协议压缩记录当前帧号以及时间戳等数据存储成协议文件 。

数据后处理主要提供云交互 、 设备维护以及场景标注等功能 。APP 端监控程序可通过 WIFI 连接能够实时播放视频数据 ， 当车辆运行过程中出现异常情况 ， 司机可通过 APP 打点功能 ， 将打点瞬间的前后 30s 音视频以及协议数据上传平台服务器 ， 管理员根据上传的固定场景数据迅速定位分析 。

云交互功能提供设备与云平台握手认证 ， 并下发平台命令 （ 如重启 、 OTA 升级等 ） ， 同时收集将系统当前主要性能状态以及异常状态上报平台 ， 实现日常维护功能 。

Monitor 是为保证设备正常运行一组监控模块 ， 其功能实现检查当前应用程序运行状态 ， 发现异常及时上报平台 ， 监控人员可及时掌握车辆状态 。同时该模块具有一定的应急响应机制 ， 如恢复应用程序运行 、 修复可能由于颠簸导致的硬盘损坏以及切换冗余存储设备等功能 ， 最大限度保障监控数据录制的完整性 

1.3 监控性能

新型智能网联监控系统提供录制视频比特率能达到 3000Mbps, 硬件设计 12 路 LVDS 相机接口 ，其中 4 路相机接口做后续升级以及备份使用 ， 目前软件性能可同时支持 8 路相机接入 ， 能为监控提供高清视频素材 。平台推流比特率能达到 100Mbps,20fps o 同时 CAN 接收能够支持 6 组 CAN 同时接入 ，能同时记录多组传感器信号以及多组车辆 CAN 信号 ， 便于后续数据分析以及监控 。设备支持接入1Tb 硬盘作为主存椒备 ， 以 SD 卡作为冗余存椒备 ， 保证数据录制完整性 。

云平台可实时获得设备在线状态 ， 并在线情况下实时定位车辆位置 ， 同时平台端可远程实时可视化监控 。车辆以及传感器的 CAN 数据可通过客户自定义信号上传平台 ， 实现整体监控 。该设备具有独立的掉电存储模块 ， 能保证在车辆熄火后能够坚持系统工作 3 分钟以上 ， 保证车辆意外掉电后数据记录 ， 满足法规要求能够自动记录和存储在车辆事故或者失效状况发生前至少90 秒的数据 。

新型智能网联监控系统在智能集卡车上的应用实例如图 4 所示 ， 系统接入 8 相机（5 个水平fovl92° 、 垂直 fovl34°  ， 3 个水平 fovl20°  、 垂直fovl05°, 分辨率均为 1280x720 ） , 舱外相机分别布置了 6 组相机 ， 车头以及后挂车使用水平 120 。

相机（1 、 6）, 主要考虑是能监控前后较远区域 ， 因此使用畸变较小的相机 ；车身部分使用了4 个水平 192 ° 相机（2--4） 进行盲区覆盖 ；舱内使用了120 ° 相机（7）安装于集卡车副驾驶位前方A 柱 ， 用于舱内驾驶员以及乘客监控 ；车头与挂车链接部分使用水平 192 ° 相机 ， 针对挂车转弯时岀现车头与车身偏离时出现的盲区监控。

图 5 所示为车辆 CAN 数据连接示例 ：OBD 以及动力 CAN 可提供车辆实时状态监控 （ 如方向盘转角 ， 车速 ， 档位等 ） ；智能驾驶 CAN 通道 （ 以下称智驾 CAN ） 提供车辆的驾驶模式信息 （ 人工驾驶 / 自动驾驶 ） ；RTK+IMU 提供精确定位信息 、Radar 提供障碍物位置探测信息 ， 两者是智能驾驶中常用的感知系统重要组成部分 ， 同时也是决策控制的重要数据来源 。该新型智能网联监控系统能将通过 CAN 总线信号监听 （ Listen only） 所有数据记录并根据客户自定义信号推送云平台 ， 为智能出行提高安全系数 .

总结

针对集卡车具有车身长 、 盲区大以及可拆卸后挂车等特点 ， 本文提出一种适用于智能集卡车的车载监控系统 ， 能实现无死角舱外以及舱内多路高清视频 、 服务于智能驾驶的多路 CAN 通道监控数据记录以及云监控等功能 。系统目前可提供8 路相机数据 （ 1280X720 分辨率 ） 以及 6 路 CAN通道同时采集 。

目前该系统在智能集卡车上具有广泛应用 ， 每天云平台具有 2000- 3000 公里里程监控数据生成 ， 并不断在扩大规模中 。统计正常运营的监控设备 ， 累加所有设备总在线时间在2800 小时内 ， 系统故障率小于 5% , 其中 60% 为配件故障 。

实际应用过程中 ， 对监控设备扩展相机数量以及 CAN 通道数量提出了需求 ， 该系统下一步优化方向除了扩展通道外 ， 接入更多种通讯协议传感器数据监控如 LIN,TCP-IP 等 。

（点击图片获取大会资料）