基于多传感器信息融合的智能交通信息语义描述

0 引言
    摄像头作为监控、采集交通信息的有效手段被广泛应用于智能交通系统中。然而摄像头由于其光学特性极易受到周围环境的干扰，例如强光照射、雨雪雾等恶劣的气候条件都会对摄像头的正常工作产生很大的影响，因而仅仅通过摄像头这一单一信息采集手段获得的交通信息往往是不够完整的，有时甚至是不可靠的。另外摄像头采集到的视频信息，信息量庞大，毫无结构性，用户如果希望在如此海量信息中检索感兴趣的内容，例如用户想查看某段黑色轿车闯红灯的视频，目前通常的做法是一帧帧地线性浏览整个视频，显然这个过程效率极其低下。
    基于以上问题，本文首先提出了一个多传感器信息融合框架，通过将摄像头采集到的视频信息与多种智能交通传感器采集到的信息进行融合以弥补摄像头作为单一信息采集手段的不足。然后在此基础上提出了一个对摄像头所采集的视频信息和智能交通传感器信息进行语义描述的框架，为用户对交通信息进行高效检索提供铺垫。

1 智能交通多传感器信息检测与融合
1．1 多传感器信息融合理论
    多传感器信息融合理论最早应用于军事领域，这一方面的研究首先起始于1973年的美国。20世纪80年代，随着传感器技术的进步，多传感器信息融合理论开始飞速发展，其在非军事领域的应用也大规模展开，工业控制系统、智能交通、气象监测、资源探测、医疗诊断等多个领域都在朝着多传感器方向发展。国内多传感器信息融合的研究也于20世纪90年代达到高潮，涌现了诸多理论和工程实践成果。
    多传感器信息融合就是充分利用多个传感器的资源，通过对多种传感器信息按照某优化规则进行组合处理，有效地提高各个传感器信息之间的互补性，同时剔除不必要的冗余信息，提高整个系统的有效性。多传感器信息融合按照信息处理层次可分为数据层信息融合、特征层信息融合、决策层信息融合。其中决策层信息融合是根据各个传感器系统的判决进行优化推理，做出最终的决策，灵活性高，通信负荷小，无需传感器之间同质，但同时也对观测信息的预处理提出了很高的要求。
1．2 智能交通多传感器信息融合框架
    智能交通传感器种类繁多，功能各异。针对应用场景以及结合前期的工程实践，选择磁敏传感器、压电式传感器、微波雷达、RFID作为获取交通信息的传感器，这4种传感器所采集的交通信息如表1所示。

    此外，整个交通状态会受到周围环境的影响，因而需要根据环境变化调节多传感器信息融合的策略，从而降低环境变化所带来的影响。
    到目前为止，需要进行信息融合的传感器包括摄像头、磁敏传感器、压电式传感器、微波雷达、RFID。这5种传感器彼此异质，原始观测数据结构、内容差异巨大，例如摄像头采集的是二维视频信号，磁敏传感器却输出一维模拟信号，而压电式传感器则输出模拟脉冲信号。因此考虑在决策级对这几种传感器信息进行融合。每个传感器节点对采集到的信息进行分析处理，其结果与视频信息处理结果进行决策级融合，整个融合过程同时会受到气象、光照条件的影响。多传感器信息融合框架如图1所示。

2 智能交通信息的语义描述
    随着多媒体技术的迅速发展，视频信息量也呈现出爆炸性增长趋势。面对如此海量的数据，用户更关注如何才能高效地检索到自己所感兴趣的信息，即如何实现基于内容的视频信息查询(Content-Based Visual Queries，CBVQ)。这一问题已引起了研究者的广泛兴趣，一些原型系统相继问世，如IBM的QBIC系统，哥伦比亚大学的webseek系统，清华大学的TV-FI系统等。
    传统视频分析技术是对底层视觉信息进行分析处理，如颜色、纹理、轮廓。而用户往往是从高层语义的角度理解整个视频内容，例如某段视频出现了什么物体、发生了什么事情。这之间不可避免地存在着语义鸿沟(Semantic gaps)。要实现视频内容查询，首先需要在底层视觉信息和高层语义之间搭建起一座桥梁。目前学术界对于该问题的研究工作已广泛开展起来，其中比较著名的是运动图像专家组提出的MPEG-7标准，即多媒体内容描述接口(Multimedia Content Description Interface)。MPEG-7标准的目标就是定义一套灵活的可扩展的描述框架。该框架能够对多媒体内容提供高效的、准确的并且具有互操作特性的语义描述，以便于进一步对多媒体信息内容进行语义检索。MPEG-7对以下内容标准化：描述符(Descriptors)、描述方案(Description Schemes)、描述定义语言(Description Definition Language)。其中描述定义语言基于XML语言，允许对描述符和描述方案进行灵活地定义和描述，并且具有极强的可扩展性。[page]

    基于MPEG-7标准，提出智能交通信息语义描述框架，描述的信息包括摄像头采集的视频信息和智能交通传感器信息。总体框架如图2所示。

    下面将阐述语义描述框架的各个组成成分：
2．1 Video_metadata
    Video_metadata主要是对每一帧视频做一般性描述，分为视觉元数据(Visual_metadata)和语义元数据(Semantic_metadata)。这部分数据并不包含视频内容本身。视觉元数据主要包括格式、大小、分辨率、颜色深度、压缩方式，语义元数据主要包括文本标注、时间、地点、该视频帧编号(Frame NO．)。
    例如某一帧视频的Visual_metadata描述如下：
   
2．2 Traffic_sensor_metadata
    Traffic_sensor_metadata主要描述的是该路段所布设的智能交通传感器的信息，包括布设了哪些传感器，该传感器所处的位置，传感器的功能。这部分描述也不包含视频本身的信息。加入这部分描述是为了将多传感器的信息内容整合起来，便于用户查询整个系统的信息。
    例如对于磁敏传感器信息描述如下：
   
2．3 Video_DS
    Video_DS是对摄像头采集到的某一帧视频信息进行语义描述，这部分是整个语义描述框架的核心，直接影响到用户的信息检索。这部分的主要任务就是描述视频中所出现的交通对象和视频中出现的交通事件。其中Video_object_set表示的是视频中所出现的所有交通对象的集合。在每一帧视频中，提取的交通对象分为4类：车辆(各种机动车和非机动车)、行人、道路(单行道、双行道、左拐车道、右拐车道)、交通标识(车道线、停车线、交通信号灯)。

[page]

    Video_object_set中每个元素称为Video_object，即交通对象。每个Video_object同时具有视觉特征(Visual Feature)和语义特征(Sem antic Features)。每类对象的视觉特征和语义特征如表2所示。

    Video_event_set表示的是视频事件集，这些事件包括车辆直行驶过、车辆左拐、车辆右拐、闯红灯、变道、违章停车、行人走过等交通事件，每个事件被赋予一个ID。Object_node引用Video_object_set中的元素Video_object，这样就避免了对象的重复定义。Object_relati on表示的是对象(Video_object)之间的关系，这些关系通常如表3所示。
     对于每件交通事件将其描述成对象之间的关系。例如对于闯红灯事件，涉及到的对象即为行驶中的车辆、变为红灯的交通信号灯和停车线，车和停车线之间的关系就是车越：过停车线(Crosses)。对于违章停车事件，涉及到对象为某个不能停车的车道和静止的车辆，它们之间的关系即为方位关系，即这辆车位于该车道之上(Top of)。
    Sensor_status是当有交通事件出现时，相关的智能交通传感器的检测信息，当用户需要读取传感器的信息时，可以直接读出。这里的Traffic_sensor_node也需要引用Traffic_sensor_metadata中的Traffic_sensor，避免传感器的重复定义。
2．4 Traffic_environment部分
    这部分主要描述的是摄像头监控范围内的整个交通环境信息，包括该区域的天气气候情况、光照条件、该路段的总体交通信息。

3 智能交通多传感器信息融合框架模型仿真
    在此以车速检测为例，对多种智能交通传感器和摄像头进行决策级融合，以验证多传感器信息融合框架的有效性。假设对于某一辆驶过的汽车，磁敏传感器检测到的车速为v1(单位：km／h)，压电式传感器检测到的车速为v2(单位：km／h)，微波雷达检测到的车速为v3(单位：km／h)，摄像头检测到的车速为v4(单位：km／h)，真实的车速为v(单位：km／h)，则每个传感器检测车速的误差为：
    △v1=v1-v    (1)
    △v2=v2-v    (2)
    △v3=v3-v    (3)
    △v4=v4-v    (4)
     根据工程实践，磁敏传感器、摄像头检测结果误差的均值和方差都比较大，而微波雷达和压电式传感器则相对比较精确。假设误差△v1，△v2，△v3，△v4分别满足近似正态分布，且：
    △v1～N(4，9)    (5)
    △v2～N(2，4)    (6)
    △v3～N(1，4)    (7)
    △v4～N(3，9)    (8)
    对4种传感器检测的结果进行融合，这里采用加权平均的模型对检测结果进行融合。4种传感器所对应的加权系数分别为w1，w2，w3，w4，且：
    w1+w2+w3+w4=4    (9)
    则融合结果为：
   
    因为△v1，△v2，△v3，△v4独立，所以△vf也满足正态分布，对以上过程进行仿真，结果如图3所示。

    从图3中可以看出，经过融合，融合结果的误差△vf的均值较小，动态范围也大幅度减小，因而多传感器信息融合能有效提高系统的检测精度。

[page]

4 智能交通视频语义描述实例
    本文的基于智能交通信息语义描述框架对摄像头采集到的某一帧视频发生的事件进行描述，该帧如图4所示。

    该帧视频发生的事件是一辆黑色轿车正驶过人为所画的一条虚拟的蓝线。将黑色轿车和虚拟的蓝色线条分别看作一个对象(Video_obje ct)，对于黑色轿车的特征描述如下：


    显然，基于提出的智能交通信息语义描述框架，能够将图4中的视频信息从语义的角度描述出来，并可以同时生成相应的文本文件。将这些视频信息描述结果存入数据库中，极大方便了用户从语义的角度对视频信息进行查询。

5 结语
    本文首先提出了智能交通多传感器信息融合的框架，并通过信息融合模型仿真验证了该框架的有效性，结果表明经过多传感器信息融合，系统交通信息检测精度得到有效提高。之后在此基础上参考MPEG-7标准提出了智能交通信息语义描述框架。该框架能够描述从底层视觉特征到高层语义特征的多层视频信息，弥补语义鸿沟，最终方便用户对海量视频信息检索，最后用一个交通视频语义描述实例证实了这一点。后续将根据各种智能交通传感器信息结构特点对信息融合模型展开进一步研究，同时进一步提高智能交通信息语义描述框架的扩展性和兼容性，将更多的交通信息纳入到整个描述框架中来。