随着现代信息社会的不断发展,人们对安全的需求不断增加,使得视频监控系统在安全防范领域的运用越来越广泛,因而它是实施安全监控的重要技术手段。但目前所使用的视频监控系统,缺乏对视频内容的智能分析,而主要靠人的视觉,使得视频监控系统只能完成时间的视频存储记录,而仅成为事后分析提供证据。这样,不能在事前提供预/报警,而不能真正起到保平安的作用。
随着光电等高新科学技术的发展,视频监控系统也由数字化、网络化,而正在逐步走向高清化并向智能化发展。所谓视频监控系统的智能化,是指在不需要人为干预的情况下,系统能自动实现对监控图像画面中的异常情况进行检测、分析与识别,并及时作出预/报警。由于智能视频监控系统更能满足人们对安全的需求,因而国内外有眼光和研发能力的安防监控企业已纷纷投入研发。现在,国内外市场已有智能视频监控产品问世。
随着国外的监控产品供应商不断向国内引进智能化产品,以及国内的智能视频监控产品的不断出现,是否有智能视频分析作用的产品就是智能化产品?它们的智能视频分析识别能否起作用?在什么情况下起作用?能否满足我们在不同场合对安全的不同层次的需求?能否给人们提供最大的安全效益而真正保平安?视频监控系统怎样才算是智能化?智能视频监控产品与智能视频分析技术有何关系?安防工程商怎样才能选择出实用的智能视频监控产品?这些都是我们极其关心的问题。
众所周知,安防工程商接到安防监控系统工程后,是根据产品供应商提供的全套的说明而选用的。但产品供应商本着追求自身最大经济效益的原则,往往在说明书中不切实际地夸大自己的产品,一般是什么产品最赚钱就卖什么。而安防工程商对新产品的智能化情况并不了解,它到底能达到多大的安全效益也不是很清楚,因而造成许多投入使用的系统设备并不能满足实际的安全需求的状况,甚至有的在建成使用过程中成了一种摆设,形同虚设。这无疑对用户的投资是一种极大的浪费。
如果用户能对使用的视频监控产品进行智能化的评估,或者这些产品均有权威评估鉴定部门请专家进行过评估,其效果就完全不一样了。这样,安防工程商不仅可以根据用户的安全需求选用性价比最高的最恰当的智能产品,以最大限度地节约投资成本。而且,也可以充分利用其智能化功能,在安全威胁发生之前就能够提示监控人员关注相关监控画面,为潜在威胁做好准备工作,从而最大限度地满足用户的安全需求,以建成性能最优良的系统。这样,用户就不会盲目地为追究高尖端产品而投入大量的资金,造成极大的浪费,反而会理性地根据自己对某方面的安全需求而进行合理选择,一方面节约投资成本,另一方面也满足更高层次的安全需求。
因此,对视频监控产品及其智能视频分析技术的作用进行智能化的评估是非常有必要的。它不仅能评估该产品智能视频分析识别的作用有效与否,而且能重要地评估其智能化的水平与等级,以供安防工程商与用户选用参考。目前,安防行业的评估工作的开展是较为缓慢的,针对安全防范系统的评估还缺乏一整套规范的评估方法和步骤。本文就智能视频监控产品智能视频分析技术及其作用、智能视频监控产品的等级与智能视频分析技术作用的关系,如何评估智能视频分析技术的作用及评估的方法和步骤等,谈谈自己的看法,以供安防工程商与用户选用参考。
智能视频分析技术及其作用
视频分析技术是用计算机从视频中通过运算和分析,提取视频中有用信息的一项技术。对人类来说,我们可以通过观察视频图像,智能化地提取所需目标信息。但对计算机来说,只是一个数据数列,一个包含每一帧每一个像素点的灰度值或彩色值的数列。其目标信息是包含在那些像素点的值所组成的平面图像序列中的,是需要从“整体”上进行“理解”才能获得的。视频分析技术便是为了让计算机通过特定的核心算法程序提取视频信号中所包含的内容信息或个体运动信息,以实现计算机对于视频的理解,让计算机能“明白”视频中所展现的是什么内容或者发生的是什么样的事情,即“事件”。
视频分析技术范围很广,只要是从视频中通过运算处理,提取有用信息都可以称为视频分析技术。由于都是属于对视频内容的“分析、识别和理解”,因而目前已经比较成熟并已形成产品在实际项目中得到应用的技术,如车牌识别技术、视频检索技术、视频人脸检测等,都属于“视频分析技术”。因为它们都属于对视频中的有用信息的提取,如提取车牌号码,提取视频中的文字或特定图形等。严格讲,这些技术都只是视频分析技术中的比较简单的内容,只不过由于这些技术已得到较好地研究和应用,有了一些专门的称谓,才单独提了出来。目前,通常所说的视频分析技术一般特指从视频中目标运动行为的分析、提取和识别,它常用于安防监控领域,其所指代的范围比之字面意思的含义已大幅缩小。
视频分析技术的作用是,让计算机知道视频中“发生的是什么事”,再与对应的规则相比对和判断,自然就能够让计算机知道这些事件的特性。如果从视频中个体运动行为的分析、提取和识别角度来看,就能令计算机判断出这些个体进行了一些什么行为,进而可以判断这些行为是否符合某些规则,是否属于“某一类型”的行为。这样,对于不符合规则的事件就可以进行即时的发现和报警,从而可摆脱人工的干预和判断,实现令计算机“代替”人进行监控,也即实现了自动监控或“智能监控”。更形象地解释是,视频监控系统中的摄像机和视频传输技术解决了“眼睛”(视网膜成像与视神经)的问题,使监控人员能够不在现场的情况下通过摄像机看到现场的情景。而这一现场,还由于传输技术的进步摆脱了地域的限制,甚至可以在千里之外通过数字网络传输看到;而视频分析技术则给视频监控系统加上了“大脑”,使安防监控系统至少在一定程度上能够代替人来随时监看这些视频。这样,就不需要再由人工随时去监看这些视频了。
实际上,智能视频分析技术,起源于计算机视觉技术。计算机视觉,是人工智能研究的分支之一,它能够在图像及图像描述之间建立映射关系,从而能够通过数字图像处理和分析来理解视频画面中的内容。计算机视觉技术可分为低层视觉技术与高层视觉技术。低层视觉技术要解决特征提取、运动检测、多目标根踪等基本问题;高层视觉技术要解决对场景的语义理解,如目标运动轨迹的判别,异常行为异常事件的最终结论等。因此,在计算机视觉领域中,一个最根本的问题就是如何从底层原始视频数据得到高层的语义理解,而智能视频监控技术中的智能视频分析技术的研究正是紧紧围绕这个基本问题,其研究范围不是仅局限于某个特定问题,而是涉及到计算机视觉中从底层到高层的许多基本问题。
智能视频监控技术主要是对视频自动进行分析,从视频中提取关键信息,发现与识别异常的感兴趣事件,从而可以替代人为监控或者协助人为监控。显然,视频分析与识别涉及到复杂的软件算法,它可以通过编程识别出奇怪与异常的行为。视频内容分析与识别软件能通过分析现场或记录的视频流,检测识别出可疑的活动、事件或者行为模式。视频监控系统的智能化是指在不需要人为干预的情况下,系统能自动实现对监控画面中的异常情况进行检测、识别,并及时作出预/报警。
视频分析技术通常采用背景减除技术来进行图像变化的检测(如入侵、丢包、逆行等都是一种模式的图像变化),即对视频帧与基准背景图像进行比较,相同位置的像素(区域)变化则认为是变化了的区域,对这些区域进一步处理、识别、跟踪,得到包括目标位置、尺寸、形状、速度、停留时间等基本形态信息和动态信息,完成目标的跟踪和行为理解之后,也就完成了图像与图像描述之间的映射关系,从而使系统进一步进行规则判定,直到触发报警。
目前,普遍使用的运动目标检测方法就是背景减除法,其算法虽较简单,但仍然会受到光线、天气等自然条件及背景自身变化(海浪、云影、树叶摇动等情况)的影响。针对不同的天气以及自然干扰,已应用有多种附加算法(过滤器)来弥补这些干扰。随着光电图像处理技木及微电子技术的发展,相信智能视频分析技术会进一步成熟。
从广义上来说,我们也可以把智能视频分析技术分为如下三类:
视频分析类
该类主要是在监控图像中找出目标,并检测目标的运动特征属性。如目标相对的像素点位置,目标的移动方向及相对像素点移动速度,目标本身在画面中的形状及其改变。根据以上的基本功能,视频分析可分为以下几个功能模块:
①周界入侵检测、目标移动方向检测;
②目标运动、停止状态改变检测;
③目标出现与消失检测;
④人流量、车流量统计;
⑤PTZ自动追踪系统;
⑥系统智能自检功能等。
视频识别类
该类包括人脸识别、步态识别与车牌识别,其主要技术是在视频图像中找出局部中一些画面的共性。如人脸必然有两个眼睛,如果我们可以找到双目的位置,那么就可以定性人脸的位置及尺寸。不过,以现有的技术来说,人脸识别系统必须在双目可视的情况下,才可进行人脸比对。其主要包括:
①人脸识别系统;
②步态识别系统;
③车牌识别系统;
④照片比对系统;
⑤工业自动化上的零件识别即机器视觉系统等。
视频改善类
该类主要是将一些不可视、模糊不清,或者是对振动的图像进行一些优化处理,以增加视频的可监控性能。具体包括:
①红外夜视图像增强处理;
②车牌识别影像消模糊处理;
③光变与阴影抑制处理;
④潮汐与物体尺寸过滤处理;
⑤视频图像稳定系统等。
智能视频监控系统或产品与智能视频分析技术作用的关系
安防行业的评估工作起步较晚,目前该领域的评估主要是借鉴安全生产领域的评价方法来进行评估。如专家打分法、加权平均法、层次分析法、灰色系统法,或有的借鉴国外的效能评估的方法来对安全防范系统进行评估等等。但视频监控系统的智能化评估,对于该系统智能视频分析与识别技术能否起作用,能否真正发挥安全效益又至关重要。因此,必须研究出一种对智能视频监控系统或产品以及智能视频分析技术进行智能化评估的有效方法。
[page]
作为世界知名的智能监控供应商之一的澳大利亚的iOmniscient公司,通过讨论的方式,仿照人智力水平高低的分类标准,在世界上率先建立了一种视频监控系统的智能IQ(智商)评级系统。这种智能IQ评级系统的思路对视频监控系统评估方法的建立也是一种很好的尝试。国内有人仿照这种思路,提出建立一种视频监控系统智能化的评估方法,即智能IQ评级法。智能IQ评级法把系统的智能IQ定为60-180之间,并按照系统的检测能力划分为7个等级范围。但这种方法不太符合中国人的习惯,因为我们中国人习惯于百分制或5级计分制。下面我参照智能IQ评级法提出一种适于我国的实用的5个等级计分的智能化评估的方法,供视频监控系统的智能化评估法的法规制定者们参考。
这种5个等级计分的智能化评估方法的等级划分是:
第一个等级范围的产品
该等级范围的产品或系统的智能IQ为1分,或小于50分,即智能化水平极差。一般,采用视频移动侦测VMD来探测监控现场的移动情况。即通过一帧影像的像素和紧接着的下一帧影像的像素比较,就构成了视频移动侦测的最简单形式。如果有一点差异,就意味着监控现场有一些变化,通常都被称为有移动。显然,仅能侦测到视频有移动的系统没有多少智能,且很容易产生误报警。
因为实际上一些干扰,如光线的变化、水的反射、阴影或者其他的变化都会使系统认为有移动而发出误报警。因此,这一个等级范围的产品,智能视频分析的作用极差,所以该产品根本不能实用。
第二个等级范围的产品
该等级范围的产品或系统的智能IQ为2分,或大于等于50而小于60分,即智能化水平不及格。该等级范围的产品或系统不仅能排除第一个等级范围的干扰,还能够分析进入监控画面的目标特征(比如目标的大小或者形状),因而能够区分出是人还是其他的动物,或者是小汽车还是卡车等。
这一等级范围的产品或系统虽能识别出人与物(即目标的大小或形状),但不能判别人与物的行为异常,其智能视频分析的作用还比较差,即不及格,因而该产品也未达到实用。
第三个等级范围的产品
该等级范围的产品或系统的智能IQ为3分,或大于等于60而小于75分,即智能化水平为及格或中等。该等级范围的产品或系统除能够排除干扰清楚区分人与物外,并在室温条件下还能够简单区分与识别人与物的行为异常,如实现遗弃物检测,人与物的过线检测,并能准确地对人与物进行统计计算。该等级范围的产品或系统被设置了较好的专业算法,因而使其计算比较精确。
这一等级范围的产品或系统能在室温等室内条件下识别出人与物的某些异常行为,其智能视频分析的作用还可以,即达到及格,因而该产品还能够应用,但只能限于在室内常温等条件下的应用。
第四个等级范围的产品
该等级范围的产品或系统的智能IQ为4分,或大于等于75而小于85,即智能化水平为良好。该等级范围的产品或系统能实现行为分析,即能够区分与识别更多的人与物的行为异常,如系统能在室外环境检测到上一个等级的异常外,还能在室外检测到目标的游荡、跑动、滑动和下落(如人从楼上跌下)、人的打架斗殴、汽车撞人或两车相撞、室内外出现的火灾前兆等异常行为。
评估智能视频分析技术的方法和步骤
由上可知,不是只要有智能视频分析作用功能的产品就是已“智能化”的产品,我们必须要进行智能化评估,看其智能视频分析作用功能有多少,能否起作用等,从而可帮助用户选择所需要的智能化水平的视频监控系统设备产品。
评估的方法
看智能化产品属于哪个等级即可了解智能视频分析的作用
具体的评估方法可用“5个等级计分的智能化评估方法的等级划分”来评估智能视频分析技术的作用。第一个等级范围的产品,其智能视频分析的作用极差,根本不能实用;第二个等级范围的产品,虽能识别出人与物(即目标的大小或形状),但不能判别人与物的行为异常,其智能视频分析的作用不及格,因而该产品也不能达到实用;第三个等级范围的产品,能在室温等室内条件下识别出人与物的某些异常行为,其智能视频分析的作用还可以,即达到及格,因而该产品只能限于在室内常温等条件下的应用;第四个等级范围的产品,可以检测到拥挤场景中的遗弃物(丢弃物),能非常有效地检测诸如机场被单独留下的行李,或者博物馆和仓库中存放的可能被盗的物品。一般能与防盗、防火、门禁等系统联动,并能较准确地检测识别人的面像、步态或声音等。这一等级范围的产品或系统能在一般室外等条件下识别出人与物的行为异常,其智能视频分析的作用不错,抗干扰的能力较好,即达到良好,因而该产品能获得室内外使用;第五个等级范围的产品,能比第四个等级范围更恶劣的气候条件下检测到上述等级的人与物的行为异常外,并能检测到更全面更多的人与物的行为异常,如人的蒙面、拿出刀或枪对准人等,并能准确地与防盗、防火、门禁等系统联动,能准确地检测识别人的面像、步态、声音等。由于它能排除一切干扰,并可在极恶劣的环境下使用,因而该等级为优秀等级,其智能视频分析的作用非常好,即智能化水平极高(这是我们努力的方向)。
从智能软件算法评估智能视频分析技术的作用
智能视频分析与识别技术的核心是智能软件算法。因此,可从智能软件算法着手评估智能视频分析与识别技术的作用是否真正实用。一般,起作用的智能视频分析与识别技术,即实用的智能软件算法,主要看是否能满足下列几点要求:
①不同的监控场景与智能软件算法数学模型之间是否有较好的吻合程度。所用的智能软件算法的数学模型是否考虑到不同的监控场景的因素的影响,即是否使监控环境与智能软件算法模型达到最大的一致性。如将目标尺寸作为重要的分类特征时,通常在大景深的场景中,目标尺寸变化幅度很大,此时目标分类的精度就会大大降低。这可通过降低场景的景深,或加入场景标定算法,或降低尺寸特征在分类算法中的权重等方法解决。
智能软件算法框架中是否根据不同场景附加了一些软件模块:
●对安置在汽车等移动物体上的摄像机获取的视频图像,必须要增加一个抗抖动软件模块,这样就可以提升在摄像机抖动情况下的处理效果;
●在阴影严重的室外场景下,要增加阴影抑制软件模块,从而可提升在阴影严重的室外场景下的处理效果;
●在光照剧烈变化场景下,要增加光变抑制软件模块,从而可提升在光照剧烈变化场景下的处理效果;
● 在目标图像频繁互相遮挡场景下,可增加遮挡处理软件模块,以提升在目标图像频繁互相遮挡场景下的跟踪精度等。
是否考虑到低照度、高扰动、高拥挤程度等复杂的监控场景的视频对系统性能的影响。
如有否潮汐过滤器,即过滤掉在形状上经常变化或移动方向不规则,速度过快的物体,如水面反射的阳光等。
是否有物体尺寸过滤器(即过滤掉太大或太小的物体)与物体尺寸骤变过滤器(即过滤掉尺寸瞬间巨变的物体),以免错误报警等。
评估的步骤
一个智能视频监控系统或产品及其智能视频分析技术的作用的智能化评估,可按下列具体步骤进行:
组织智能化评估的专家评估鉴定组
首先,为进行准确可靠的评估,必须组织5人或以上的副高级职称以上的真正的安防监控技术或光电信息技术专家,以组成智能化评估的专家评估鉴定组。
对送审材料进行智能化水平的评估
其次,由副高级职称以上的安防监控或光电信息技术专家对送审材料进行理论上的智能化水平的初步评估。
测试监控现场的环境条件
再次,由副高级职称以上的安防监控或光电信息技术专家组织测试监控现场的环境条件,并评定其智能软件算法模型与监控现场的环境条件的吻合程度。
模仿人与物的异常,对视频监控系统或产品的实际智能化功能进行测试
第四步,在监控现场的环境条件下,模仿人与物的异常,由副高级职称以上的安防监控或光电信息技术专家组织对视频监控系统或产品在不同距离条件下测试的实际智能化功能,并按5级计分评估法进行测试评估。
专家综合评估打分
最后,由副高级职称以上的安防监控或光电信息技术专家根据上述情况按5级计分评估法进行综合评估打分,并最后签字认可,以形成评估鉴定的最后结论性意见。
结束语
由上可知,不是只要有智能视频分析作用功能的产品就是已“智能化”的产品,我们必须要对智能视频监控系统或产品及其智能视频分析技术的作用进行智能化评估,看其是属于哪个等级范围的产品,其智能视频分析作用功能有多少,能否起作用,其智能软件算法是否与所需监控场景的环境吻合,有否附加一些所需的软件模块等,从而可帮助用户选择所需要的实用的智能化水平的视频监控系统设备产品。
本文提出的智能化评估的五个等级范围的方法,也仅是一初步设想,可能存在许多不足之处,希望对安全防范技术系统的评估有一定的借鉴价值,或对整个安防领域评估工作的开展能提供一种思路。
随着安防行业的不断发展和评估工作的不断进步,相信会有更完善更好的评估方法出现,以使我国安防行业的评估工作能走上正轨。
该等级范围的产品或系统还可以检测到拥挤场景中的遗弃物(丢弃物),能非常有效地检测诸如机场被单独留下的行李,或者博物馆和仓库中存放的可能被盗的物品。一般能与防盗、防火、门禁等系统联动,并能较准确地检测识别人的面像、步态、声音等。
这一等级范围的产品或系统能在一般室外等条件下识别出人与物的行为异常,其智能视频分析的作用不错,排干扰的能力较好,即达到良好,因而该产品能获得室内外使用。
第五个等级范围的产品
该等级范围的产品或系统的智能IQ为5分,或大于等于85分到100分,即智能化水平为优秀。该等级范围的产品或系统可以实现拥挤场景(比如机场候机大厅、火车站检票口)的检测。系统可以提供多种功能,如计算某时间段非常拥挤的场景中有多少人;如果单位时间通过入口的人数过多(系统可以预先设定)就会发出警报等。
该产品或系统能比第4个等级范围更恶劣的气候条件下检测到上述等级的人与物的行为异常外,并能检测到更全面更多的人与物的行为异常,如人的蒙面、拿出刀或枪对准人等,并能准确地与防盗、防火、门禁等系统联动,能准确地检测识别人的面像、步态、声音等。尤其处于95分以上的系统,能排除一切干扰,检测分辨个体极小或者对比反差极低而人眼看不到的目标。
显然,处于该等级的视频监控系统的智能视频分析的作用非常好,即为优秀等级。因为它能排除一切干扰,并可在极恶劣的环境下使用,因而其智能化水平是极高的。
由上可知,不是只要有智能视频分析作用的产品就是智能化的好产品,关鍵是看它属于哪个等级。如产品只是属于第一、二个等级范围的,虽然它也有智能视频分析的作用,但作用差而不能在安防中实用;而属于第三、四、五个等级范围的产品的智能视频分析的作用才是有效的、好的,即是安防中所需的实用的产品。因此,对有智能视频分析作用的产品,必须要进行智能化等级范围的评估,只有属于第三、四、五个等级范围的产品,安防工程商与用户才能选用。