datasheet

智能视频监控应用系统设计攻略

2016-10-09来源: eechina关键字:智能视频监控  无线网络
随着宽带有线和无线网络基础设施的完善以及全球安防市场需求的增长,视频监控的应用正呈爆发性的增长态势。视频监控系统的发展趋势非常明显,在经历了数字化和网络化之后,下一个重要的趋势就是智能化,即智能监控和视频分析技术的应用。

传统的视频监控由人工进行视频监测发现安全隐患或异常状态,或者用于事后分析,这种应用具有其固有的缺点,难以实现实时的安全监控和检测管理。带有智能分析功能的监控系统可以通过区分监控对象的外形、动作等特征,做到主动收集、分析数据,并根据预设条件执行报警、记录、分析等动作。智能监控系统可以运行于服务器,也可以运行在基于DSP的嵌入式系统上,而后者已逐渐成为主流。

智能视频的应用大体上可以分安防、人体行为检测和智能交通三方面的应用。其中安防应用是被广泛认为是最具潜力的市场,它包括以下几个应用类别:入侵检测,可以自动检测出视频画面中的运动行为特征;物品移除检测,可以自动检测物品搬移事件——当防区内某特定位置的物品被拿走或搬走时发出报警;遗留物检测,可以对遗弃物进行自动检测——当物品在某个防区内被放置或遗弃的时候自动报警;智能跟踪,可以使摄像机对自身的云台和变焦镜头进行自主PTZ驱动。人体行为检测应用包括脱岗检测(可以实现自动检测岗哨人员就位情况)、徘徊检测(对重要区域人体徘徊检测)。智能交通应用包括:对非法停留的交通工具进行检测,当交通工具在防区内非法停留时发出报警;车辆逆行检测,及时辨别逆行车辆。

随着准确率和可靠性逐步提高及产品成本的下降,智能视频在越来越多的场合得到了应用,它能够替代部分安防设备,降低安保人员的工作强度,提高工作效率,减少管理成本。事实上,智能视频的应用具有非常巨大的潜力。随着技术日趋成熟,智能视频技术的应用领域正在迅速扩展,这些应用主要包括上述的安防、交通以及零售、服务等行业,如人数统计、人脸识别、人群控制、注意力控制和交通流量控制等。
实时视频监测的需求正在快速增长,特别是随着实时安全监控应用的需求增加,实时发现安全隐患或目标异常行为的功能已经具有越来越重要的现实意义,智能视频监测系统产品在这种日益增长的需求带动下,正在成为视频监控应用的新热点。特别是随着半导体技术的进步,例如以Blackfin汇聚式处理器为代表的先进嵌入式解决平台方案的推出,具有极高性价比和极高实用性的智能视频分析设备不断推出,并在一些关键应用中发挥极为重要的作用。

 
图1:传统的视频监控应用示意图。

硬件平台方案的选择往往决定了系统的整体方案成本、性能、开发工具和方法的可用性,以及方案未来持续升级的可行性等,因此方案平台选型至关重要。智能视频应用自身的独特性要求在硬件平台的选择上进行综合权衡。视频监控系统的网络化和智能分析要求,以及大规模工程安装对成本、体积和功耗的限制,非标准化的智能视频分析方法和几乎定制化的方案优化方式,使得结合了MCU和DSP优势、具有软件设计灵活性和强大处理能力的汇聚式处理器方案平台体现出更加明显的优势。本文将结合ADI公司独特的Blackfin汇聚式DSP处理器的特点,分析智能视频设计中主要的设计技术要点。

一、硬件平台选型

可定制化能力非常重要。有很多因素制约着视频监控系统智能化的应用步伐:首先是智能监控的视频算法比较复杂,难于标准化,各个系统提供商的视频分析软件都有自己的独特算法,导致市场上的产品没有统一的标准;其次,视频监控系统的应用场景比较复杂,用户的要求多样化,所以定制化的要求比较多。因此,视频分析方案通常需要针对客户的应用特点和需求进行方案优化,采用的算法千差万别。此外,由于智能视频应用的高复杂性,对方案的处理能力提出了更高的要求。MCU+ASIC的视频监控传统方案难以实现各种个性化的设计和高运算能力要求,即使选择普通DSP+MCU的双芯片方案通常也难以满足智能视频监控应用的复杂运算需求,需要增加协处理器,这种复杂的解决方案无论是BOM成本、功耗还是开发难度都不足取。Blackfin处理器充分发挥了MCU+DSP汇聚式架构的优势,满足了智能视频应用的系统控制和高强度的运算需求,特别是以BF561为代表的高性能双内核架构已经成为智能视频应用的首选方案平台。

方案的可扩展性也是需要考虑的因素。智能视频分析应用除了需要针对应用环境、应用目的进行方案优化外,不同的客户可能还有其他方面的不同需求。例如,当前一些领先的数字视频监控方案实现了H.264基本类Level3.0和MPEG4 D1+CIF双码流的支持,未来可能扩展到支持H.264 D1+CIF的双码流。随着智能视频分析的更广泛应用,如IP摄像机、无线视频监控、智能交通系统等,不同应用都可能对各种接口功能、通信标准、用户界面等的需求有较大的差异化,硬件平台方案对各种需求的灵活扩展性非常重要。同时,正如前文所述,智能视频分析技术发展不过数年的时间,随着技术的不断成熟以及一些相关的标准的出台和改进,产品的可升级特性至关重要,既是开发者须关注的问题也是终端客户关切的重要特性。Blackfin DSP在算法并行处理上具有独特优势,特别是ADSP-BF561采用双DSP核,能够实现很复杂的智能视频处理算法。

视频应用优化特性。一些方案尽管具有较强的处理能力和可扩展性,方案是否主要针对视频应用进行过优化设计也值得关注,因为这直接关系到设计工程师可用的软硬件设计资源以及系统设计难度和可实现的性能。以Blackfin处理器为例,Blackfin为高强度、高数据率的数字和媒体处理做了专门优化:Blackfin的几十个DMA通道和可灵活配置的Cache很好地满足了视频监控系统对大运算量、高数据吞吐率的要求;ADI专门开发了完全优化的音视频编解码器,并免费提供给大客户;针对视频应用Blackfin集成了很多硬件驱动,包括WiFi的驱动、音/视频编解码器的驱动;Blackfin的4个视频算术运算单元和视频象素指令集大大加速了视频运算速度;在智能视频分析的一些基础算子中,例如直方图统计、中值运算、Sobel运算、形态学中的膨胀运算等都可以利用Blackfin的MIN、MAX指令来消除条件跳转,节省处理器周期。不仅如此,Blackfin还支持13种非视频数据的向量运算。适当设计数据结构,在前背景分离、阈值计算和更新等多个环节都可以运用Blackfin的特色指令让智能视频分析算法更快捷。这些本身就很有效的指令中,大部分指令都能够并行执行,使得Blackfin的处理能力再加倍。

低功耗和稳定性很重要。考虑到智能视频监控设备通常都是一周7天,每天24小时运行的,稳定性和功耗也比较重要。在低功耗上,Blackfin处理器采用了多种节能技术:基于一种选通时钟内核设计,可按照逐条指令来选择性地切断功能单元的电源;支持多种针对所需CPU动作极少期间的断电模式;Blackfin处理器支持一种自含动态电源管理电路,借助该电路即可对工作频率和电压进行独立控制,以满足正在执行的算法的性能要求;大多数Blackfin处理器都提供片上内核稳压电路,并可在低至0.8V的电压下工作。而Blackfin独特的汇聚式处理架构、90nm工艺等打下了其领先的低功耗处理的基础。由于高处理能力,基于Blackfin平台的系统方案可以减少主芯片数量,丰富的功能和接口可以满足各种外设和功能扩展需求,降低元器件数量,从而保证更高的稳定可靠性。目前在同价位DSP中Blackfin DSP的低功耗特性和稳定性是最好的。

支持哪些嵌入式操作系统。智能视频分析通常是基于网络的应用,必须要操作系统的支持,因此选择具有广泛嵌入式系统支持能力的解决方案非常重要,这样能确保未来产品在更换操作系统时不至于必须更换硬件平台,保证研发成果的持续可用性。目前可用的嵌入式操作系统众多,各具优势,硬件平台方案对这些操作系统的支持能力是进行方案选型的考虑要点之一。例如,Blackfin处理器可以支持目前主流的操作系统,包括uCLinux、ThreadX、Nucleus,uCOS-II等十多种嵌入式操作系统,客户完全可以根据其自身要求选择其熟悉的或更具成本效益的软件架构基础。 

 
图2:基于BF561的智能监控终端框图。

二、开发工具和可用资源

智能视频监控设备是一个复杂的系统,涉及到复杂的软硬件设计、人机界面、通信连接等,具有较高的系统设计难度。因此,所选择的硬件平台方案是否能提供完善的开发工具套件、必要的软件模块、成熟的参考设计、系统设计支持,以及是否有完整的设计生态系统等,对于是否能按期高质量地完成系统设计非常关键。事实上,并不是所有平台方案提供商都能提供这些支持。

以Blackfin系列处理器为例,采用Blackfin处理器的硬件平台从一般的DVR、IP摄像机、数字视频监控到智能视频监控,已经被全球大量的设备企业的广泛采用。Blackfin处理器获得众多企业的青睐,具有完整的开发工具和参考设计等支持是其受广泛欢迎的重要原因之一。ADI提供业界一流的工具、初学套件与支持,包括人们熟知的、能够支持其他Blackfin处理器的ADI CROSSCORE软件与硬件工具,这些工具包括获奖的VisualDSP++集成开发与调试环境(IDDE)、仿真器,以及EZ-KIT Lite评估版硬件。

为提高开发效率,降低开发难度,开发时应尽量在已有的资源上进行,比如开放的例程,ADI为此提供了非常丰富的例程和资料。例如,ADI提供免费的“Image Tool Box”图像处理函数库软件包,该软件包专门针对图像处理应用常用的数学函数进行了优化,供客户在进行应用开发时调用。ADI还提供完整的参考设计,以及由本地合作伙伴开发的评估板、开发工具、算法IP、应用模块,以及由第三方合作伙伴提供包括软硬件在内的全套交钥匙方案。Blackfin处理器的视频监控应用目前在中国已经有多家具有丰富工程经验的第三方合作伙伴,已经建立完善的生态系统。

以ADI在今年三月份宣布提供基于该公司Blackfin BF526C的完整的IP监控和机器视觉摄像头参考设计为例,该参考设计在单个汇聚处理器上提供了强大的视频和音频处理能力,为工程师提供了一个统一的软件开发环境,可以实现更快的系统调试和部署,以及更低的系统成本。该处理器提供了集成的音频编解码器、流式视频和IP协议、片上DRAM存储器以及针对10/100以太网、USB和SD存储和本地RS-232端口的接口。这种完全可编程的解决方案可以满足多种视频压缩标准,例如H.264和MPEG4,支持音频G.729标准的编码。支持从控制中心到相机的双向语音通信,以及利用Pelo-P或Pelo-D协议的镜头平移、倾斜和拉伸动作。该参考设计还提供一块带双核BF561处理器的子卡,使系统能实现更高视频分辨率,并提供实现高级视频分析功能,如运动检测和跟踪。

应用方案揭秘——亿维东方智能网络摄像机

北京亿维东方科技有限公司(Emvideo)是专业智能安防产品的方案提供商,也是美国ADI公司授权的第三方合作伙伴。亿维东方目前有多款基于ADI Blackfin处理器为核心的硬件平台的产品,其中“软件+硬件”交钥匙的WiFi无线视频监控整体解决方案基于BF536+BF561的双处理器架构,方案硬件结构图如图3所示。

其中BF536处理器作为主处理器,除负责完成音频编码、远程控制以及用户交互控制等一些基本的管理与控制外,还负责嵌入式操作系统uClinux的运行,以及先进的智能视频分析功能,可以完成安防、人体行为、智能交通等多种智能视频分析。双核BF561作为协处理器负责视频编码算法,其强大的视频处理能力使得该方案实现了H.264基本类Level3.0和MPEG4 D1+CIF双码流的支持,未来更将可能扩展到能够支持H.264 D1+CIF的双码流。两个处理器之间可以通过高速同步串行接口通讯,视频信号首先进入BF561处理器,采集编码后的码流发送到BF536处理器,然后通过网络发送到客户端进行解码显示。

 
图3:采用Blackfin BF536和BF561的解决方案硬件结构图。

该方案采用了先进的背景建模方法,能有效地克服光线变化、树叶摆动以及水面波纹等背景对前景目标分析产生的干扰,实现准确的前景检测,同时在目标跟踪上采用了独特的优化算放,实现了在入侵检测(包括区域警戒、绊线检测)的应用上超过90%的准确率。而所有这些都是基于BF536+BF561双处理器的硬件架构所具有的强大处理能力来实现的。

该方案的智能视频分析功能由亿维东方公司自主开发,独特的算法和丰富的智能视频分析技术开发经验确保实现客户的智能识别应用需求,并为客户提供包括软件升级在内的完善服务。由于智能视频识别应用目前并没有任何可循的需求标准和测试标准,因此视频分析方案通常需要针对客户的应用特点和需求进行方案优化。例如有些用户是地铁系统的,他们需要的功能是检测是否跨越候车的黄线、人群密度是否过大、是否有可疑的遗留物体等;有些用户是银行系统的,他们所需要的是ATM机的智能监控如分析是否有安装假键盘、安装吞卡器,在ATM机是否有暴力行为,是否出现犯罪分子的人脸等。利用该方案,客户可以根据用户的需求方便地进行调整算法。智能视频处理要求芯片具有强大的处理能力,有许多算法实现时得采用并行处理,Blackfin DSP在算法并行处理上具有独特的优势,特别是ADSP-BF561的双DSP核能够实现很复杂的智能视频处理算法。这是传统的MCU+ASIC或采用一般DSP方案所难以实现的。

该方案的软硬件都经过了应用验证,目前已经由多家客户进行生产,目标应用将主要是政府行政效能监测、教育系统等行业用户。

关键字:智能视频监控  无线网络

编辑:什么鱼 引用地址:http://news.eeworld.com.cn/qrs/article_2016100930894.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:无传感器交流电动机控制技术提高了运行效率
下一篇:一种改进的多传感器加权融合算法

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

大数据推动安防向智能化发展 视频监控是巨量数据的来源

在现代社会,每个人的一言一行都产生数据并被记录下来,IDC数据显示,自从2010年进入ZB阶段以来,全球数据量约每两年翻一番,近几年产生的数据量几乎与之前所有时代的数据量齐平。爆发的数据将人类推入大数据时代。视频监控:巨量数据来源无论何时,安全都是社会刚需。我国提出雪亮工程、平安城市、智慧城市项目,以扩大视频监控覆盖面、推动全国联网工作并实现海量视频信息智能化应用。目前项目建设已卓有成效。与此同时,这些监控设备产生的数据量也在飞速增长:智东西统计,全国各行各业采用的监控摄像头约 2.25 亿只,一天产生的数据量约 50PB,是上千个国际级图书馆的数据量级。而我国每千人拥有摄像头数量与英美等发达国家仍有一定差距,还存在巨大的增量市场
发表于 2019-03-01
大数据推动安防向智能化发展 视频监控是巨量数据的来源

利用人工智能来优化视频监控系统的发展

“从终端到核心”的全系列监控级产品组合新增了支持机器学习和人工智能的Western Digital Purple 12TB硬盘以提升安防新高度。  为满足视频监控行业对于更高分辨率摄像头和实时终端分析领域的新应用需求,西部数据公司(NASDAQ: WDC)已经扩展了旗下视频监控系列产品,推出新款大容量、具备深度学习能力的监控级硬盘,即采用专属的AllFrameAI技术的Western Digital® Purple 12TB硬盘。西部数据新推出的视频监控系列产品为视频监控创造了新的可能性,支持多个高分辨率视频流,并同时访问录制的视频以支持深度学习和分析。该功能专为具有人工智能(AI)功能的新兴DVR和NVR系统而设计,并通过连续
发表于 2018-06-28

三分钟看穿智能视频监控系统的发展

智能视频监控技术,能够实现对监控主体的自主监控,并实现提前预警。智能视频监控表现为计算机视觉算法在视频分析中的应用。当前智能视频监控系统以结构类分为主动智能监视系统,分布式智能视频监视系统。早期智能视频监控系统产品出现在市场上,着实引起了一段骚动,而且很多特殊的应用场景和应用环境,的确能给客户带来很大的价值。如商场的人流统计技术,为商场的数据分析带来了巨大的技术支撑。如车牌识别技术,给公安交通管理带来的价值是无法用数据来衡量的。但是,视频分析技术还没有完全成熟,目前应该还属于技术应用的初级阶段,还存在很多问题,这些问题可能也是限制智能视频监控系统快速发展的最主要的因素:一、检测准确率达不到理想效果。视频分析技术的准确率基本达不到
发表于 2018-05-28

浅谈从NPU芯片看视频监控的智能化发展

近几天,“长征七号首飞”刷爆了各大媒体版面,随着昨晚的成功发射,这一场兴奋狂欢更是被激发到最高点。在激动自豪之余,大家也不要忽略一个重大消息:中国首款嵌入式神经网络处理器(NPU)诞生。这可是智能化行业的一大喜讯,对于视频监控领域来讲更是具有跨时代意义。NPU是何物?它颠覆了什么?在对NPU进行大解析之前,大家可能要费心听笔者起底一下AlphaGo与李世石的精彩人机大战了。很多人对AlphaGo的获胜表示惊叹、敬畏,却对它胜利的“武器”不甚了解。其实,AlphaGo获胜的本质在于其对人脑生物机理的深度学习算法熟谙于心。那么什么是深度学习呢?深度学习,是源于对生物人脑机理的仿生学研究而形成的一种人工智能算法。通俗来讲就是指计算机通
发表于 2018-05-28

人工智能初创企业落地 安防视频监控前后端

在不久的将来医疗行业将融入更多人工智慧、传感技术等高科技,使医疗服务走向真正意义的智能化,推动医疗事业的繁荣发展。在中国新医改的大背景下,智慧医疗正在走进寻常百姓的生活。   其中,在包括远程医疗信息系统、医疗信息平台、医院智能化系统等医疗信息化建设中,安防系统的助力十分重要。   一、医院传统安防建设存在的问题   传统的医疗安防系统,主要以视频监控、报警、门禁和周界防范为主。就视频监控而言,虽然目前很多医院都在建设“平安医院”,但大多仍停留在基本的视频监控。这样把业务重心完全放在布点上,而非给予安保人员以系统的培训,防护效果自然大打折扣。不仅如此,基于模拟和普清、标清的传统摄像机也无法匹配现今医院的复杂场景,从而严重影响
发表于 2017-12-06

人工智能将如何变革视频监控行业?

几十年来,视频监控一直用于检测和制止家庭、企业和公共场所的犯罪行为。但是当你回顾这些年的时候,会发现视频监控已经有了令人吃惊的发展。如今不仅视频质量更好了,其背后的软件也更是如此。视频监控技术的演进  当你回顾视频监控行业和所有进入市场的新兴先进技术,你会不禁对这些年的发展感到无比兴奋。  想想以前你得叫很多专业人员来,在你家里接线搭建一个安全系统——穿墙而过,布一堆电线——现在普通的房主不需要借助多少资源就能自己安装好智能摄像头。  以前企业不得不有一个专门的团队全天候监控安全摄像头,而现在大部分监控都是自动化的,有可疑行为的时候会通知安全人员。  过去几年视频监控技术所取得的进步是巨大的,但是我们只看到了表面。还有其他一些发展
发表于 2017-10-19

小广播

何立民专栏

单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2019 EEWORLD.com.cn, Inc. All rights reserved