智能手机与视频监控平台的整合和扩展应用

智能手机的起源源自上个世纪90年底PDA(个人数字助理)设备的兴起，当时的PDA主要提供记事、通讯录、名片交换及行程安排等功能，主流的操作系统有奔迈公司的Palm、微软公司Wince系列。这个时代的设备由于主要应用文档方面的处理，采用黑白液晶显示屏和低速CPU。本世纪初期，PDA与手机的结合形成了智能手机的雏形，主要有微软的Window Mobile系列、塞班公司的Symbian OS系列。初期高端的智能手机CPU频率在200Mhz左右、提供320*240分辨率的彩色显示屏、2G/Wifi上网能力。这个时期的智能机具备音频、视频处理，网络浏览的能力。随着2007年苹果公司的IPhone智能手机发布，智能手机的发展进入了高潮。这个时期以苹果公司的IOS系统、Google的Android系统为代表。硬件上也不断推新，目前已能3.5寸显示屏内分辨率达到了960*640，超过了人类肉眼的辨别极限。CPU做到双核1GHz，具备强大的运算能力。3G高速上网功能。甚至有的机型还具备的具有专用图形GPU，使智能机的画面显示更加流畅。高分辨率的显示屏、高主频的CPU和专用GPU奠定了智能手机作为监控终端的硬件基础。 　　有了硬件的基础，采用智能机作为手机监控系统终端就有了可能性。下面我们将智能手机如何与视频监控平台结合起来实现视频监控功能进行探讨。 　　系统组成 　　· 监控终端：采用IOS系统或Android系统的智能手机; 　　· 流媒体服务器：向智能手机分发音视频媒体流; 　　· 应用管理服务器群：对监控终端进行登陆验证、鉴权，提供视频资源列表，GIS电子地图，云台控制，报警信息推送等功能。 　　流媒体传输协议 　　RTSP(Real Time Streaming Protocol)，实时流传输协议。它是TCP/IP协议体系中的一个应用层协议，由哥伦比亚大学、网景和RealNetworks公司提交的IETF RFC标准。该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系结构上位于RTP和RTCP之上，它使用RTP Over TCP或RTP Over UDP完成数据传输。在PC系统上有QuickTime、RealPlayer、VLC等播放器支持该种协议的流媒体播放。在智能机上主要是Android系统支持该协议。 　　HLS(HTTP Live Streaming )是由苹果公司开发基于HTTP实现的流媒体传输协议。该标准作为草案提交给IETF标准化组织。在智能手机上主要是IPhoneX系列支持;Android 4.0版以后的智能机也支持该种流媒体协议。 　　在智能手机上直接使用以上两种流媒体协议来对监控视频进行播放初步来看不失为一种快捷的版本。但对标准进行分析和实际的使用情况上看，直接采用这种方案也有一些不足之处。 　　1、采用RTSP协议中的媒体流传输有TCP和UDP两种方案，通常采用的是UDP方式。大家都知道UDP是无连接传输协议。当网络情况比较复杂的时候(如用户在防火墙内)，很难保证每次视频媒体流都能到达智能手机客户端。 　　2、HLS采用的是HTTP协议传输，理论上只要智能手机能访问WEB网站就能观看视频。但是分析一下HLS协助的标准文档可以发现，这种标准是把视频媒体流先生成一定长度的媒体文件，让智能手机客户端按照时间轴的顺序依次获取这些文件来播放。这种处理会带来两个方面的问题，一是需要等待生成一定时间长度的文件，二是需要等待这个文件在网络上传输完成，这样就造成了先天性的播放延迟。 　　综上所述，采用标准的流媒体传输协议固然有便捷的地方，但在视频监控领域应用还需要做进一步的改进，以适应在3G网络上实时监控视频传输。 　　视频源获取 　　在数字式视频监控网中，主要视频有来自DVR/NVR的视频，也有来自IPC摄像机的视频。有些监控设备厂商在新产品中也逐步加入了对智能手机播放格式的支持。但一些还在运营的旧型号监控设备所提供的视频格式，往往不能适应智能手机对视频的点播回放。因此还需要考虑采用转码服务器，把旧有的视频流统一转变为智能手机可以回放的格式。 　　云台控制 　　作为监控系统的客户端，云台控制操作是必不可少的功能。PC是主要是通过鼠标来完成操作。智能手机上的输入方式主要有键盘输入、触摸屏输入。流行的控制方式是用手指在触摸屏上滑动，不同的手势代表不同意义。我们可以采用手势来控制云台的上下左右方向的运动，提升用户的操作体验。云台控制除了在智能手机上操作方面的革新以外，还需要注意的是和视频画面的同步问题。如果使用智能手机播放视频延迟过大，用户就会有操作云台控制后响应过慢的感觉。 　　点位与电子地图集成 　　电子地图，是利用计算机技术，以数字方式存储和查阅的地图。 电子地图储存资讯的方法，一般使用向量式图像储存，地图比例可放大、缩小或旋转而不影响显示效果，早期使用位图式储存，地图比例不能放大或缩小。对前端摄像机点位的地理信息进行采集，然后在电子地图上进行标注，这样用户就可以以电子地图的鸟瞰视图来方便的查找所需视频点位。 　　信息推送 　　智能手机上的信息推送，就是“信息广播”，是通过一定的技术标准或协议，在网络上通过定期传送智能手机用户需要的信息来减少信息过载的一项新技术，比如wap push技术。推送技术通过自动传送信息给用户，来减少用于网络上搜索的时间。可采用这一技术来实现把各种报警信息推送到订阅该种报警信息的智能手机客户端上，缩短处理问题的响应时间。 　　实时图片/图像采集上传 　　拍照与录像现在已成为智能手机的基本功能。利于这一特性，可以把智能手机纳入监控网络体系。使之成为提供应急视频源、调查取证的客户终端设备，拓展现有监控系统的使用范围。 　　秉承“平安城市”和“智慧城市”应具有联网、高清、移动、智能四大特性，研发了此套移动监控视频系统。主要由三大基础服务组成(图1)。

    智能手机的起源源自上个世纪90年底PDA(个人数字助理)设备的兴起，当时的PDA主要提供记事、通讯录、名片交换及行程安排等功能，主流的操作系统有奔迈公司的Palm、微软公司Wince系列。这个时代的设备由于主要应用文档方面的处理，采用黑白液晶显示屏和低速CPU。本世纪初期，PDA与手机的结合形成了智能手机的雏形，主要有微软的WindowMobile系列、塞班公司的SymbianOS系列。初期高端的智能手机CPU频率在200Mhz左右、提供320*240分辨率的彩色显示屏、2G/Wifi上网能力。这个时期的智能机具备音频、视频处理，网络浏览的能力。随着2007年苹果公司的IPhone智能手机发布，智能手机的发展进入了高潮。这个时期以苹果公司的IOS系统、Google的Android系统为代表。硬件上也不断推新，目前已能3.5寸显示屏内分辨率达到了960*640，超过了人类肉眼的辨别极限。CPU做到双核1GHz，具备强大的运算能力。3G高速上网功能。甚至有的机型还具备的具有专用图形GPU，使智能机的画面显示更加流畅。高分辨率的显示屏、高主频的CPU和专用GPU奠定了智能手机作为监控终端的硬件基础。

有了硬件的基础，采用智能机作为手机监控系统终端就有了可能性。下面我们将智能手机如何与视频监控平台结合起来实现视频监控功能进行探讨。

系统组成

监控终端：采用IOS系统或Android系统的智能手机;

流媒体服务器：向智能手机分发音视频媒体流;

应用管理服务器群：对监控终端进行登陆验证、鉴权，提供视频资源列表，GIS电子地图，云台控制，报警信息推送等功能。

流媒体传输协议

RTSP(RealTimeStreamingProtocol)，实时流传输协议。它是TCP/IP协议体系中的一个应用层协议，由哥伦比亚大学、网景和RealNetworks公司提交的IETFRFC标准。该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系结构上位于RTP和RTCP之上，它使用RTPOverTCP或RTPOverUDP完成数据传输。在PC系统上有QuickTime、RealPlayer、VLC等播放器支持该种协议的流媒体播放。在智能机上主要是Android系统支持该协议。

HLS(HTTPLiveStreaming)是由苹果公司开发基于HTTP实现的流媒体传输协议。该标准作为草案提交给IETF标准化组织。在智能手机上主要是IPhoneX系列支持;Android4.0版以后的智能机也支持该种流媒体协议。

在智能手机上直接使用以上两种流媒体协议来对监控视频进行播放初步来看不失为一种快捷的版本。但对标准进行分析和实际的使用情况上看，直接采用这种方案也有一些不足之处。

1、采用RTSP协议中的媒体流传输有TCP和UDP两种方案，通常采用的是UDP方式。

大家都知道UDP是无连接传输协议。当网络情况比较复杂的时候(如用户在防火墙内)，很难保证每次视频媒体流都能到达智能手机客户端。

2、HLS采用的是HTTP协议传输，理论上只要智能手机能访问WEB网站就能观看视频。但是分析一下HLS协助的标准文档可以发现，这种标准是把视频媒体流先生成一定长度的媒体文件，让智能手机客户端按照时间轴的顺序依次获取这些文件来播放。这种处理会带来两个方面的问题，一是需要等待生成一定时间长度的文件，二是需要等待这个文件在网络上传输完成，这样就造成了先天性的播放延迟。

综上所述，采用标准的流媒体传输协议固然有便捷的地方，但在视频监控领域应用还需要做进一步的改进，以适应在3G网络上实时监控视频传输。

视频源获取

在数字式视频监控网中，主要视频有来自DVR/NVR的视频，也有来自IPC摄像机的视频。有些监控设备厂商在新产品中也逐步加入了对智能手机播放格式的支持。但一些还在运营的旧型号监控设备所提供的视频格式，往往不能适应智能手机对视频的点播回放。因此还需要考虑采用转码服务器，把旧有的视频流统一转变为智能手机可以回放的格式。

云台控制

作为监控系统的客户端，云台控制操作是必不可少的功能。PC是主要是通过鼠标来完成操作。智能手机上的输入方式主要有键盘输入、触摸屏输入。流行的控制方式是用手指在触摸屏上滑动，不同的手势代表不同意义。我们可以采用手势来控制云台的上下左右方向的运动，提升用户的操作体验。云台控制除了在智能手机上操作方面的革新以外，还需要注意的是和视频画面的同步问题。如果使用智能手机播放视频延迟过大，用户就会有操作云台控制后响应过慢的感觉。

点位与电子地图集成

电子地图，是利用计算机技术，以数字方式存储和查阅的地图。电子地图储存资讯的方法，一般使用向量式图像储存，地图比例可放大、缩小或旋转而不影响显示效果，早期使用位图式储存，地图比例不能放大或缩小。对前端摄像机点位的地理信息进行采集，然后在电子地图上进行标注，这样用户就可以以电子地图的鸟瞰视图来方便的查找所需视频点位。

信息推送

智能手机上的信息推送，就是“信息广播”，是通过一定的技术标准或协议，在网络上通过定期传送智能手机用户需要的信息来减少信息过载的一项新技术，比如wappush技术。推送技术通过自动传送信息给用户，来减少用于网络上搜索的时间。可采用这一技术来实现把各种报警信息推送到订阅该种报警信息的智能手机客户端上，缩短处理问题的响应时间。

实时图片/图像采集上传

拍照与录像现在已成为智能手机的基本功能。利于这一特性，可以把智能手机纳入监控网络体系。使之成为提供应急视频源、调查取证的客户终端设备，拓展现有监控系统的使用范围。

秉承“平安城市”和“智慧城市”应具有联网、高清、移动、智能四大特性，研发了此套移动监控视频系统。

主要由三大基础服务组成。

1、流媒体服务器

采用自主开发，基于TCP/IP的流媒体传输协议，分发音视频媒体流到智能手机上的软件客户端，保障用户实时、流畅的观看监控视频。也能支持基于RTSP与HLS协议提供标准的媒体流。

2、转码服务器

对各种视频监控设备传输过来的音视频流进行转换，转变成智能手机可以接受的媒体类型。采用转码服务器可以最大化的利用已经建成的监控视频资源，保护用户的现有投资。

3、接入服务器

把不同类型、不同厂商的视频监控设备统一管理起来，实现设备在线监控、云台控制等功能，并为转码服务器提供统一的视频源获取接口。

这三大服务器都具有堆叠、负载均衡的功能，可以从几十路到上百路，甚至上千路的视频并发，具有良好的可扩展性。

应用场所

风景区监控应用

四川省某风景区，景区占地较大，监控点比较分散。采用移动视频监控系统以后，把原有各景区路口、候车室、停车场的监控视频汇集起来，景区管理员使用带有3G上网功能的智能手机随时随地查看景区重要地点的监控视频。

市政紧急事件处理

北京市某区已建成市政图像视频监控网，为增强紧急事件处理，采用了移动视频监控系统。当呼叫中心收到报警后，管理员使用事件发生地点附近的监控设备观察实际情况，通过短信把事件情况与视频播放链接发送到相关负责人的手机上。大大加快了城市应急事件处理速度。

公共交通信息发布

南京市某智能交通网，采用东方网力移动监控视频三大核心技术，对原有主城区各异构交通视频监控网进行接入，转码和分发。降低视频流对网络带宽的消耗，适应了在Internet网络上进行视频传输的要求。系统采用B/S架构，并融合了电子地图技术。在地图上用户可以很直观的查看到监控点的位置。系统预留手机监控的接口，具有良好的可扩展性。

由于项目在设计之初就考虑到了大量用户并发访问的问题，因此在项目中采用了多台接入服务器、转码服务器、流媒体服务器堆叠的方式进行组网。提供了负载均衡模块，实时监控各个服务器的运行情况，智能分配视频流分发路径，最大化的利用了硬件资源。

运营商3G增值业务

贵州某电信运营商，为推广3G手机的普及，向公众提供移动监控视频增值业务。用户向运营商提供监控视频源，运营商负责对各类不同的视频源进行接入、分组标记，并为用户提供手机、监控软件客户端以及使用账户。用户使用手机客户端，输入自己的账号，就能看到自己提供的视频源。这种运营方式拓展了运营商在3G业务领域的应用，也为最终用户带来了便利。目前已成功接入食品连锁店、幼儿园、小学、生产企业等多种不同类型的用户。

结语

最后，随着智能手机硬件性能的不断提高，3G网络通讯带宽的提升及资费的下降，智能手机在监控领域的应用会更加广阔，高清显示、智能识别等需要强大运算与网络带宽才能实现的功能会逐步在智能手机上得到应用。智能手机的应用会朝着更加人性化、智能化的方向发展，在发展的过程中形成应用标准规范，最终会和其它应用服务结合起来，形成立体综合的应用服务体系。