监控图像融合技术的进步将实现3D监控环境

      目前的视频安全技术可以通过多种形式提供形象生动的高清晰数字视频监控，然而，系统集成商们仍在寻求一种新的途径来利用现代化设备对昼夜监控图像进行细致解读。

      视频分析、图像融合以及高清晰度是研发的三个方向。

　　一名懒散的警卫盯着几台监视器，一杯接一杯地喝着咖啡，这就是当前美国军事设施以及国土安全视频监控系统。

　　当前美国面临的威胁极其复杂多样，在采用视频监视器的基础上，拥有细致视频画面分析能力变　　得至关重要。

　　监控用户可采用多种监控手段，例如红外线（包括短波和长波）、图像融合、卫星链接以及无人机系统（UAS）传输视频等。

　　美国马里兰州盖瑟斯堡市洛克希德•马丁信息系统及全球服务分公司的全动态视频解决方案部主任查理•莫里森（Charlie Morrison）说：“通过运用视频分析技术，能实现上述技术的综合运用。这项技术能对目标进行追踪和识别。”

　　莫里森接着说：“由于信息量巨大，需要提前对信息进行组织和性质分析，缓解监控操作人员在处理数据时的巨大压力。我们已将这一技术推向市场。”

　　“未来的视频监控屏幕会像全球最大的体育电视网ESPN以及CNBC电视频道一样，在屏幕下方滚动播出体育赛事结果以及股票行情。随着多元智能化视频处理技术的出现，监控屏幕上不再只显示单一画面。”

　　洛克希德•马丁公司的莫里森研究小组和总部位于佛罗里达州墨尔本市的哈里斯公司的工程师们正在对此项技术进行研究，验证其是否能够运用在军事监控及情报应用领域。莫里森说：“我们希望将这项商业技术运用到国防部（DOD）视频监控系统当中。”

　　“全动态视频在情报数据采集和分析方面具备独一无二的优势，”洛克希德•马丁公司空间解决方案部副主任吉姆•科尔哈斯（Jim Kohlhaas）说。“成千上万的平台每天都在收集重要的视频情报。而我们面临的挑战是如何对如此大量的信息进行收集和分类，并从堆积如山的数据中分析找出所需的重要情报，并对这些情报数据进行解读和交流共享。”

　　“Audacity”音频编辑软件是洛克希德•马丁公司开发的主要视频分析工具之一。“Audacity”软件能标记、分类数字素材，并编制信息目录。洛克希德•马丁公司公开透露，该软件也拥有情报分析功能，包括视频马赛克处理、面部识别、目标追踪以及关注区域的智能自动报警功能等。

　　哈里斯公司采用全动态视频资产管理引擎（FAME）。洛克希德公司透露，该引擎可直接将视频、聊天以及音频集成在视频流中。广播通讯行业所采用的此项设备能够通过集成处理和存储引擎生成一个数字建筑，为基础设施提供增强视频流。

　　莫里森说：“我们所做的就是将全动态视频资产管理引擎和‘Audacity’软件的各自优势发挥到极致，并且将两种技术紧密融合，让人们说不出哪项具体功能是哪个软件发挥作用的结果。”

　　洛克希德•马丁公司致力于“在纷繁复杂的情报中筛选信息”，从而分析视频，识别目标。洛克希德•马丁公司还透露，两大公司携手合作，将重点放在视频功能以及实时视频和视频记录分析能力的研究和开发领域。

　　据悉，研究小组还负责开发一种能够“跨组织、跨地域编目，存储及安全共享视频情报”的解决方案。

　　莫里森说：“越来越多的资产监控系统采用了红外线、昼夜图像监控、目标识别等手段，我们可以为上述资产监控提供信息过滤。该软件能够组织数据，协助操作人员作出决定，缩短反应时间，提高反应效率。”

　　[page]

      莫里森表示他们已经完成一项此种监控部署。但不肯透露部署地点以及采用此项方案的用户名称。

缩短决策时间

　　莫里森表示：“通过共同努力，视频监控操作人员能够使用图形用户界面，轻松完成操作。”

　　以港口的安全应用方面为例，洛克希德•马丁公司信息系统和全球服务部的项目经理托尼•莫雷利（Tony Morelli）说：“操作人员不仅可以从监控屏幕上了解到船只进港，而且还能够了解船只的预定运载货物以及实际运载货物。”

　　莫里森继续说道：“该界面也能够提供一种聊天功能，运用数据流技术实现两个指挥官或者操作人员之间的音频对话。在任务视频流中，还能够看到聊天信息。”

档案分析

　　莫里森说：“目前的视频归档过程是将视频录像分割成若干个30分钟或20分钟长短的视频片段保存。所以，这将花费大量的时间来检索信息，尤其是在你寻找2秒钟的帧数时。”

　　他补充说明道：“这就好比让你在有10000个WORD文档的搜索引擎中寻找一个句子。”

　　莫里森说：“运用元标记（Meta tag）功能来标记数据要快得多。举个例子，假如看到一辆红色福特野马跑车停在楼下，监控人员就可以查出这辆跑车三天前在什么地方，然后播放出跑车出现前后的所有录像。这就像数字视频录像机或硬盘数字录像机（Tivo）能够让你回顾电视中的某些错过的片段。”

　　莫里森继续说：“这个例子体现了该系统在地理方面的识别能力，该系统同时具备时间、关键词以及地域的搜索功能。”

　　莫里森指出这一解决方案不能对口语词进行搜索，但是可以将音频数据转录为文本。对此，莫里森又用福特“野马”跑车举了一个例子，监控视频的操作人员可以“搜索10天前到当天的所有跟这辆红色福特“野马”跑车有关的信息。”

交互分析

　　莫里森说：“研究目标的发展方向就是更多将视频分析能力与触屏功能相互融合。操作人员只要从众多数据中挑出一条便可获悉更详尽的信息——无论是警方关注的嫌疑人或嫌疑车辆，还是某一关注领域两个领导人之间的对话。”

　　优势之一即“该方案能够同各种监视设备结合运用”。当前，美国陆军、海空军以及海军陆战队都使用着大量不同类型的监控设备以获取信息，而哈里斯与洛克希德•马丁公司开发的联合方案则融合所有设备的功能。莫里森说：“实现这一成果的关键因素就是标准化。”倘若所有用户都使用同一元数据标准，那么即便在没有运用相关设备工具的情况下，数据信息的整合分类也不会过于复杂，莫里森还指出，视频标准由动态图像标准机构（MISB）设定。

　　[page]

      莫里森说：“触屏能力仍需经过数年的开发研究，但是，系统会在后台根据操作人员的意图，如以往的搜索内容和屏幕上正在查看的内容，来对它认为操作人员会需要的信息进行闪存。”这就类似于“亚马逊”（Amazon）之类的网站，他们分析顾客的购买趋势，之后向顾客推荐其可能感兴趣的商品。

全景图像融合

　　倘若视频真实捕捉到了所有细节，那么对视频数据的分析及提取效率就会大大提高。英国布拉科内尔（Bracknell）市“GE Fanuc”智能平台（布拉科内尔）有限公司（原Octec有限公司）的工程师和科学家们正在研究如何仿照人类通过眼睛获取图像信息再传送到大脑对信息进行分析这一过程，创建一种全新的视频处理模式。

　　“问题在于如何将该模式下的图像以直观的方式呈现给人眼，因为人类的眼睛会对物理运动做出反应。”布莱克内尔“GE Fanuc”智能平台业务发展部的副主任拉里•谢佛（Larry Schafer）说道。当前的众多监控系统在屏幕上显示的符号过于繁琐，令操作人员眼花缭乱，无法及时作出反应。

　　“GE Fanuc”的工程师们指出，如果将图像更加直观地呈现在屏幕上，并且尽可能地减少符号的使用，就能够让监控设备的操作人员对信息了解得更为透彻，并能做出正确决定。

　　谢佛和他的研究小组希望能够通过建立一系列装配有全天候工作的传感器的摄像头来重建信息的呈现方式。谢佛说：“该装置被称之为分散式孔径传感器。”

　　谢佛说：“从某种程度上说，这就是一种全景变焦摄像头。当操作人员走出坦克或者其他车辆时，能够通过这种摄像头了解自己身后的情况。”

　　谢佛还说：“影像是图像融合的一种形式。将白天和黑夜的影像以160度或者360度的可视程度叠加在一起，生成图像的对比度将更为丰富。因此眼睛得到了必要的直观刺激。”

　　图像融合“不间断运作的传感器让我们重新回到了数据提取这一环节”，从根本上为监控操作人员提供全方位视野。若有目标出现在监控人员的后方，无论目标是躲藏在建筑物内还是在坐在驾驶的车辆中，操作人员都可以通过调节触摸显示屏在第一时间内获取信息。

　　谢佛说：“这将创造一个3D监控环境，周边的视野将会变得跟你正前方的视野一样清晰明朗。”

　　根据“GE Fanuc”智能平台的数据资料显示，这种视频处理技术采用的是“GE Fanuc”所研发的IMP20视频处理夹层卡，IMP20夹层卡是该公司ADEPT104以及AIM12自动视频跟踪器中的附加模块，拥有辅助的图像融合功能。

　　数据资料还显示该装置的图像融合算法能够提供更快的运行时间以及减少内存消耗。IMP20夹层卡还具有一个“实现旋转、缩放及转换的内置信息源强力引擎，能够弥补成像器之间的图像失真和失调，降低对成像器的精确匹配要求”，降低整个系统的成本。

　[page]　

      谢佛说：“这是一种通过将白天拍摄的图像与热成像复合来实现的真实情景识别，添加了目标识别能力。这项技术同时也运用到了很多相同的短波红外技术，而这些短波红外技术的运用由来已久。”

短波红外（SWIR）

　　虽然短波红外（SWIR）传感器存在已久，但如今此项技术在关键任务的监控应用上仍然少不了要采用短波红外传感器。

　　美国新泽西州普林斯顿市古德里奇情报、监视和侦查系统公司（前传感器无限公司）销售和市场营销部的主管罗伯特•斯图鲁瑟斯（Robert Struthers）说：“实验表明，即便在有雾、霾、粉尘以及烟雾等外界大气环境的干扰下，短波红外波段仍然具有良好的成像能力。将短波红外技术与长波或者中波红外技术结合运用到热像仪中，能够有效地提升驾驶员在夜间的可视能力和空中大范围持续监视能力，并能提高士兵所用的携带式夜视成像系统的性能。从根本上说，热红外波段负责侦察，红外短波负责识别。”

　　斯图鲁瑟斯说：“短波红外相机的高性能在于它在没有闪光灯的情况下拍摄城市夜间画面，或在强曝光下保持图片色彩不失真。与可见光相机和夜视镜（NVG）相比，红外短波砷化铟镓相机（InGaAs）的波长敏感度更高，再结合波长匹配功能以及隐蔽照明装置，可使士兵避免由于夜视镜暴露而受到的攻击。

　　斯图鲁瑟斯表示在热转换的过程中（近黄昏/黎明），短波红外的成像能力依然十分出色。

　　他说：“短波红外的光谱带根据反射光线产生图像，而其他热成像系统则根据温度成像，在成像原理上与其他系统有所区别。运用反射光线成像的图像将比热光谱带成像系统产生的图像更为清晰，而温度成像的图像看起来仿佛就是具备目标/生物识别能力的黑白可视图像。”

　　斯图鲁瑟斯说：“古德里奇公司的红外短波砷化铟镓相机在红外短波波段（像素列阵为640*512）能够提供最高的分辨率，多数相机都有封闭式相机壳，或者作为微型开放式框架模块嵌入到监视框架和小型光学系统中使用。”

　　古德里奇公司的最新砷化铟镓相机型号为SU640KTSX-1.7RT，该型号相机具有灵敏度高和动态范围广的特点。根据古德里奇公司提供的数据表，在被动监控和激光器的使用中，该相机能够在短波红外光谱带范围内实时地将夜间图像转换成白天拍摄图像的效果。据悉，相机自带有自动增益控制（AGC）系统，能放大图像，并改善内置非均匀性校正(NUC)功能。由于波限更低，该相机甚至能够捕捉到先前只有硅基成像系统才能捕捉到的光子。

　　由位于佛吉尼亚州阿林顿市的美国国防部高等研究计划局（DARPA）出资，推动古德里奇公司在短波红外相机方面的研发。斯图鲁瑟斯说：“研究的主要目的是推出一种适用于小型无人机平台以及便携式夜视组件的设备，该设备还具有外形小巧、重量轻、耗电量低的特点。”

　　斯图鲁瑟斯补充道：“短波红外相机的广泛应用，促进了隐蔽照明装置以及特殊防反射镀膜镜片的发展，最大程度地提高了士兵的夜视能力。”