华为怎样实现物体检测在大规模场景中的应用 助力智慧安防

2020-11-21来源: 爱集微关键字:华为

2020年10月,由华为技术有限公司主办、成都优普诚科技有限公司协办的“普惠AI,破浪前行”2020华为好望秋季品鉴会在成都首座万豪酒店成功举办,该会就机器视觉、智慧安防等领域展开了交流讨论。

其中华为的机器视觉技术尤其适合应用在智慧安防等领域,尤其是在AI技术的加持下,可以让安防变得更加的省心且智能。例如,物体检测就是一项基本的计算机视觉任务,它可以识别图像中物体的位置和类别。在实际应用中,研究员和工程师们会根据应用场景与实际任务需求的不同创建针对不同具体问题的数据集,用于训练高度定制化和独特的自动物体检测器。

而在智慧安防领域,物体检测也是非常重要的一个环节,在进行很多任务之前,首要的就是将待检测物体定位并进行类别识别。为此,华为在20年1月21日申请了一项名为“一种物体检测方法、装置以及存储介质”的发明专利(申请号:202010072238.0),申请人为华为技术有限公司。

该专利中发明的系统可以应用在大规模物体检测场景中,例如手机人脸识别、手机识别万物、无人车的感知系统、安防摄像头、社交网站照片物体识别、智能机器人等等。同时,由于这种物体检测方法在对物体进行检测时结合了跨域知识图谱,因此其物体检测效果会更好。

根据该专利目前公开的资料,让我们一起来看看这项物体检测方法吧。

如上图,为该专利中发明的系统架构的结构示意图,该架构中包括执行设备110、训练设备12、数据库130、客户设备140、数据存储系统150以及数据采集设备160。数据采集设备可以采集训练数据,并将数据存入数据库中,但是这种用于人工智能训练的数据需要进行人工标注。

训练设备可以根据训练数据训练出目标检测模型,当其他未知的图片由用户传递到计算模块时,就可以由目标模型来进行识别,从而得到物体的类别信息,并将物体的检测结果通过I/O接口呈现给客户设备。

如上图,为这种芯片的硬件结构图解,该芯片主要包括神经网络处理器,主CPU和外部存储器分别用于提供控制指令以及数据。配合系统架构图可知,这种芯片就是训练设备120中所使用的,可以完成训练设备的训练任务并输出物体的类型信息。

神经网络处理器NPU作为协处理器挂载到主中央处理器上,由主CPU分配任务,NPU的核心部分为运算电路303,控制器304控制运算电路提取存储器中的数据并进行运算。

我们知道在神经网络的计算中是需要大量的矩阵乘加运算的。举例来说,假设有输入矩阵A,权重矩阵B,输出矩阵C,运算电路从权重存储器中取矩阵B相应的数据,并缓存在运算电路中每一个PE上。运算电路从输入存储器中取矩阵A数据与矩阵B进行矩阵运算,得到的矩阵的部分结果或最终结果,保存在累加器中。

向量计算单元可以对运算电路的输出做进一步处理,如:向量乘、加、指数运算、对数运算以及大小比较等等,例如向量计算单元可以用于神经网络中非卷积的网络计算(池化、批归一化),这些结构则正是进行AI运算的基础。

如上图,为该专利中申请的物体检测方法的识别步骤的流程图,首先系统会获取待检测的图像,图像可以通过摄像头拍摄从街景等场合提取。接着确定待检测图像中的待检测物体的初始图像特征,这个步骤中,可以对整个图像进行卷积运算以得到整个图像的图像特征,然后再从整个图像的特征图中获取物体的初始图像特征。

接着根据跨域知识图谱信息来确定待检测物体的增强图像特征,这个跨域知识图谱信息包括不同域中待检测物体对应的物体类别之间的关联关系,增强图像特征指示不同域中与待检测物体相关联的其他物体对应的物体类别的语义信息,这种对应关系如下图所示。

从上图可以看到,这种对应关系即:两个类别在同一个图像中同时出现的概率越大,则认为两个类别之间有关联关系。上图的第一个域中的物体类别包括男人、女人、男孩、女孩和马路;街道第二个域中的物体类别包括人、手提包、书包、汽车和卡车。

我们认为第一个域中的男人、女人、男孩以及女孩与第二个域中的人之间具有关联关系,第一个域中的女人和女孩与第二个域中的手提包具有关联关系。这些关联信息是通过常识来推理出来的,这样的语义信息可以辅助进行图像检测的高级别信息。例如,待检测物体为女人,待检测图像中与女人相关联的其他物体包括手提包,那么,待检测物体的增强图像特征指示的可以是手提包的语义信息。

最后,我们再来看看这种物体检测方法的整体流程图,待检测图像可以先通过传统的物体检测器进行处理(例如Faster-RCNN网络结构),再提取初始候选区域的初始图像特征以及分类层的参数,并构建域内的区域图。

通过构建域内的区域图,利用域间图卷积网络传播节点上不同域下待检测物体的高级语义表示,得到经过推理推断后的融合了不同域下待检测物体高级语义表示的特征。最后将域内图卷积、域间图卷积经过推理推断后得到的特征投影到相应的待检测物体的高级语义表示中,并进行分类和回归,由此来得到待检测物体的位置信息以及类别信息。

以上就是华为发明的物体检测方法,通过构建跨域知识图谱,可以捕捉到不同待检测物体间的内在关系,由此来提高物体检测方法的效果。这种方法可以应用在复杂场景下,例如在商场以及商业街等区域,可以辅助安保人员对该区域的行人、物体进行检测,例如可以帮助寻找遗失物品以及进行可以物体检测等,有效提高城市安防能力!


关键字:华为 编辑:北极风 引用地址:http://news.eeworld.com.cn/xfdz/ic517273.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:维信诺签9111万元柔性显示屏和触摸屏贴合组件供货合同
下一篇:LG Stylo 7渲染图解密 6.8吋打孔屏

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

不公平待遇下的华为该如何选择?汽车
面对不公平的待遇,你会怎么做?华为选择继续探索新领域,“下半场”的选择:汽车。 华为智能汽车解决方案 BU 总裁王军再次表示“华为不造车”,但这个问题似乎不再是媒体们纠结的焦点,因为似乎大家已经看清华为的真正野心,是将华为的技术放入每一辆车里。 “把数字世界带入每一辆车”,这是华为这一次首发的智能汽车解决方案品牌 HI(HUAWEI  Intelligent Automotive  Solution)的一句标语。 和“造车”不同,似乎这个业务才是一个想像力更大,有可能在汽车行业真正实现“赢者通吃”局面的全新事业。 简单来说,这次华为发布的“智能汽车解决方案品牌 HI
发表于 2020-11-05
不公平待遇下的<font color='red'>华为</font>该如何选择?汽车
华为:Q4在德国智能手机市场的份额仍会超10%
据路透社报道,华为一名高管于当地时间周三表示,华为预计第四季度在德国的智能手机市场份额依然会超过10%,并称其新款Mate 40 Pro高端设备将从下周开始发货。据悉,华为德国消费业务负责人在一次简报会上表示,尽管美国的贸易限制影响了华为芯片供应,但今年到目前为止,公司在德国的市场份额为13%。根据此前市调机构Counterpoint的数据,2020年第二季度,华为在德国智能手机市场的份额为18%,排名第三。前两名是三星和苹果,市场份额分别为37%和23%。德国所在的欧洲市场一直是各大厂商积极抢进的市场,此前供应链消息称OPPO智能手机正在加单至8500万-1亿部,大概率将在加大欧洲市场的拓展力度。另外,小米、vivo等厂商也逐渐
发表于 2020-11-05
华为揭秘搭载EMUI11的手机怎样做到36个月流畅使用
集微网11月5日消息,华为花粉俱乐部昨天发文解答了最受用户关心的关于EMUI11的8大问题,一起来看看吧。1.被称为史上最强的华为Mate40,有EMUI 11功劳吗?有什么特别之处呢?当然有。EMUI 11跨终端体验如多屏协同、手机和手表协同,基于人因研究的动效交互和全新艺术化设计,36个月持久流畅的性能黑科技,以及“不打扰、不追踪、不泄露”的隐私安全体验,全方位助力华为Mate40系列成为史上最强大的华为旗舰。2. 目前EMUI 11的全平台的升级情况怎么样呢?我有一台华为Mate20,什么时候可以升级?从9月10日开发者大会启动P40系列等首批机型内测至今,我们已经陆续开启了23款设备的EMUI 11升级,预计将覆盖2亿
发表于 2020-11-05
只要和5G无关,大多数供应商都会获得华为许可证
”吗?Lattice的运命又将走向何方?集微点评:前两大FPGA厂商都被收购,或许给了其它中小厂商机会。Skyworks:已获得部分产品出货华为的有限许可在日前举行的2020会计年度第四季度财报会议上,Skyworks表示,已经获得了部分产品向华为出货的有限许可,目前正在与华为沟通,以明确他们需要和想要什么产品。集微点评:目前来看,只要与5G无关,相信大多数供应商的产品都会被发放许可给华为供货。LG将向苹果供应Mini LED背光LCD,新iPad采用!据etnews报道,业内人士11月1日透露,LG Display正计划向苹果公司供应Mini LED背光的LCD面板。这些液晶显示器预计用于苹果明年初发布的新款iPad、MacBook
发表于 2020-11-05
华为穿越了“封锁线”
“经过三轮制裁,华为仍然发布了旗舰手机,无论有多大困难,华为都会继续下去,未来还会有更好的产品推出。感谢消费者对我们的支持和厚爱,有你们的支持,我们对未来充满信息,在一起,就可以!”这是10月30号华为终端消费者业务CEO余承东在华为旗舰手机Mate40国内版发布会最后的一番话。这番话虽有几分悲壮,但更充满坚韧和斗志。在业界广为传播Mate40系列的各种机型、配置和价格之余,这场手机发布会上还有几大信息点值得关注。一场只有定价没有销售渠道的发布会华为Mate40系列国内版发布会是一场特殊的发布会,只有新品手机的报价,没有购买渠道。余承东说:“Mate40海外版发布后,国内的预订量已经超过供应能力,最近在加紧生产,希望大家多给点时间
发表于 2020-11-05
华为起诉美政府机构,为揭孟晚舟被捕背后政治疑云
据CBC报道,华为正在起诉多个美国政府机构,以迫使其发布文件,该公司认为这可能揭示其首席财务官孟晚舟被捕背后的政治动机。在上周向华盛顿特区的联邦地方法院提起的投诉中,华为指责特朗普政府“阻挠”了对联邦调查局,美国司法部和商务部等16个机构的信息自由请求。华为的律师说,有迹象表明,美国希望对公司和孟晚舟使用刑事指控,以“推进与刑事司法公正管理无关的政策目标。”。除了机构间文件外,该诉讼还寻求国土安全部,司法部与“参与调查或逮捕孟女士的加拿大某些当局”之间的通信。该诉讼写道:“这些来文主要旨在确定可能是表明起诉华为和孟女士的依据不当的来文。”投诉继续列出了华为声称孟晚舟被引渡的原因,包括干扰华为在5G无线市场的“主导地位”,以及加强
发表于 2020-11-05
小广播
换一换 更多 相关热搜器件
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2020 EEWORLD.com.cn, Inc. All rights reserved