基于S32V视觉处理平台来实现人脸识别的应用

2019-11-22来源: eefocus关键字:人脸识别  S32V  ADAS  API

一、S32V 视觉处理平台


NXP 于 2015 开始推出 S32V 平台,现在已经推出了第二代型号 S32V234,第三代目前已经在样品阶段,该平台定位为 ADAS 视觉处理,提供了视觉系统应用所需的性能和功能。

 

对于图像处理,S32V 具有自己的特色,硬件方面:具有两路 CSI 和两路并口摄像头接口,提供了可图形化编程的 ISP、APEX,以及 3D 渲染的 GPU。其中可编程的 ISP 可以对通过 CSI 输入的摄像头图像数据进行处理,支持 HDR、颜色转换、色调映射等。APEX 提供了并行图像处理的能力。还提供了 H264 硬件编解码等,基本覆盖了图像处理所需要的硬件资源。

 

软件方面:提供了 VSDK,包含 S32V 平台的各个外设驱动,并配有相关例程。API 方面提供了 OpenCV、FFmpeg、OpenCL、OpenGL、EGL 等常用图像处理相关库。

 

图 1 S32V 内部框图

 

二、人脸识别方案介绍

采用索尼的 IMX224 摄像头作为图像输入,移植人脸识别库,建立演示 demo 将检测到的人脸实时用方框标记出来。

 

1.方案框图

代理 MCU

 

未代理

 

外围

 

S32V234

 

iMX224

 

CSI

 

HDMI

 

显示器

 

图2 人脸识别方案框图

 

2.Demo 搭建

获取摄像头数据

 

首先,基于 VSDK 实现 iMX224 摄像头的数据获取。通过 NXP 提供 S32 Design Studio for Vision Version 软件建立 iMX224 的 ISP 处理流程,如下图所示。

 

图3 ISP 处理流程

 

这里通过运行在 IPUS0 中的 debayer_rgb_simple_interleaced,实现了摄像头 Debayer 数据转 RGB,然后通过 FDMA 传输到 DDR 中供算法调用。如果对于图像有特殊要求的,可以自己建立对应的 IPUS 核,对图像数据进行相关处理。

 

交叉编译相关库

    

移植人脸识别算法库,该库基于 NCNN 神经网络上搭建人脸识别系统,依赖的库有 OpenCV、NCNN 以及 Sqlit3。这些库需要交叉编译,其中 OpenCV 和 Sqlit3 的 ARM 版 S32V 已经提供不需要再进行编译,编译后的 NCNN 和人脸识别算法库都是静态库,不需要拷贝到目标板上。

 

人脸检测 demo

 

通过 Qt 来实现界面显示,首先在 pro 文件中添加 VSDK 中获取摄像头数据的相关库,算法移植的相关库,然后通过如下 API 接口获取图像数据。

    

int getCImg(cv::Mat &cimg);

    

再调用如下接口进行人脸检测:

  

void detectMaxFace(ncnn::Mat& img_, std::vector& finalBbox);

 

3.Demo 效果

最后将检测结果通过 Qt 界面显示出来,如下图所示。

 

图4 人脸检测结果

 

通过测试,人脸检测耗时如下所示:

 

关键字:人脸识别  S32V  ADAS  API 编辑:什么鱼 引用地址:http://news.eeworld.com.cn/qrs/ic480848.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:福特电池系统的结构分析
下一篇:为环保而生的新能源汽车,其动力电池如何实现科学回收?

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

移动支付的普及“革”了谁的命?印钞厂或将破产
通过线上支付便捷买卖双方的还有马来西亚。从 2017 年 4 月开始,支付宝在马来西亚逐步上线扫码支付服务。自此开始,支付宝线下商户持续快速增长,囊括便利店、免税店、餐馆、酒店等各大业态,甚至连知名景点云顶高原也接入了支付宝。即便是在一个小摊位,扫码支付带来的效果也是“立竿见影”。在马来西亚知名旅游目的地之一的沙巴州首府哥打基纳巴卢,有一条远近闻名的榴莲一条街,其中一家榴莲档在接入支付宝后的 3 个月内营业额就增长了 20%到 30%,支付宝收款占到总额的 40%以上。 此外,基于 5G 和物联网技术的成熟,人脸识别的普及只是时间问题,而人脸识别正在成为移动支付的新方式。 根据前瞻产业研究院人脸识别行业发展现状报告
发表于 2019-12-09
移动支付的普及“革”了谁的命?印钞厂或将破产
“人脸识别第一案”-- 人脸识别安全性如何保障?
近日,因为拒绝使用人脸识别系统升级年卡,浙江理工大学特聘副教授郭兵将杭州野生动物世界起诉至法院,这被认为是国内消费者起诉商家的“人脸识别第一案”。近年来,人工智能发展迅速,特别是人脸识别技术,被越来越广泛运用到人们的日常生活中。在人脸识别技术给社会带来种种便利的同时,人们对于这项技术在安全性方面的担忧也逐渐增长。-刷脸支付仍处于试行阶段,若要大范围地运用,不仅需要对软硬件设备加大投入,更需要一系列安全措施来保障用户安心使用-面部采集技术的各个环节都需要得到保护和确认,具体包括采集主体是否有权采集;采集后的管理是否安全、使用是否合法;被采集者的授权是否得到保障等-对于面部信息滥用的类型、方式、主体都应该在法律上有所界定,从而进行
发表于 2019-11-28
“人脸识别第一案”-- 人脸识别安全性如何保障?
基于S32V来实现人脸识别的应用
摘要:汽车行业ADAS功能需求日益增长,防疲劳驾驶是一个热门方向,对于驾驶员状态的检测,人脸识别是基础,只有快速准确地识别到人脸,才能对人脸状态进行分析。本文将介绍基于S32V来实现人脸识别的应用。 一、S32V视觉处理平台 NXP于2015开始推出S32V平台,现在已经推出了第二代型号S32V234,第三代目前已经在样品阶段,该平台定位为ADAS视觉处理,提供了视觉系统应用所需的性能和功能。 对于图像处理,S32V具有自己的特色,硬件方面:具有两路CSI和两路并口摄像头接口,提供了可图形化编程的ISP、APEX,以及3D渲染的GPU。其中可编程的ISP可以对通过CSI输入的摄像头图像数据进行处理
发表于 2019-11-20
基于S32V来实现人脸识别的应用
人脸识别的市场规模有多大?
   近日,央行科技司司长李伟表示,针对人脸识别支付应用,线上开放应用条件尚不成熟,而线下应用风险相对可控,基本具备试点应用的条件,机构相关交易应该遵循支付交易要坚持多重认证的原则。有关部门将发布人脸识别领域相关金融标准,以明确人脸信息采集、传输、存储、利用等环节的安全管理要求。金融一直是人脸识别最重要的应用领域之一。以银行为例,过去银行认证方式主要为人工认证和密码认证。人工认证流程繁琐、客户办理业务排队时间长,用户体验差;密码认证则易被病毒篡改、拦截、窃取,威胁用户银行账户安全。人脸识别则具有具有唯一性,不易伪造、不易窃取、随身携带等特点,既保障了身份认证的精准性、安全性、稳定性,也缩短身份验证时间,优化
发表于 2019-11-11
谁在贩卖人脸识别的焦虑?
   一名游客将一家动物园告上了法庭,不为别的原因,就为该游客不满动物园新部署的人脸识别认证系统将被用来收集自己的个人数据。这是国内第一次有人因为人脸识别所涉及到的安全隐私问题将一家商业机构告上法庭,也把这门自应用以来就颇具争议的技术再一次推上风口浪尖。刷脸安检、支付、登机、乘坐地铁公交,乃至领结婚证、领养老金……人脸识别正在替代钥匙、公交卡、银行卡甚至身份证,快速渗透人们的衣食住行。不管愿不愿意接受,我们正在快速进入一个“全民刷脸”的时代。随之而来的是,人们对人脸识别的焦虑和恐惧与日俱增。首当其冲的是安全问题,刷脸支付是否能被轻易破解?其次是众人皆知的隐私问题,也是这位将动物园告上法庭的游客最为担心的
发表于 2019-11-11
世平推出基于 NXP S32V234 ADAS解决方案,助力无人驾驶技术发展
分析技术,检测车辆行驶时,是否偏离车道线,当检测到偏离车道线时发出报警功能;●  支持4路1080p的广角摄像头图像输入,可以将4路摄像头的图像进行拼接,实现AVM功能;● 支持鱼眼校正功能,不同的摄像头校正参数会不一样;● 可以将视频进行H264编码,并储存影像数据。 图示2-大联大世平推出基于NXP产品的ADAS解决方案的照片方案特性●供现成的S32V EVM板子,可以直接通过网站购买,方便客户快速入门;●EVM板预留MIPI接口,供客户搭配不同的摄像头进行效果测试;●提供基本的流程及实现思路,方便客户评估方案性能;● 提供APEX DEMO,方便客户理解APEX开发流程,将算法
发表于 2018-12-04
世平推出基于 NXP S32V234 ADAS解决方案,助力无人驾驶技术发展
小广播
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2019 EEWORLD.com.cn, Inc. All rights reserved