i.MX 8m Plus如何通过增加ISP和NPU加速边缘计算

2020-11-20来源: EEWORLD关键字:Arm  NXP  ISP  NPU  AI  边缘计算

本文作者:NXP Ben Eckermann


云计算、边缘计算和基于视觉的系统已经应用在越来越多的工业和消费系统中。此外,许多现代系统还采用机器学习和人工智能来增强用户体验,这种方法通常要求嵌入式系统设计者使用各种不同的SoC和专用处理器来完成所有这些任务。


然而,NXP决定采取不同的方法,他们将图像信号处理器(ISP)、用于机器学习加速的神经处理单元(NPU)和MPU集成在一个器件中——先进的i.MX 8m Plus应用处理器。


image.png

图1 i.MX 8M Plus应用处理器。


云计算与边缘计算


为了理解i.MX 8M Plus应用处理器为什么为边缘计算提供强大的解决方案,需要一些背景知识。


云计算是指在用户使用内部网络范围之外的计算资源,这些资源可以是任何种类的。但是,它们通常用于执行要求高的任务和数据存储。


通常,基于云的数据中心并不是一个用户或组织所独有的,资源在所有用户之间共享,被称之为公有云。公共云服务使用现收现付模式,这意味着如果上传不必要或杂乱的数据在云中进行处理,成本可能会迅速增加。


这就是边缘计算可以派上用场的地方。边缘计算将用户和云之间的一些资源放在他们的网络中。但是,通常并非所有的计算都在边缘执行,取而代之的是,在数据上传到云端之前,利用边缘资源过滤数据并丢弃不需要的元素,从而避免不必要的成本。通常,机器学习和人工智能被用来自动分类结果,并且只将相关信息上传到云端。


然而,也可以完全忽略云,在边缘处理器上本地运行所有机器学习推理——例如,i.MX 8M Plus应用程序处理器。


与云计算相比,使用边缘计算的潜在好处


边缘计算(如i.MX8m Plus提供的)提供了一系列可能优于云计算的优势,值得更仔细地考虑。


除了成本因素外,上传到云端的数据的减少也会降低整体网络流量,这会加速其他依赖网络的应用程序。这不仅提高了处理者专门任务的效率,而且还为其他辅助活动和优先事项腾出了关键资源。


接下来,在本地运行推理意味着应用程序可以继续运行,即使在云服务离线或网络连接中断的情况下。这可能是一个重要的因素,尤其是对于安全关键的用例,但对于其他连接的应用程序,如家庭安全设备,也是如此。


此外,与使用云服务相比,此解决方案提供了更好的延迟和更短的响应时间。低延迟非常重要,例如,在执行工厂目视检查和其他时间紧迫的应用程序时。


最后,用户隐私是另一个需要考虑的因素。在处理机密数据时,每个外部服务都存在潜在的安全风险。因此,将重要信息保持在用户网络的范围内可以提高整个应用程序的安全性。这不仅对工业用户很重要,而且对私人用户和客户都很重要,例如,当使用语音助手或处理个人视频和图像文件时。


需要多少机器学习性能?


对于云计算,机器学习性能通常不是问题或限制因素。然而,当在边缘执行这些操作时,问题变成了功效比。衡量机器学习性能的一种流行方法是TOPS,它是每秒万亿(tera)操作数的缩写,顾名思义,它是指每秒操作数(通常为8位整数乘法或累加)。尽管整个系统的性能将依赖于更多的因素,但TOPS仍然经常用于快速比较机器学习系统的性能。


在边缘的完全语音识别(不仅仅是关键字识别)需要大约1到2个TOPS。需求很大程度上取决于所使用的算法以及理解用户所说的内容,例如,每秒钟检测一个物体需要大约3帧的处理性能。


由于边缘的处理和机器学习变得越来越相关,NXP在i.MX 8M Plus应用处理器上增加了一个性能约为2.3 TOPS的机器学习加速器,这使得它能够很好地满足各种工业任务和许多其他应用,而无需使用外部基于云的服务。


image.png

图2 i.MX 8M Plus应用处理器配备齐全,可用于各种利用基于云的外部服务的工业任务。


i.MX 8M Plus可用于嵌入式视觉系统


如果考虑摄像头的应用,其中之一是基于工业视觉识别的系统,在自动光学检测后,在生产线的末端丢弃有缺陷的零件。所有这些系统都需要视觉输入,例如,来自摄像机的图像。ISP功能存在于每个基于摄像头的系统中。通常,图像信号处理器存在于外部设备(如相机本身)中,并隐藏在远离用户的地方。这类ISP通常负责一些不同的图像优化和过滤任务。


在许多情况下,人们可以不使用专用的ISP,例如,当使用一个简单的USB网络摄像头时。然后,将ISP内置在摄像头中。


然而,这类ISP也有其局限性,它们通常只适用于分辨率低于200万像素的设备。此外,在某些情况下,对ISP的控制缺失,增加的系统复杂性和功耗等都会成为问题。


当需要高于200万像素(1080p)的图像分辨率时,嵌入式系统设计者可以利用外部ISP,这反过来又会增加系统的整体复杂性和功耗。或者,设计者可以使用一个内置ISP的应用处理器,比如i.MX 8mplus。这种方法提供了一个优化的成像解决方案,特别是在200万像素和更高分辨率下,而不会增加系统的复杂性。


总结


边缘计算比云计算有一些诱人的优势,它有可能改变我们未来的工作、生活和休闲方式。其中一些好处包括增加了可靠性、可伸缩性和安全性,并减少了延迟。


借助i.MX 8M Plus应用处理器,NXP结合了两个因素,使现代应用程序处于边缘地位。这种新的微处理器将鼓励众多创新工业设备和消费级产品的开发。它包括一个ISP,用于构建需要高分辨率输入数据的现代视觉系统。


来自ISP的图像信息可以直接输入到内置的NPU中,以满足依赖图像数据的高速应用程序,同时保持CPU空闲以执行其他任务。此外,i.MX 8M Plus应用处理器还提供了一些有亮点的其他功能,例如,具有时间敏感网络的以太网控制器、支持ECC的DRAM控制器以及用于各种应用的不同内核。


使用i.MX 8M Plus应用处理器,无论是智能家居中心、智能楼宇控制还是工业应用,基于高能力视觉的应用在边缘的可能性几乎是无穷无尽的。

关键字:Arm  NXP  ISP  NPU  AI  边缘计算 编辑:冀凯 引用地址:http://news.eeworld.com.cn/qrs/ic517227.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:恩智浦EdgeVerse™系列 MCU获PSA 2级和SESIP 2级保证认证
下一篇:手机厂商扩大备货,明年联发科5G芯片出货有望高达1.2亿套

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

吴雄昂回应 ARM 中国控制权之争:无利益冲突,ARM 无权罢免
北京时间 11 月 28 日消息,据《金融时报》报道,ARM 中国 (安谋中国)CEO 吴雄昂在首次接受国际媒体采访时为他寻求控制 ARM 中国业务的做法进行了辩护。吴雄昂的 1 亿美元个人投资基金导致他与 ARM 及其支持者发生争执,新的细节正浮出水面。吴雄昂称,ARM 及其中国合作伙伴厚朴投资没有权利在今年 6 月试图罢免他的 ARM 中国 CEO 职务。他否认自己投资受益于 ARM 低价许可的公司存在利益冲突,他还表示 ARM 和厚朴都知道他的计划并予以支持。他表示,其个人基金 Alphatecture 从一开始就被讨论过,并向董事会进行了披露,“我们获得了支持”。吴雄昂指出,ARM 中国董事会在今年 6 月份
发表于 2020-11-28
英伟达CEO黄仁勋:监管机构将很快批准ARM收购案
黄仁勋表示:“通过将 ARM 收入麾下,我们将增加客户选择,增加市场创新。我们的评估显示,监管机构很快就会批准这笔交易。”  腾讯科技讯 11 月 22 日,芯片巨头英伟达又结束了一个喜人的季度。该公司此前发布了截至 10 月 25 日的第三财季财报,显示营收达 47.3 亿美元,同比增长 57%,实现两年半以来最强劲的增长。同时,净利润达 13.36 亿美元,同比增长 49%。 在财报发布几天后,英伟达首席执行官黄仁勋接受专访,讨论了上述财务业绩,同时也谈到了其他问题,比如当前的反垄断大环境。苹果、谷歌、亚马逊)和 Facebook 等科技巨头最近都面临着更多的反垄断审查,这是
发表于 2020-11-23
英伟达CEO黄仁勋:监管机构将很快批准<font color='red'>ARM</font>收购案
SiMa.ai阐述如何利用MLSoC实现可伸缩边缘处理平台
每瓦TOPS。 考虑到这一目标,我们开发了MLSoC(片上机器学习系统)平台,目标是每瓦10 TOPS的峰值。对于5瓦的嵌入式电源,我们的ML加速器最多可以达到50个TOPS。这足以支持传统上需要在被动冷却的边缘AI设备中实现云性能的AI工作负载。 我们将异构MLSoC设计为能够处理客户一段时间后创建的工作负载,但是还能够针对未来尚未确认的工作负载进行验证。与数据中心不同,数据中心可以随着新的组件迭代进入市场而进行升级,而内置在边缘AI设备中的硬件则是在将其放入芯片的那一天设置的。我们针对这一挑战的解决方案将Arm的传统计算IP与我们自己的机器学习加速器和专用视觉加速器相结合。作为低功耗计算的市场领导者,Arm
发表于 2020-11-23
赛灵思助力安森美智能功率模块平台更快更高效
本文编译自Xilinx官方博客安森美的智能功率模块(IPM)和集成功率模块是为有效控制电机而制造的。它们适用于高电压和高工作温度,并减少了驱动器的空间。更高的开关频率有助于提高效率,超越了传统电机控制解决方案的能力。这就是为什么在软件中具有算法的MCU无法优化新技术的原因。在专用逻辑中使用高级算法的快速切换可控制电动机的旋转磁场,从而最大程度地提高效率。通过Xilinx(赛灵思) Zynq-7000 SoC中的电机控制功能,该系统可通过设计获得最佳性能。无论Xilinx SoC内部正在运行什么,控制环的速度始终是可预测的。处理系统中的Arm内核使该设备变得智能化,可用于工业物联网(IIoT)。电机的能效起着至关重要的作用。许多电机
发表于 2020-11-22
赛灵思助力安森美智能功率模块平台更快更高效
三星Exynos 2100解密:ARM X1超大核+A78大核
       三星即将发布Galaxy S21系列,提供骁龙版和Exynos版两种选择。  其中国行、美版为骁龙版,欧洲市场发售的是Exynos版本,处理器将命名为Exynos 2100,骁龙版使用的处理器是骁龙875  作为一款定位高端旗舰的手机芯片,Exynos 2100和骁龙875一样具有强悍的性能。  11月18日消息,据报道,高通骁龙875和三星Exynos 2100都使用了5nm工艺制程,而且两颗芯片都有超大核(ARM Cortex X1)、大核(ARM Cortex A78)和小核,采用“1+3+4”三丛集架构。  报道指出,Exynos 2100和骁龙875的CPU频率
发表于 2020-11-19
三星Exynos 2100解密:<font color='red'>ARM</font> X1超大核+A78大核
恩智浦S32K3 三核带锁步功能的车用MCU
26262的实时软件驱动程序。鉴于大多数芯片将需要满足ASIL A / B要求,因此免费的AUTOSAR驱动程序可以节省大量的更改。这些驱动程序都是NXP软件包的一部分,该软件包还包括Safety Framework Software和Core Self-Test库。该框架集成了超过六个模块,支持从锁步操作到安全性的所有功能,显然利用了底层硬件的优势。
发表于 2020-11-25
恩智浦S32K3 三核带锁步功能的车用MCU
小广播
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

换一换 更多 相关热搜器件
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2020 EEWORLD.com.cn, Inc. All rights reserved