NXP Connects炉边谈话:一年来在边缘AI领域都做了什么?

2020-10-23来源: EEWORLD关键字:NXP  嵌入式  边缘计算  AI

日前,在NXP Connects 2020上,高级副总裁兼边缘处理业务部总经理Ron Martino与MCU/MPU工程部副总裁Kevork Kechichian进行了炉边谈话,详细介绍了NXP在嵌入式边缘计算领域的具体工作,从物联网智能家居到工业工厂自动化以及汽车增强电子座舱等应用。


构建完整的嵌入式计算平台


目前恩智浦的计算平台从毫安级DMIPS的小型控制器扩展到瓦级,且具有数十万DMIPS的复杂处理器,包括16nm FinFET甚至是5nm的芯片,具有百亿个晶体管。(NXP 2020年6月宣布将成为第一家采用台积电的5nm工艺技术开发下一代“高性能安全计算”汽车芯片的公司。)


针对高端产品,除了制程工艺之外,NXP在设计中布局规划,通过摆放不同的加速引擎。而针对电池供电的产品,NXP也进行了相应的电源优化,提供了不同的电源模式,以及包括平衡性能、热封套以及热占位面积,乃至最终的封装及量产等多种考量因素。


NXP整合了各类边缘计算平台,从而作为子系统和单位进行构建。在此基础上,每个产品在各处添加一些子系统。特别是在低端产品中,由于不能用堆叠晶体管来解决问题且需要注重利润和成本,所以颇具挑战性。同时针对平台进行的优化也包括软件及设计环境。


处理、连接与安全


谈到人工智能和机器学习技术,实际上有许多不同的方法可以处理,包括CPU、GPU、DSP及多种硬件加速器等。NXP选择IP授权及软硬件结合的方式,结合实际应用,优化机器学习能力。“NXP大部分IP是授权获得的,这对我们的流程以及如何管理各方面提出了更严格的要求,因为与不同的供应商打交道会出现不同质量的IP,特别是在机器学习方面。“Kechichian强调道。同样在软件层面,包括整个协议栈到软件和应用层,也需要进行评估。通过种种优化,NXP保证在面积单位及单位功耗上获得了最高性能。


“任何人都可以集成并拼接不同的IP块,但区别在于,真正优化终端应用性能以及与一支经验丰富的团队以明智的方式完成这项工作。那么由于存在这方面的关联,您需要连接多个IP用于数据源输入,然后在其上执行处理。”Martino说道。


Martino表示,消费者需求是用户体验,包括应用的运行速度及应用响应需求的速度等。所以,NXP团队非常积极地运行一些基准测试。并且与客户接触时,重点询问他们想要解决的关于边缘AI的痛点。


Martino以i.MX 8M plus为例,这是首个集成专用神经处理单元(NPU)的i.MX系列产品,可在工业和物联网(IoT)边缘进行高级机器学习推理,该产品也扩展了其EdgeVerse产品组合。i.MX 8M Plus的NPU提供2.3 TOPS的算力,内部包括最高2GHz的四核Arm Cortex-A53内核,以及800MHz Cortex-M7实时处理器,此外还包括 800 MHz音频DSP用于语音和自然语言处理,双摄像头图像信号处理器(ISP)和3D GPU。


由于具有如此众多的IP块和子系统,复杂性与所对应的优化变得至关重要。“若仅从复杂性的角度来看,大多数IP经过独立验证,质量可靠。但将它们投入使用后,挑战就出现了,比如基于网络的系统,节点数很重要,但这些节点之间的连接会使其变得更加复杂。每次添加新连接时,复杂性都会增加。如果您观察我们的一些i.MX产品,它们已经成为汽车中的全媒体中心。这些对计算高度敏感的多媒体处理器之间需要不同类型的交互,如内存相互传输数据、大量摄像头、大量显示单元、图形处理等等。复杂性也由此而来。”Kechichian说。


如何确定所有应用场景问题上,首先,验证所依据的空间是优质的。但由于它是具备多个处理元素的开放平台,所以您会看到每位客户在里面添加自己拥有的各种不同的代码库。因此,NXP尝试从传统验证技术和正式技术来预测,从而覆盖这一空间。同时,NXP还拥有早期模拟平台。


Martino强调,未来无论是汽车、智能家居还是工厂自动化,人与机器都有了更多全新交互,如何实现无缝用户体验,如何让机器始终以自动化的方式操作,这是用户体验最重要的地方。Martino念念不忘在CES 2020上展示驾驶员随动的汽车环视系统,就是无缝的切换视角。


此外,Martino还谈到了NXP在无线通信、有线连接的IP及产品,通过收购Marvell的无线业务以及本身拥有的各类连接技术,NXP具有更加丰富的产品组合。


安全,则是边缘计算中最为看重的,其中信息安全通常是由外部恶意代理引起的,而功能安全是系统固有的。作为几十年安全领域专家,NXP为产品添加更多安全功能是满足产品差异化的重要标识,但是会增加现有复杂系统的开销,有时会减缓处理速度,增加功率。


image.png

用i.MX 8运行Android 11,点亮屏幕,以便呈现出真正的炉边对话,NXP如今除了强调产品本身特性之外,更关注产品的最终体验


集成平台的挑战


除了芯片本身的集成设计之外,大量产品路线及大量不同的流程是平台开发的更大挑战。目前,NXP开始与CTO办公室合作并开始研究如何最大限度地减少不同技术版本的数量,“我们将其称为对齐到网格,实际上它适用于所有不同的方面,我们努力确保提供一组有限的技术。”Martino说道。


随着平台规模壮大,越来越多的IP将变得集中,如6到8个技术、设计、开发方法。一切变得更加受控,这些类型的交换将逐渐提供一个中心工程领域及增长规模。


软件和开发环境同样需要集成。NXP通过集成 MCU产品组合、RT、MCUXpresso,所有驱动程序、固件和开发环境集成到一个安装包中以便客户轻松高效地优化其系统。这同样适用于板级,在附加板上使用高端处理器从而获得高级别的Wi-Fi功能,并且为了更方便使用能够使BSP预加载固件驱动程序。


当然集成平台并不意味着所有都会集成到一起。比如目前汽车中有大约300多个电子元件分散在各处,是孤立的,各种软件协议栈是不一致的。在较为流行的域控制器架构中,随着协议不同仍然会采用分区架构,但是每个区会有高度的集成化。


“软件、硬件和支持集中到一起成为我们未来一个非常关键的部分。”Martino总结道。


从用户体验来看,NXP正在行业中构建一个能够通过开放标准和通用设备自我构建并与浮于硬件之上的软件和应用层交互的平台,从而提高效率并加以利用。比如将汽车锁涉及到功能和消费电子、工业、智能零售、基础设施、办公室、家居并将其聚集在一起,通过一致性将事物连接在一起。


“最终随着我们推出广泛的嵌入式计算,对于这些平台的裁剪及优化又将成为恩智浦的另一大优势。 ”Martino补充道。


模拟、仿真与建模


Martino特别强调NXP已经开始研究早期模拟、仿真和建模平台。在实验室里就可以运行这些平台,可以提前了解并掌握如何处理所有复杂性,包括架构探索、代码开发以便开发出更优质的产品。尤其是随着汽车开始与周围环境交互,出现了智慧城市等,应用场景更加多样,许多元素变得非常重要。


新思科技今年初也宣布,其支持NXP S32G车辆网络处理器的虚拟器开发套件(VDK)已全面上市。VDK已被NXP团队广泛用于开发其S32G赋能软件和固件。VDK是使用虚拟样机作为嵌入式目标的软件开发套件,它不但使Tier 1、OEM和半导体公司能够在硬件上市前数月便开始软件开发、集成和测试,还能够通过回归测试实现灵活和可扩展的部署,并通过故障注入提升测试覆盖率,满足高等级汽车功能安全要求,加速产品开发和测试进度。


一些全新的设计理念


Kechichian介绍,如今,NXP每三个半月就会将机器学习的计算能力提高一倍,然而汽车数据增长速度更快,等到产生了大量数据而无法快速处理时,将以全新的方式借助人工智能来计算。


另外值得一提的是最新的适用于MCU的Glow,能够将机器学习模型部署到非常高效的用例、结合了扩展的能力与缩减的能力且能够优化并使工作流程适合小计算内存容量上的用例。率先开发PyTorch的Facebook推出了开源社区项目Glow(Graph Lowering神经网络编译器),其目的是提供优化,提高一系列硬件平台上的神经网络性能。作为一种神经网络编译器,Glow基于未优化的神经网络生成高度优化的代码。这个特点有别于典型的神经网络模型处理,后者采用即时编译,因而需要更高的性能,还会增加存储器开销。像Glow这样直接运行优化代码可以显著降低处理和存储器要求。NXP也在Glow开源社区中扮演着积极角色,帮助推广和普及Glow的新功能。“我们在横向扩展机器学习功能时,也在按比例缩减,因此由电池供电的简单物联网设备可以得到有效优化。”Kechichian说道。


针对一些计算高度密集型应用处理器中,NXP提出了HUGI(Hurry Up and Get Idle)的概念,既“加快速度并进入空闲状态”。HUGI概念英特尔较早以前在移动处理器产品组也提到过,在有运算任务的时候,让整个平台迅速启动,发挥最大的潜力,尽快完成任务;在完成任务后,迅速进入休眠,沉睡状态越深越好。因此,HUGI不但提高了处理器性能,由于完成任务很快,因此其进入休眠状态时间相对延长,从而能够降低总体功耗,这样就实

[1] [2]
关键字:NXP  嵌入式  边缘计算  AI 编辑:冀凯 引用地址:http://news.eeworld.com.cn/qrs/ic514112.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:Facebook Yann Lecun:RISC-V将在边缘AI大爆发
下一篇:NXP讲解为什么要通过PSA 2级安全认证?

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

恩智浦新款S32K3 MCU,保证无线更新的安全性,让开发更简单
恩智浦半导体宣布推出S32K3微控制器(MCU)系列,这是S32K产品线的最新产品。2017年发布的S32K1系列是一个重要的转折点,强调了软件在汽车开发中的核心作用。全新的S32K3系列专门用于车身电子系统、电池管理和新兴的域控制器,利用涵盖网络安全、功能安全和底层驱动程序的增强型封装持续简化软件开发。 S32K3将恩智浦的S32汽车平台从网关和域控制扩展到区域控制和边缘节点。此外,它支持在多个应用中重用软件,从而降低汽车软件开发的复杂性,并减轻一级供应商和汽车制造商的负担。 恩智浦汽车处理产品管理总监Ed Sarrat表示:“软件开发是现代汽车开发领域面临的主要挑战之一,而S32K3 MCU系列旨在帮助客户应
发表于 2020-11-12
恩智浦新款S32K3 MCU,保证无线更新的安全性,让开发更简单
NXP S32K3发布,解决汽车软件开发的复杂性
NXP半导体公司宣布推出S32K3微控制器(MCU)系列,这是其S32K产品线的最新产品。S32K3系列是专为汽车车身电子、电池管理和新兴域控制器而设计的,它通过一个增强软件包来简化软件开发,该软件包解决了信息安全性、功能安全性和低级别ADAS的问题。S32K3将NXP的S32汽车平台从网关和域控制扩展到区域控制和边缘节点,并实现多个应用程序之间的软件复用,以降低车辆软件开发的复杂性。“软件开发是汽车开发的核心挑战之一,S32K3 MCU系列旨在帮助客户应对这些挑战,”NXP汽车产品管理总监Ed Sarrat说。“它加快了汽车级ADAS的开发,简化了安全和无线更新,并简化了安全合规性。”S32K3安全解决方案包括硬件安全引擎,旨在
发表于 2020-11-11
NXP加大GaN射频投资,亚利桑那州工厂启用
NXP日前位于亚利桑那的fab正式开启,生产用于功率放大器的GaN器件,它可以跨越5G频率,从Sub-6GHz到毫米波。5G基站需要向用户设备传输低频、中频和毫米波信号。随着频率的增加,在有效距离上传输所需的功率也随之增加。由于氮化镓(GaN)的高频特性,它在5G基站功率放大器中比其他工艺具有优势。2020年9月,NXP半导体公司在美国亚利桑那州新设了一家新工厂,专门生产用于5G功率放大器的GaN晶体管。在亚利桑那州的工厂,NXP专门为5G功率放大器市场生产GaN器件,而不是功率转换等应用。Hart说,GaN器件虽然比硅基器件更难制造,价格也更昂贵,但其性能优于LDMOS。制造工艺中的困难部分来自这样一个事实,即GaN器件位于
发表于 2020-11-10
<font color='red'>NXP</font>加大GaN射频投资,亚利桑那州工厂启用
低于10美元BOM的单片机人脸识别方案
NXP宣布了其最新的NXP EdgeReady IoT解决方案,用于安全人脸识别,使OEM能够快速、轻松、廉价地添加基于视觉的无接触访问控制。NXP的交钥匙解决方案包括i.MX RT106F交叉MCU和基于AI/ML的人脸识别软件的许可证,这使得通过使用红外和RGB摄像机、Flash和SDRAM存储器进行活体检测的人脸识别成为可能,总成本低于10美元。此解决方案可用于实现人脸识别,以验证和操作酒店、公共建筑和住宅的安全机器、设备和接入点,包括门、锁、便利设施、电梯、车库门、安全系统等。•活体检测:红外摄像机与可见光(RGB)相机协同工作,有助于区分真实人物和照片,防止未经授权的访问,而无需昂贵的3D结构光或飞行时间(ToF)传感器
发表于 2020-11-08
NXP与NuCurrent合作,以扩展Qi无线充电的范围
本文作者:NXP产品Vaclav HalbichQi无线充电,只需将其安装在充电板上即可为移动设备充电,它已从酷科技转变为主流技术。目前,大多数智能手机和无线电源联盟(WPC)定义的Qi标准都支持Qi充电,已经成为无线充电的全球标准,为数十亿台设备带来了安全性和互操作性。通用兼容,Qi认证的无线充电很容易集成到任何表面,这意味着Qi充电成为日常生活的一部分。包括宜家(Ikea)在内的知名家具制造商现在都提供无线充电产品,包括配备Qi充电器的床头柜和桌子等物品,100多种车型现在都配备了内置Qi充电器作为标准设备或工厂选件。Qi充电也已成为公共场所的一部分,包括咖啡馆、餐厅、健身房、酒店、火车站和机场休息室。甚至还有移动应用程序
发表于 2020-11-06
Arm Ethos-U65 microNPU对边缘计算市场意味着什么?
本文作者:NXP边缘处理的技术总监、系统架构师和总工程师Ben Eckermann2020年10月19日,Arm宣布了Ethos-U65 微型NPU。NPU是一个神经处理单元,microNPU顾名思义是一个非常小的NPU,通常针对面积受限的嵌入式和物联网设备。早在2020年2月,NXP就宣布了选择Ethos-U55 microNPU作为Cortex-M系统。Ethos-U55是专为微控制器设计的,与Cortex-M处理器以及MCU中的系统SRAM和flash协同工作,以提供MCU客户所需的性能和效率的结合。但Ethos-U55并不一定适合于在基于Cortex-A的应用处理器上运行的本地复杂ML应用程序。通过我们与Arm的技术合作
发表于 2020-11-06
Arm Ethos-U65 microNPU对边缘计算市场意味着什么?
小广播
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

换一换 更多 相关热搜器件
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2020 EEWORLD.com.cn, Inc. All rights reserved