AI+FPGA,低功耗智能探测系统将不再是难题

2020-10-12来源: EEWORLD关键字:AI  FPGA  莱迪思

从家庭控制中智能门铃和安全摄像头的存在检测,到零售应用中用于库存的对象计数,再到工业应用中物体和存在检测,越来越多的网络边缘应用正在不断推动新型AI解决方案面市。根据IHS Markit(现Omida)的预测,2018-2025年物联网设备数量将达到400亿,截至2022年,所有企业产生的数据中近50%会在传统数据中心或云端以外的地方进行处理。

 

但与此同时,市场一方面要求设计人员开发出性能比以往更高的解决方案;另一方面,延迟、带宽、隐私、功耗和成本问题又限制了他们依赖云的计算资源来执行分析。如何解决系统对于日益严格的功耗(毫瓦级)和小尺寸(5mm2到100mm2)要求?如何能够快速获得相应的硬件和软件工具、参考设计、演示示例和设计服务?莱迪思公司为此做出了有益的尝试。

 

Lattice sensAI再获重大更新

 

作为莱迪思推出的业界第一款用于网络边缘设备端AI处理的完整解决方案集合,sensAITM提供了供开发人员评估、开发和部署基于FPGA的机器学习/人工智能解决方案所需的全部资源,包括模块化硬件平台、演示示例、参考设计、神经网络IP核、软件开发工具和定制化设计服务。

 

图1:sensAI架构框图

 

2019年上半年,sensAI通过更新迎来10倍性能提升,这是由多个优化促成的,包括通过更新CNN IP和神经网络编译器、新增8位激活量化、智能层合并以及双DSP引擎等特性。而最令人感到兴奋的是它新增并优化了用于快速实现网络边缘常见AI应用的参考设计,为关键词检测、人脸识别、人员侦测、人员计数等赋予了更强大的特性。

 

 

为了演示关键词检测系统的功能,工程师使用了搭载iCE40 UltraPlus FPGA的HiMax HM01B0 UPduino shield开发板。该开发板有两个直连到FPGA的I2S麦克风、用于FPGA设计的外部闪存、权重激活存储器、以及LED指示灯用以指示是否检测到关键词。用户可以直接对麦克风说话,一旦检测到关键词,LED就会亮起。

 

 

图4左侧是针对低功耗运行进行优化、采用CMOS图像传感器的人员侦测演示,通过VGG8网络提供64 x 64 x 3的分辨率,该系统以每秒5帧的速率运行,使用iCE40 UltraPlus FPGA功耗仅为7mW;右侧是性能经优化的人员计数应用演示,同样也使用CMOS图像传感器,通过VGG8网络提供128 x 128 x 3的分辨率。该演示以每秒30帧的速率运行,使用ECP5-85K FPGA功耗为850mW。

 

Lattice人员识别参考设计方案也应用于售卖机上检测人员的出现,唤醒售卖机的内核。通过减少非人员靠近造成的误触发,或人员路过造成的误触发,达到减小功耗的目的。

 

2020年5月,sensAI又成功升级至3.0版本。

 

在此前支持ECP5/ECP5-5G和iCE40 UltraPlus 模块化硬件平台的基础上,新推出的sensAI 3.0版本支持CrossLink-NX™系列FPGA,运行sensAI软件的CrossLink-NX FPGA比之前版本降低了一半的功耗,同时实现性能翻倍,从而为监控/安防、机器人、汽车和计算领域的智能视觉应用带来功耗和性能上的再次突破。同时,它还拥有定制化卷积神经网络CNN IP并新增支持MobileNet v2、SSD和ResNet模型,这些灵活的加速器IP可简化常见CNN网络的实现,经优化后可更加充分利用FPGA的并行处理能力,开发人员可轻松编译经过训练的神经网络模型并将其下载到CrossLink-NX FPGA中。

 

 

CrossLink-NX FPGA采用28nm FD-SOI工艺制造,与同类FPGA竞品相比,功耗可降低75%。在CrossLink-NX FPGA上运行解决方案时,sensAI可提供多达2.5Mb的分布式内存、RAM块以及额外的DSP资源,MIPI I/O提供瞬时启动的性能可在不到3ms的时间内完成自我配置,而整个器件的配置也只需8ms。在基于CrossLink-NX的对象计数演示中,——基于VGG的对象计数演示拥有10帧/秒的性能,功耗仅为200mW。

 

当AI遇见超低功耗FPGA

 

拥有5K LUT的iCE40 UltraPlus FPGA可实现网络边缘实时在线的智能应用所需的神经网络模式匹配。其拥有5280个4输入LUT、自定义I/O、多达80Kb和1Mb的嵌入式存储器,睡眠电流低至75uA,工作电流仅为1-10mA,功耗低至1mW,硬件平台尺寸小至5.5mm2。为了满足各类应用的需求,还采用了包括从专为电子消费品和IoT设备优化的超小尺寸2.15 mm x 2.50 mm x 0.45 mm WLCSP封装,到低成本应用的0.5mm间距7x7mm QFN封装在内的多种封装选项。

 

功耗优化遥遥领先的原因,得益于其采用的分布式异构处理(Distributed Heterogenous Processing, DHP)架构。由于不使用云端执行算法,而是使用内置的数字信号处理器(DSP)执行重复的数字处理任务,因此大幅减少了功耗极大的应用处理器(AP)的计算负载,从而实现更长时间的睡眠模式以延长电池使用时间。另一方面,内置的神经网络软IP和编译器实现了灵活的机器学习/人工智能应用,消除了云端智能应用带来的延迟,降低了整个系统解决方案的成本。

 

 

图8和图9描述了不同FPGA之间存在的资源差异如何影响到人脸检测和人员检测应用的性能和功耗。图8左侧的32x32输入示例中,橙色部分代表卷积层上运行的周期。在四个示例中,UltraPlus的乘法器数量最少,其他三片ECP5 FPGA的乘法器数量依次递增。随着乘法器数量的增加,卷积层所需的周期数减少;右侧的90x90输入示例中,在每个柱形图的底部有大面积的蓝色区域。这是由于设计更为复杂,需要占用外部DRAM,性能就有所折中。

 

 

人员侦测应用的情况类似,两组分别采用了64x64输入和128x128输入的情况。同样,较多的乘法器会减少卷积层的负担,而依赖DRAM则会影响性能。

 

 

其实,设计AI模型的最常见做法就是使用处理器,可能是GPU或者DSP,也有可能是微控制器(MCU)。不过,低端MCU可能连简单的AI模型也无法处理,高性能处理器又可能会违反设备的功耗和成本要求,但这正是低功耗FPGA发挥作用的地方。与增强处理器来处理算法的方式不同,莱迪思iCE40 UltraPlus FPGA可以作为MCU的协处理器,处理MCU无法解决的复杂任务之余,将功耗保持在要求范围内。

 

另一种思路是将低功耗FPGA作为单独运行的、完整的AI引擎,此时FPGA中的DSP就起到了关键作用。即便网络边缘设备没有其他的计算资源,也可以在不超出功耗、成本或电路板尺寸预算的情况下添加AI功能,更何况它们还拥有支持快速演进算法所需的灵活性和可扩展性。

 

无论采取哪种方法,都意味着设计人员可以采用莱迪思sensAI以及一片低功耗的iCE40 UltraPlus FPGA对传感器数据进行预处理,从而最大程度地降低了向SoC或云端传输数据进行分析的成本。例如,如果是用在智能门铃上,sensAI会初步读取来自图像传感器的数据。如果判断为不是人,比如说是一只猫,那么系统就不会唤醒SoC或连接到云端作进一步处理。因此,这种方法可以最大程度降低数据传输成本和功耗。如果预处理系统判断门口的对象是人,则唤醒SoC作进一步处理。这能极大减少系统需要处理的数据量,同时降低功耗要求,这对于实时在线的网络边缘应用来说至关重要。

 

 

结语:

 

莱迪思的FPGA具有独特的优势,可以满足网络边缘设备快速变化的市场需求。设计人员可以在不依赖云端的情况下,快速为网络边缘设备提供更多计算资源的其中一个方法是使用FPGA中本身的并行处理能力来加速神经网络性能。此外,通过使用针对低功耗运行而优化的低密度、小尺寸封装FPGA,设计人员可以满足新的消费和工业应用对功耗和尺寸的严格限制。

 

关键字:AI  FPGA  莱迪思 编辑:muyan 引用地址:http://news.eeworld.com.cn/FPGA/ic512671.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:BittWare全新RFX-8440 数据采集卡赋能无线应用新性能
下一篇:技术文章—FPGA的单线聚合(SWA)优势

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

高通李俨:C-V2X、5G连接、AI是撑起智慧交通系统的三大支柱
C-V2X同基于5G的连接技术和基于AI的自动化技术,共同构成了智慧交通系统的三个基础技术支撑。 这个被视为车的“朋友圈”的车联网通信标准,通过端到端的直接连接方式,把车和周边的道路参与者相互连通,使车能够对道路参与者进行及时感知,对道路中其它参与者的意图进行了解,合理地进行路径规划,从而避免事故发生。 在近日高通举行的“汽车业务媒体沟通会”上,高通技术标准高级总监李俨博士介绍了在C-V2X标准、产业化落地等方面的最新进展。 “业界普遍认为中国会成为C-V2X技术的领跑者。除了国内多地纷纷上马车联网建设项目外,很多地区已经开始提供LTE V2X的覆盖,同时也有许多汽车厂商宣布在今年年底或明年年初陆续
发表于 2020-09-25
高通李俨:C-V2X、5G连接、<font color='red'>AI</font>是撑起智慧交通系统的三大支柱
小度推出真无线蓝牙耳机,超强功能将改写高价智能
性化的功能,打开即连接的速度和 AirPods 以及其他手机配套的同品牌耳机基本一致,完全感受不到是第三方适配。  2、更强大的 AI 加持在基本素质方面,小度耳机还是和 AirPods 可以打个平手,但是如果加上 AI 人工智能,可能就没人是小度的对手了。其实你用过各个厂商的手机就知道,AI 助手这个环节其实大都是一个弱项,包括苹果的 Siri,甚至可以说的上是个弱智。 在我用过无数种 AI 音箱,人工智能产品后,必须承认,小度是目前最智慧的人工智能产品,基本没有之一。无论是从识别的准确度还是调用资源的丰富程度上,都有着非常明显的优势。我之所以选择小度耳机,更大程度
发表于 2020-09-24
小度推出真无线蓝牙耳机,超强功能将改写高价智能
海尔发布三翼鸟品牌,进军高端智能家居将面临哪些难题?
AI 时代的到来,使越来越多的智能产品出现在我们的日常生活中。比如扫地机器人、智能门锁、智能冰箱等智能产品的出现,就为人们的居家生活提供了极大的便利,同时也让智能家居的概念开始广为人知。 在国内市场中,智能家居行业已经成为了家电、互联网、ICT 通讯等多个领域的企业竞相争夺的新战场,但在智能家居领域的具体布局上,各家企业却不尽相同。比如智能手机生产商小米、华为等智能硬件企业,以智能手机、智能音箱产品为中心,向智能家居生态布局;而家电行业的海尔智家则另辟蹊径,以全屋定制的智能家居场景解决方案,为用户提供全方位服务。 作为业内领先的智能家居场景服务提升商,近日海尔智家在北京发布了首个场景品牌——三翼鸟
发表于 2020-09-24
解析英伟达自动驾驶的计算平台架构
鉴于 Orin 要到 2022 年才能量产,目前英伟达自动驾驶平台旗舰还是 Pegasus,不过附加的 AI 加速器已经从 2017 年发布时的 Tesla V100 升级到图灵 GPU。 英伟达 AGX Xavier Pegasus,注意,Xavier 的载板(Carrier Board)并未在照片中显示。  上表为 Drive AGX Pegasus 主要集成电路表,未计算图灵 GPU 的价格,因为难以估算。总计大约 6090 元人民币,Marvell 是大赢家,Marvell 总计占 2280 元人民币,几乎是两片 Xavier 价格的两倍,最赚钱不是英伟达,而是 Marvell
发表于 2020-09-24
解析英伟达自动驾驶的计算平台架构
廖雄成:云天励飞如何解决AI产品快速落地的痛点
日前,在中国半导体行业协会集成电路设计分会与芯原微电子(上海)股份有限公司主办的“第十届松山湖中国IC创新高峰论坛”上,云天励飞技术有限公司芯片产品总监,安防领域资深解决方案专家廖雄成,介绍了DeepEye1000 ——云天励飞自主研发的首款面向计算机视觉的深度学习神经网络处理器芯片。云天励飞共有三大平台,包括Acttern算法平台,Moss AI芯片平台以及Matrix大数据平台,究覆盖AI爆发性增长关键环节,从算法到芯片再到大数据实现了从0到1到N再到无穷的想象空间。廖雄成还强调了云天励飞所主导的“星云”开放AI生态,通过合作伙伴的齐心协力,可实现1周完成硬件,一周完成适配算法,一周完成对接服务以及一个月完成具备完整AI服务
发表于 2020-09-23
高通骁龙750G 5G移动平台问市,赋予5G、AI超强性能
Qualcomm Technologies, Inc.宣布推出骁龙7系最新5G移动平台——Qualcomm®骁龙™750G 5G移动平台,旨在提供真正面向全球市场的5G能力、出色的HDR游戏体验以及绝佳的终端侧AI性能。目前已有超过275款采用骁龙7系移动平台的终端设计已发布或正在开发中,其中包括140款5G产品。 Qualcomm Technologies, Inc.产品管理副总裁Kedar Kondap表示:“我们面向高端市场的骁龙7系5G移动平台一直广受欢迎。骁龙7系是公司移动平台产品路线图中较新的层级,在持续扩展该层级的过程中,我们始终致力于通过多种方式来满足OEM厂商日益增长的需求。骁龙750G将为更广
发表于 2020-09-23
高通骁龙750G 5G移动平台问市,赋予5G、<font color='red'>AI</font>超强性能
夏宇闻老师专栏

你问我答FPGA设计

北京航空航天大学教授,国内最早从事复杂数字逻辑和嵌入式系统设计的专家。

换一换 更多 相关热搜器件
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2020 EEWORLD.com.cn, Inc. All rights reserved