莱迪思sensAI 4.1工具和IP将FPGA变为网络边缘智能AI/ML计算引擎

最新更新时间:2021-11-24来源: EEWORLD关键字:莱迪思  工具  IP  FPGA  网络  边缘智能  AI  ML 手机看文章 扫描二维码
随时随地手机看文章

引言


毫无疑问,你已经读过或听说过,由于网络边缘设备数量激增,产生了不断增长的巨量数据流,这些设备包括自动驾驶汽车、物联网设备、消费电子产品,甚至是笔记本电脑和个人电脑。根据多项估算,截至2025年,运行的物联网设备将达到数百亿个。这些设备以连续数据流的形式向云端发送各种形式的数据,数据速率也千差万别。总体来说,这些设备将生成大量原始数据,且数据量随着时间的推移不断增加。


安全摄像头、自动驾驶汽车和PC中的视频录像机会生成高码率、高分辨率的视频流。物联网设备则生成中等码率的数据,汇聚到大数据流中。多种其他类型的物联网传感器(测量温度、压力、位置、光照水平等)会生成低码率数据流,但很快此类传感器的数量将会达到数十亿。因此,即使是这些低码率数据流也可以在进入云端之前汇聚成更大的、高码率的数据流。


5G无线网络和其他高速网络技术的兴起,包括微微基站(Picocell)、长距离物联网网络(如LoRaWAN)以及全球联网卫星网络(如SpaceX不断扩展的星链宽带网络和Swarm Technologies基于卫星的物联网网络),提供了广泛而快速的云端访问(注:星链于2021年8月收购了Swarm Technologies)。这些通信和网络技术加速了新兴的网络边缘

。网络边缘的实时应用通常不容许高延迟,因此处理、分析和决策必须转移到设备本身。这些网络边缘设备包括自动驾驶汽车、物联网传感器、安全摄像头、智能手机、笔记本电脑和个人电脑等。因此网络边缘计算的潜力巨大。


数据重压之下,云端无法包揽一切


智能手机和物联网设备的指数级增长推动了网络边缘计算的发展,这些设备无处不在,必须连接到互联网才能向云端发送信息或从云端接收信息。一些物联网设备(例如摄像机)在运行过程中会生成大量数据。


其他物联网设备,如温度传感器,会生成少量数据,但由于这样的传感器数量可达数十亿,为云端处理带来了极大的负担。因此,基于网络边缘的处理十分必要,不仅可以降低云端的网络通信成本和云存储成本,还能避免云端数据通道过载。


网络边缘产品和应用的开发人员越来越多地采用人工智能和机器学习(AI/ML)算法来匹配和识别复杂的模式,以帮助分析数据并据此做出决策。事实上,AI/ML技术的使用增长极其迅猛。


如今AI/ML算法被视为高效处理原始数据的必要手段,因为它们可以识别出传统的算法程序难以解析和识别的复杂、多维度的数据模式。一些特定的AI/ML应用包括检测、识别、辨认和计数人员或物体;资产和存货追踪、环境感知、声音和语音检测和识别、系统健康监测以及系统维护调度等。计算设备和应用的发展。


新兴的网络边缘设备和应用包括自动驾驶汽车、机器人、自动化生产、远程监控、供应链和物流系统,以及保障公共和私人安全的视频监控。市场对这些网络边缘系统的需求极速增长,因为它们可以提高效率、降低运营成本并改善用户体验。但无论我们建设多少无线和有线通信基础设施,超量数据的骇浪都可能压垮或者堵塞这些通向云端的数据管道。


网络边缘本地化处理有助于疏通数据管道


这些趋势表明如今需要尽量在网络边缘数据产生的地方进行更多的处理,减少传输到云端的数据量。物联网和其他网络连接设备的爆发式增长是推动新的网络边缘设备开发的主要动力,这也进一步刺激了新应用的开发,从而将原始数据转换为有用的、可操作的信息,支持快速决策,实时应对不断变化的情形。


在网络边缘计算发展的早期阶段,公司主要关注将数据远距离传输到数据中心的成本问题。最初,网络边缘应用的一大特征是需要访问存储在云端和连接到云的其他计算机中的数据。这些早期应用通常不是实时应用;数百毫秒甚至数秒的响应时间都是可以接受的。然而,物联网设备的发展以及对网络边缘实时处理、分析和响应的需求不断增长,推动了网络边缘技术强有力的发展,同时也伴随着更大的设计挑战。


网络边缘处理使得计算和数据存储越来越靠近收集数据的设备端,而不是在数千里之外的数据中心进行分析和决策

 

image.png

图1. 网络边缘计算的趋势(图片来源:莱迪思)


许多可以利用AI/ML功能的网络边缘应用需要在极具严苛的功耗限制下运行。这些广泛分布的设备通常依靠电池供电。此类应用在各种网络边缘环境中比比皆是,包括工厂、农场、办公楼、零售店、医院、仓库、街道和住宅。随着它们数量的增加,这些设备需要在仅充一次电或者仅依靠收集和存储能量的情况下运行较长时间,甚至可能是几个月或几年。


因此,许多设备需要在大部分时间里处于睡眠或休眠状态,在设备处于非活动状态时大部分电路应处于低功耗待机模式。然后激活事件会在需要时启动设备。在此类应用中,以超低功耗运行的基础电路系统必须保持待命,等待激活事件,然后根据需要为设备的其余部分供电。


FPGA以低功耗实现AL/ML


对低运行功耗和AI/ML算法实现的需求似乎与低功耗网络边缘设备设计的要求相互冲突。然而,这两种复杂的设计要求其实并不矛盾。莱迪思最新的FPGA——低功耗、小尺寸、高性能的CertusPro-NX系列器件——专为满足低功耗网络边缘设备的诸多设计要求而定制。这些FPGA可以支持多个传感器、显示器,支持高分辨率视频、网络连接和网络边缘AI/ML处理。


与此同时,莱迪思最新发布的sensAI解决方案集合4.1版本提供了即用的AI/ML工具、IP核、硬件平台、参考设计和演示以及定制化设计服务,有助于设计团队开发新的网络边缘设备,并将其快速推向市场。最新版本的sensAI支持CertusPro-NX FPGA。


莱迪思sensAI解决方案集合可加速端到端的AI/ML模型训练、验证和编译。莱迪思在2021年初发布的sensAI 4.0中新增了sensAI Studio设计环境,这是一种基于图形用户界面(GUI)的工具,可帮助开发人员快速构建机器学习应用。在使用莱迪思sensAI 4.1中的工具设置网络边缘计算设计,并且采用莱迪思iCE40 UltraPlus、CrossLink-NX、ECP5和CertusPro-NX FPGA时,可以在超低功耗下实现实时的AI/ML功能——功耗低至1mW到1W。

image.png

图 2.莱迪思sensAI Studio设计环境加速端到端的AI/ML模型训练、验证和编译。(图片来源:莱迪思)


随着sensAI 4.1支持莱迪思CertusPro-NX FPGA系列产品,sensAI的性能也有了较大提升,除了已有的对象检测和追踪应用之外,还新增了对多个对象实时分类等应用。sensAI 4.1解决方案集合包括更新的神经网络编译器,还兼容其他广泛使用的机器学习平台,包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。


莱迪思sensAI 4.1解决方案集合中的IP核包括三种类型的卷积神经网络(CNN)加速器——CNN、CNN Plus和CNN Compact——以及一个CNN协处理器引擎。CNN IP核能让开发人员使用其他人发布的广泛使用的各类CNN,例如Mobilenet v1/v2、Resent、SSD和VGG,或者根据需要自定义CNN模型。sensAI 4.1 CNN加速器利用莱迪思FPGA的并行处理能力、分布式存储器和DSP资源,极大简化了超低功耗AI设计的实现。加速器核利用FPGA的可编程逻辑来实现低功耗神经网络,包括极其高效的二值神经网络(BNN),能够以毫瓦级超低功耗实现CNN。


 image.png

图3. 莱迪思sensAI解决方案集合可开发基于莱迪思FPGA的AI/ML设备。(图片来源:莱迪思)


莱迪思sensAI 4.1参考设计


莱迪思FPGA提供可编程I/O,经配置可支持传感器接口常用的多种电气接口标准。公司还提供许多硬核和软核IP模块以支持不同的传感器通信协议。由于FPGA长期以来在传感器融合方面具有显著优势,因此莱迪思sensAI 4.1的设计旨在简化网络边缘设备中基于多个传感器的AI/ML推理功能的开发,实现智能的传感器融合。sensAI 4.1解决方案集合包括许多参考设计示例,演示了多种智能传感器融合的应用案例,它们可以同时运行,实现深入的情景感知。这些参考设计包括:


手势检测


该参考设计使用IR图像传感器,实现了一个基于AI的低功耗手势检测系统。该参考设计提供了一个训练数据集、可使用常用神经网络训练工具训练的脚本以及一个神经网络模型,方便用户进行修改。


关键词检测


该参考设计使用数字MEMS麦克风持续检测关键词话语。设计人员可以使用深度学习框架(例如Caffe、Tensorflow或Keras)更新提供的训练数据集,为系统添加唤醒词功能。参考设计包括一个训练数据集、可使用常用神经网络训练工具训练的脚本以及一个神经网络模型,方便用户进行修改。


人脸检测


该参考设计使用图像传感器实现基于CNN的人脸识别,并且可以通过修改训练数据库来识别其他类型的目标。


人员侦测


该参考设计使用CMOS图像传感器持续检测人员的存在。基于此设计的AI系统可以使用深度学习框架(例如Caffe或Tensorflow)更新所提供的训练模型来检测和定位任何感兴趣的目标。该参考设计包括一个神经网络模型、一个训练数据集和可使用常用训练工具训练的脚本。


目标检测、分类、追踪和计数


该参考设计提供了目标检测、分类、追踪和计数的示例,拥有完整的设计,包括用于莱迪思开发板的FPGA RTL、神经网络模型、示例训练数据集以及用于重新创建和更新设计的脚本。


可以使用AI的常见和潜在的网络边缘应用


使用AI/ML算法提高众多网络边缘设备(例如自主机器人、环境控制和视频安全摄像头)的性能具有明显优势,而其他类型的网络边缘设备也可以从中受益,例如PC和笔记本电脑。莱迪思正与合作伙伴和客户合作,利用多模式、智能传感器融合和AI/ML技术,不断提升PC/笔记本电脑用户的体验,并显著降低笔记本电脑的运行功耗,在某些应用中,电池使用时间最多提高了28%。


哪些设备特性能发挥出潜在的价值呢?


PC和笔记本电脑在24小时内的使用情况差异很大,一般在白天工作时间集中使用。然而,即使是在工作时间,它们也会有休息状态。人们会偶尔休息,中午也会用餐,这些时间他们通常会让计算机保持运行状态,确保他们打开的各种应用不被关闭。


将AI/ML分析和决策与计算机现有的传感器(摄像头和麦克风)相结合,实现智能传感器融合,能让PC或笔记本电脑感知周围环境,从而决定何时关闭显示器和CPU,以及何时应该给它们重新供电。


存在检测最简单的用途是在周围无人时关闭计算机。当用户长时间远离屏幕时,注意力追踪功能可以调暗计算机屏幕并激活低功耗模式。充当智能传感器中心的低功耗、小尺寸FPGA可以接收来自计算机传感器的输入,然后根据情况决定为哪些组件供电。


解决隐私和安全问题


同样,这些功能也可以增强计算机的隐私和安全性。计算机的内置会议摄像头可用于监控用户身后的背景,检测是否有人从用户的肩膀后面窥视。如果计算机被配置为保护隐私,当授权用户背后有人疑似在偷窥计算机屏幕时,它可以弹出警告提醒用户甚至自动调暗屏幕。需要注意的是,使用这些解决方案,所有推理数据都保存在FPGA本地。仅将元数据传递给SoC,这进一步增强了隐私并提高了安全性。


优化用户体验


AI/ML功能还可以增强计算机用户的总体体验。例如,基于AI/ML的面部取景功能可以利用内置视频会议摄像头的较高分辨率来裁剪和居中用户的头像,为视频会议提供较好的画面。与会者还可以在会议期间移动的同时,他们的图像依然保持居中。同样,手势识别可以为笔记本电脑或PC或任何其他支持视频的物联网设备添加非接触式操作功能。


健康方面的益处


许多公司现在明确表示要保障员工的健康,基于AI/ML的感知功能可以通过弹出提醒和其他措施帮助避免重复性压力损伤,并利用计算机的视频传感器确保员工实际上采纳了给出的休息建议。


AI/ML应用还可用于检测用户的姿势,这可能是造成重复性压力损伤的另一个因素。这些利用传感器主动反馈的特性可以用来开发健康应用,这明显优于目前企业中所使用的简单的定时提醒,能够有效应对压力相关的工伤。


所有这些通过AI/ML实现的功能都可以帮助供应商打造出对企业买家更具吸引力的PC和笔记本电脑,并且所有这些功能都可以通过sensAI 4.1解决方案集合和莱迪思低功耗FPGA的特性来实现。


这种FPGA的使用方式超越了长期以来FPGA开发的标志性功能——传感器连接和融合,并且基于成熟的AI/ML算法,新增了传感器信号分析和决策制定功能。AI/ML的加入使得FPGA成为低功耗系统控制器,可管理系统功能、增强用户体验并通过降低整体系统运行功耗大幅延长电池寿命。


结论:数十亿网络边缘设备的庞大市场有待开发


凭借其多个低功耗FPGA系列产品和支持这些产品系列的sensAI 4.1解决方案集合,莱迪思致力于为数十亿计的网络边缘设备带来AI/ML 技术。因此,网络边缘应用是一个极具潜力的目标市场。


根据多方面的估算,全球广泛的地域需要数百亿个网络边缘设备来满足大量网络边缘市场的需求,这对于FPGA 业务来说非常具有吸引力——当然这种规模对于任何行业来说都是如此。莱迪思发布sensAI 4.1解决方案集合及其低功耗、小尺寸FPGA系列,则是直接瞄准了网络边缘应用和市场。莱迪思的sensAI 4.1解决方案集合是一种网络边缘应用的创新开发工具,系统开发人员可以借此为各种市场开发灵活、针对特定应用、基于FPGA的AI/ML推理解决方案。


关键字:莱迪思  工具  IP  FPGA  网络  边缘智能  AI  ML 编辑:张工 引用地址:http://news.eeworld.com.cn/qrs/ic555417.html

上一篇:掌握并实现5项数据服务 IT领导者方能助力企业业务飞跃
下一篇:最后一页

推荐阅读

连接SPI接口器件 - 第一部分
LEC2 Workbench系列技术博文主要关注莱迪思产品的应用开发问题。这些文章由莱迪思教育能力中心(LEC2)的FPGA设计专家撰写。LEC2是专门针对莱迪思屡获殊荣的低功耗FPGA和解决方案集合的全球官方培训服务供应商。莱迪思CrossLink™-NX FPGA拥有丰富的特性,可加速实现高速和低速接口。本文(系列博文的第一篇)描述了使用CrossLink-NX FPGA连接基于SPI的外部组件。第一篇博文介绍了使用两个时钟域实现连接DAC(亚德诺半导体公司的AD7303 DAC)的SPI接口。第二篇博文将介绍使用单个时钟域实现连接ADC(亚德诺半导体公司的 ADC AD7476)的SPI接口。两个案例中呈现了两种截然不同
发表于 2021-11-29
连接SPI接口器件 - 第一部分
锐志天宏选择莱迪思半导体FPGA用于其CNC系统设计
中国上海——2021年11月23日——莱迪思半导体公司,低功耗可编程器件的领先供应商,今日宣布锐志天宏选择莱迪思低功耗FPGA为其最新的计算机数控(CNC)系统提供高性能、可靠的工业级用户数据报(UDP)协议。通过采用莱迪思FPGA实现UDP协议,锐志天宏能够以最小的处理器负载实现以太网网络数据传输,方便客户通过UDP/IP网络协议传输和接收数据。莱迪思的解决方案还提供实时、抗干扰和安全功能以及高性能低功耗特性,满足锐志天宏工业客户的需求。锐志天宏首席执行官黄国庆先生表示:“使用基于莱迪思器件的UDP协议解决方案,同时与优秀的莱迪思现场技术支持团队合作,有助于锐志天宏加快产品的上市。我们很高兴与莱迪思合作,将他们的低功耗FPGA
发表于 2021-11-23
全新版本莱迪思sensAI解决方案集合加速下一代客户端设备
莱迪思半导体公司,低功耗可编程器件的领先供应商,近日宣布其低功耗、AI/ML解决方案的最新路线图,这些解决方案可以帮助客户端计算设备等网络边缘应用延长电池寿命,带来创新的用户体验。它们采用屡获殊荣的Lattice sensAITM解决方案集合构建,在Lattice Nexus™ FPGA上运行,可以帮助OEM厂商开发智能、实时在线、具有低功耗和硬件加速AI功能的设备,这些设备还能现场进行升级,支持未来更多的AI算法。 客户端计算设备越来越需要快速响应和情景感知式的用户体验、高质量视频会议和协作式应用。莱迪思Nexus FPGA和sensAI解决方案集合是开发计算机视觉和传感器融合应用的理想平台,可以提升用户
发表于 2021-11-22
全新版本莱迪思sensAI解决方案集合加速下一代客户端设备
最新版本sensAI为低功耗高性能AI/ML推理应用带来全新特性 中国上海——2021年11月18日——莱迪思半导体公司,低功耗可编程器件的领先供应商,今日宣布其低功耗、AI/ML解决方案的最新路线图,这些解决方案可以帮助客户端计算设备等网络边缘应用延长电池寿命,带来创新的用户体验。它们采用屡获殊荣的Lattice sensAITM解决方案集合构建,在Lattice Nexus™ FPGA上运行,可以帮助OEM厂商开发智能、实时在线、具有低功耗和硬件加速AI功能的设备,这些设备还能现场进行升级,支持未来更多的AI算法。客户端计算设备越来越需要快速响应和情景感知式的用户体验、高质量视频会议和协作式应用。莱迪思Nexus
发表于 2021-11-18
莱迪思全现金收购AI软件公司Mirametrix
莱迪思日前宣布通过全现金方式交易收购 Mirametrix,这是一家专注于计算机视觉应用的高级人工智能 (AI) 解决方案的软件公司。 Mirametrix 软件已成功部署在全球超过 2000 万个终端中。将 Mirametrix 的专业知识与莱迪思创新的硬件和软件解决方案堆栈相结合,可以创建一个从硬件到应用层的端到端 AI 和计算机视觉解决方案。“提供易于使用且满足特定应用需求的解决方案堆栈仍然是我们战略的关键部分,使客户能够轻松采用莱迪思的产品并快速进入市场。而通过将 Mirametrix 经过验证的人工智能和计算机视觉软件添加到现有的解决方案堆栈组合中,将使我们的客户更容易快速为其应用程序添加更多智能功能。”莱迪思半导体
发表于 2021-11-16
Microchip发布新款用于边缘嵌入式视觉设计的新一代开发工具
Microchip发布新款用于边缘嵌入式视觉设计的新一代开发工具,助力开发人员利用低功耗PolarFire® RISC-V® SoC FPGA进行开发平台扩展了客户在从神经网络诊断到工业物联网 (IIoT) 和工厂自动化等应用中设计安全可靠系统的选择Microchip Technology Inc.(美国微芯科技公司)今日宣布为使用PolarFire RISC-V片上系统(SoC)现场可编程门阵列(FPGA)的开发人员推出第二款用于智能嵌入式视觉设计的开发工具。作为业界同类产品中功耗最低的SoC FPGA,PolarFire也是同类产品中唯一同时支持双4K视频处理和四核RISC-V应用级处理器以及支持运行实时操作系统(RTOS
发表于 2021-11-24
Microchip发布新款用于边缘嵌入式视觉设计的新一代开发工具
小广播
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

换一换 更多 相关热搜器件
电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2021 EEWORLD.com.cn, Inc. All rights reserved