人工智能机器视觉需求猛增，sensAI重塑深度情境感知

人工智能机器视觉需求猛增，sensAI重塑深度情境感知

智能手机和各类物联网设备的指数级增长推动了网络边缘计算的发展，这些设备无处不在，但如果将其产生的全部数据都向云端发送，毫无疑问将为云端处理带来极大的负担。因此，基于网络边缘的处理十分必要，不仅可以降低云端的网络通信成本和云存储成本，还能避免云端数据通道过载。

目前，网络边缘产品和应用的开发人员越来越多地采用人工智能和机器学习(AI/ML)算法来匹配和识别复杂的模式，以帮助分析数据并据此做出决策。事实上，AI/ML技术的使用增长极其迅猛，ABI Research的数据显示，预计到2024年，设备端AI推理功能将覆盖60%的设备。

但许多可以利用AI/ML功能的网络边缘设备，往往需要在极其严苛的功耗限制下运行，充一次电或者仅依靠收集和存储能量就要工作几个月甚至几年。另一方面，近十年来AI模型快速发展，不断有新的实现方式产生，需要有更出色的硬件来承载，这就需要硬件和算法上的优化。

作为莱迪思推出的业界第一款用于网络边缘设备端AI处理的完整解决方案集合，SensAITM提供了供开发人员评估、开发和部署基于FPGA的机器学习/人工智能解决方案所需的全部资源，包括模块化硬件平台、演示示例、参考设计、神经网络IP核、软件开发工具和定制化设计服务，旨在解决系统对于日益严格的功耗和小尺寸(5mm2到100mm2)的要求，目前已演进到最新的6.0版本。

初识sensAI 6.0

增强对高性能机器视觉AI解决方案的支持，是此次sensAI 6.0版本推出的初衷。根据IoT Analytics报告，2020年，制造业和工业中的人工智能机器视觉市场规模约为41亿美元，预计到2025年将增加至152亿美元，年复合年增长率(GAGR)为30%，而传统机器视觉部署的年复合增长率仅为6.5%。

如此高的年复合增长率是因为下一代实时边缘人工智能机器视觉的应用，不仅限于质量保证和产品检测应用，还要帮助制造商和使用者获得更多的正常运行时间、获得预防性维护的能力、提高生产力和确保工人安全等诸多受益。 

为顺应这一趋势，sensAI 6.0对硬件平台的支持从最初的iCE40/CrossLink-NX/ECP5/CertusPro-NX拓展到了Avant，这也是莱迪思新推出的低功耗中端FPGA平台。与此前的产品相比，Avant平台在性能和硬件资源方面得到了进一步的强化，例如逻辑单元容量达到了500K，相比以往100K-150K的配置，提升了5倍；带宽提升了10倍，计算性能提升30倍。它的面世不但意味着莱迪思迈入了中端FPGA供应商的行列，还打开了一扇通往30亿美元增量市场的新大门。

莱迪思sensAI 6.0解决方案集合 

莱迪思sensAI 6.0解决方案集合中的IP核包括多种类型的卷积神经网络(CNN)加速器——CNN、CNN Plus、CNN Compact、Advanced CNN、以及一个CNN协处理器引擎，能让开发人员使用其他人发布的广泛使用的各类CNN，例如Mobilenet v1/v2、Resent、SSD、VGG、OpenCV和标准机器学习(ML)训练平台，或者根据需要自定义CNN模型，再依托莱迪思FPGA的并行处理能力、分布式存储器和DSP资源，极大简化了超低功耗AI设计的实现。

SensAI支持多种AI算法模型

软件工具层面，sensAI Studio设计环境是一种基于图形用户界面(GUI)的工具，拥有AI模型库，经过配置和训练可适用于各类主流应用场景，可帮助开发人员快速构建机器学习应用，此番在sensAI 6.0中与编译器工具一起获得更新，用以支持新的AI加速引擎。 

Glance by Mirametrix®计算机视觉软件(V10.0)的更新，则主要集中在对用户界面、摄像头功能、外部用户界面(UI)模式的优化和低功耗FPGA的支持，是本次更新的重点内容之一。

Glance是由Mirametrix公司开发的注意力感应软件，软件配合IR Camera(红外摄像头)可捕捉用户的面部、眼睛和凝视动作，从而了解用户的意识和注意力。利用这项独特的技术开发的智能设备，能提供更自然和沉浸式的用户体验和设备交互。2021年，莱迪思通过全现金方式交易收购Mirametrix公司，将Mirametrix的专业知识与莱迪思创新的硬件和软件解决方案堆栈相结合，从而创建出了一个从硬件到应用层的端到端AI和计算机视觉解决方案。 

塑造深度情境感知能力

莱迪思FPGA提供可编程I/O，经配置可支持传感器接口常用的多种电气接口标准，公司还提供许多硬核和软核IP模块以支持不同的传感器通信协议。由于FPGA长期以来在传感器融合方面具有显著优势，因此莱迪思sensAI 6.0解决方案集合包括许多参考设计示例，演示了多种智能传感器融合的应用案例，它们可以同时运行，实现深入的情景感知，例如：

 人员侦测

该参考设计使用CMOS图像传感器持续检测人员的存在。基于此设计的AI系统可以使用深度学习框架（例如Caffe或Tensorflow）更新所提供的训练模型来检测和定位任何感兴趣的目标。该参考设计包括一个神经网络模型、一个训练数据集和可使用常用训练工具训练的脚本。

 条形码检测和读取

条形码检测和读取是一种应用程序，通常使用混合了传统和基于AI/ML的算法的加速工业PC运行。由于设计者希望降低部署成本，具有内置条形码读取功能的摄像头可以更简单地实现应用程序。因此，此参考设计演示了使用CertusPro NX FPGA语音和视觉机器学习板的条形码检测，该板实现了基于Yolov5 NN模型的摄像头条形码检测功能。

资料显示，该参考设计允许640 x 480的图像分辨率输入，裁剪并缩小到160 x 120进行处理，检测结果可在FPGA内叠加至输入图像的顶部。同时，使用Yolov5型网络，实现了在小占地面积内提高精度的目标。

条形码检测和读取参考设计

 目标检测、分类、追踪和计数

该参考设计提供了目标检测、分类、追踪和计数的示例，拥有完整的设计，包括用于莱迪思开发板的FPGA RTL、神经网络模型、示例训练数据集以及用于重新创建和更新设计的脚本。

目标分类参考设计

 手势检测

该参考设计使用IR图像传感器，实现了一个基于AI的低功耗手势检测系统。该参考设计提供了一个训练数据集、可使用常用神经网络训练工具训练的脚本以及一个神经网络模型，方便用户进行修改。

 人脸检测

该参考设计使用图像传感器实现基于CNN的人脸识别，并且可以通过修改训练数据库来识别其他类型的目标。

 关键词检测

该参考设计使用数字MEMS麦克风持续检测关键词话语。设计人员可以使用深度学习框架（例如Caffe、Tensorflow或Keras）更新提供的训练数据集，为系统添加唤醒词功能。参考设计包括一个训练数据集、可使用常用神经网络训练工具训练的脚本以及一个神经网络模型，方便用户进行修改。

与此同时，莱迪思还正与合作伙伴和客户合作，利用多模式、智能传感器融合和AI/ML技术，不断提升PC/笔记本电脑用户的体验，并显著降低笔记本电脑的运行功耗，在某些应用中，电池使用时间最多提高了28%。

结语

此次更新的Automate™3.0和sensAI™6.0解决方案集合，均在莱迪思低功耗FPGA上运行，可实现高效、灵活和安全的工业应用开发，同时带来低功耗和小尺寸优势。设计人员可以在不依赖云端的情况下，快速为网络边缘设备提供更多计算资源，从而最大程度帮助客户实现最新的工厂自动化和工业机器视觉应用。