保护隐私 提升续航，莱迪思sensAI用FPGA实现网络边缘AI 网络

网络边缘计算正在快速兴起。有很多新的应用都在边缘端发展出新的应用和使用场景。近日，全球低功耗FPGA供应商莱迪思宣布其低功耗、AI/ML解决方案的最新路线图，这些解决方案可以帮助客户端计算设备等网络边缘应用延长电池寿命，带来创新的用户体验。它们采用屡获殊荣的莱迪思 sensAITM解决方案集合构建，在莱迪思 Nexus™ FPGA上运行，可以帮助OEM厂商开发智能、实时在线、具有低功耗和硬件加速AI功能的设备，这些设备还能现场进行升级，支持未来更多的AI算法。

客户端计算设备越来越需要快速响应和情景感知式的用户体验、高质量视频会议和协作式应用。莱迪思Nexus FPGA和sensAI解决方案集合是开发计算机视觉和传感器融合应用的理想平台，可以提升用户的参与和协作，保护用户隐私。例如，客户端设备可以分析摄像头采集的图像数据，确定后方人员是否离用户过于靠近，还可以在用户的注意力转移到别处时，模糊屏幕，保护隐私，或者调暗屏幕，延长电池使用时间。

为什么莱迪思要选择FPGA来实现网络边缘AI呢？

据莱迪思半导体亚太区资深市场开发经理林国松介绍，边缘端对功耗的敏感度和尺寸的大小有比较严格的要求，而小封装和低功耗恰好是莱迪思 FPGA芯片的特点。结合AI技术，莱迪思 FPGA芯片可将功耗控制在1毫瓦～1瓦之间，相比ASIC也毫不逊色。基于FPGA本身的特点，拥有灵活的计算资源，可以实现预处理、后处理、图像处理，滤波等等，以及进行性能拓展，应对多种应用案例。

莱迪思 FPGA内嵌安全功能区域，能为各种使用场景提供更高的安全性。随着AI技术不断更新，不断有新的实现方式产生，莱迪思 FPGA能够适应快速变化的机器学习算法。在下图中大家可以看到AI模型从2012到2021年的快速发展，AI分类模型创新的数量逐年递增。AI技术的快速创新对可编程逻辑器件FPGA来说是有利的，FPGA配合AI技术随时为用户提供最佳体验。

与使用CPU来驱动AI应用的设备相比，采用sensAI开发，并在莱迪思 FPGA上运行的AI计算设备的电池使用时间延长了28%。sensAI还支持现场软件更新，从而保持AI算法的演进，还能让OEM厂商灵活选择不同的传感器和SoC技术来适配他们的设备。

sensAI解决方案集合的最新版本（v4.1）现已发布，支持莱迪思基于AI的应用路线图，提供了用户检测、注意力追踪、旁观者检测及面部取景功能。

其增强特性和新特性还包括：

提供更多应用支持——sensAI 4.1版本在性能和准确度方面的提升有助于拓展其目标应用，包括自动化工业系统中使用的高精度目标检测和瑕疵检测等应用。该解决方案集合拥有全新硬件平台，包括板载图像传感器、两个I2S麦克风和用于添加更多传感器的扩展连接器，助力基于语音和视觉的机器学习应用的开发。

提供易于使用的工具——sensAI还更新了神经网络编译器，支持莱迪思 sensAI Studio，这是一款基于GUI的工具，拥有AI模型库，经过配置和训练可适用于各类主流应用场景。sensAI Studio现支持AutoML功能，能根据应用和数据集目标来创建机器学习模块。一些基于Mobilenet机器学习推理训练平台的模型专为最新的Nexus系列产品——莱迪思 CertusPro™-NX进行了优化。sensAI还兼容其他广泛使用的机器学习平台，包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。

目前，市面上多数电脑是以鼠标是否移动来判定用户是否在使用电脑，如果鼠标长期未移动，电脑就会熄屏。而莱迪思 sensAI可通过用户检测判断是否有用户在电脑前，用户接近或离开时自动启动或关闭屏幕。当用户的注意力不在屏幕上时，降低设备的屏幕亮度，节约电量，延长使用时间。当有旁观者注视屏幕时，屏幕会模糊保护用户隐私，而面部取景在视频会议应用中能够提升视频体验。

关于个人隐私保护问题，莱迪思表示，莱迪思 sensAI只会传出一个结果，而不会传输图像。sensAI符合道德和合理的AI设计考量，通过使用莱迪思 sensAI可以不把图像传给电脑，直接在硬件上处理，既能保障用户肖像权不受侵害，又能防范黑客盗取。

本次莱迪思推出的sensAI 4.1增加了CetusPro-NX器件的支持。CetusPro-NX器件的容量、计算能力和功效都进行了相应升级，在这块器件基础上，莱迪思还推出了声音和视觉机器学习板，并提供支持这块新芯片的CNN Plus加速器，以及相对应的sensAI Studio。 

ABI的研究调查表明，预计到2024年设备端的AI推理功能将覆盖近60%的设备。莱迪思作为全球低功耗FPGA供应商，过去四年总出货量达10亿片以上，位居榜首。近几年莱迪思推出新器件的步伐明显增快，在智能家居、智慧城市、工厂、智能汽车这些方面莱迪思也可以提供相对应的设计服务。据悉，明年上半年会推出针对5G的新方案。