推动边缘端机器学习，NXP Glow神经网络编译器问市-电子工程世界

恩智浦半导体NXP Semiconductors N.V.发布了eIQ机器学习（ML）软件对Glow神经网络（NN）编译器的支持功能，针对恩智浦的i.MX RT跨界MCU，带来业界首个实现以较低存储器占用提供更高性能的神经网络编译器应用。Glow编译器由Facebook开发，能够集成特定于目标的优化，恩智浦利用这种能力，使用适用于Arm Cortex-M内核和Cadence Tensilica HiFi 4 DSP的神经网络算子库，最大程度地提升i.MX RT685以及i.MX RT1050和RT1060的推理性能。此外，此功能已集成到恩智浦的eIQ机器学习软件开发环境中，在恩智浦的MCUXpresso SDK中免费提供。

使用Glow充分发挥MCU架构特性的优势

2018年5月，率先开发PyTorch的Facebook推出了开源社区项目Glow（Graph Lowering神经网络编译器），其目的是提供优化，提高一系列硬件平台上的神经网络性能。作为一种神经网络编译器，Glow基于未优化的神经网络生成高度优化的代码。这个特点有别于典型的神经网络模型处理，后者采用即时编译，因而需要更高的性能，还会增加存储器开销。像Glow这样直接运行优化代码可以显著降低处理和存储器要求。恩智浦也在Glow开源社区中扮演着积极角色，帮助推广和普及Glow的新功能。

Facebook软件工程经理Dwarak Rajagopal表示：“GitHub中提供的标准版Glow可以直接在任何设备上运行，让用户能够灵活地针对感兴趣的基础架构编译神经网络模型，包括Arm Cortex-A和Cortex-M内核以及RISC-V架构。恩智浦使用充分利用MCU计算元件的专用软件库，实现了2-3倍的性能提升，展示了从基于云的高端机器到低成本的嵌入式平台的广泛范围内，将Glow神经网络编译器用于机器学习应用的诸多优势。”

优化机器学习框架以增强竞争优势

未来几年内，对机器学习应用的需求预期将会大幅增加。据TIRIAS Research预测，到2025年，98%的边缘设备将使用某种形式的机器学习/人工智能。根据市场预测，到2025年，预计将有180亿至250亿部设备包含机器学习功能，尽管它们可能并没有专用的机器学习加速器。消费型设备制造商和嵌入式物联网开发人员将需要优化机器学习框架，以便实现使用MCU的低功耗边缘嵌入式应用。

恩智浦半导体资深副总裁兼边缘处理业务总经理Ron Martino表示：“借助eIQ机器学习软件框架，利用高度集成的i.MX应用处理器和高性能i.MX RT跨界MCU的强大功能，恩智浦正在推动机器学习功能在边缘设备上的实现。随着i.MX RT系列跨界MCU增加对Glow的支持，我们的客户能够编译深度神经网络模型，为他们的应用带来竞争优势。”

恩智浦的面向机器学习的边缘智能环境解决方案是一个全面的工具包，提供开发人员需要的构建模块，帮助他们高效地在边缘设备中实施机器学习。Glow整合到eIQ软件后，机器学习开发人员将拥有全面的高性能框架，可在包括i.MX RT跨界MCU和i.MX 8应用处理器的恩智浦边缘处理解决方案上进行扩展。客户拥有了更强大的工具，能够在i.MX RT MCU和i.MX应用处理器上开发机器学习语音应用、对象识别、人脸识别等应用。

利用恩智浦的Glow神经网络实施来提高性能

eIQ现在包含对Glow和TensorFlow Lite的推理支持，对于这些实施，恩智浦通常会执行基准测试以衡量其性能。MCU基准测试包括标准神经网络模型，例如CIFAR-10。以CIFAR-10模型为例，恩智浦采集的基准测试数据表明了如何利用i.MX RT1060器件（采用600MHz Arm Cortex-M7）、i.MX RT1170器件（采用1GHz Arm Cortex-M7）和i.MX RT685器件（采用600 MHz Cadence Tensilica HiFi 4 DSP）的性能优势。

恩智浦对Glow的支持离不开Cadence为Tensilica HiFi 4 DSP提供的神经网络库(NNLib)，该DSP提供了4.8GMAC性能。同样以CIFAR-10为例，恩智浦的Glow实施使用这一DSP来加快神经网络运算，实现了25倍的性能提升。

Cadence Tensilica IP企业副总裁Sanjive Agarwala表示：“Tensilica HiFi 4 DSP最初集成在i.MX RT600跨界MCU中，目的是提高各种不同的音频和语音处理应用的速度。但是，当有越来越多机器学习推理应用瞄准了低成本、低功耗的MCU级应用时，HiFi 4 DSP凭借固有的DSP计算性能，成为加快这些神经网络模型的理想选择。随着恩智浦在eIQ机器学习软件中实施Glow，i.MX RT600 MCU的客户能够利用该DSP来满足多种机器学习应用的需求，包括关键词检索（KWS）、语音识别、降噪和异常检测。”

Arm公司机器学习营销副总裁Dennis Laudick表示：“恩智浦将Arm CMSIS-NN软件库包括在elQ中，目的是最大程度地提升性能，减少Arm Cortex-M内核上的神经网络存储器占用。以CIFAR-10神经网络模型为例，恩智浦能够利用CMSIS-NN实现1.8倍的性能提升。其他神经网络模型应该能够产生相似的结果，这清晰地展示了这款高级编译器和我们的优化神经网络算子库的优势。”

上市时间

恩智浦的集成Glow神经网络编译器的eIQ软件现已上市，通过i.MX RT600跨界MCU、i.MX RT1050和i.MX RT1060跨界MCU的MCUXpresso SDK提供。未来将会推出适用于恩智浦其他MCU的集成Glow神经网络编译器的eIQ软件。

关键字：NXP 神经网络编译器引用地址：推动边缘端机器学习，NXP Glow神经网络编译器问市

上一篇：从实验室到生产线：Xilinx 助力百度 Apollo ACU 量产下线
下一篇：Socionext 全新HDMI模块cecTalker问市，让用户轻松进行设计

推荐阅读最新更新时间：2024-10-25 12:52

推动边缘端机器学习，NXP Glow神经网络编译器问市

[嵌入式]

推动边缘端机器学习，<font color='red'>NXP</font> Glow<font color='red'>神经网络</font><font color='red'>编译器</font>问市

CEVA为CDNN神经网络编译器增添ONNX支持

最新CDNN版本具有开放式神经网络交换(ONNX)支持，开发人员可以将在各种深度学习框架中培训的神经网络无缝部署在 CEVA-XM 视觉DSP和NeuPro AI处理器上 CEVA，全球领先的智能和互联设备的信号处理平台和人工智能处理器IP授权许可厂商宣布其获奖的 CEVA 深度神经网络 (CDNN) 编译器的最新版本支持开放式神经网络交换 Open Neural Network Exchange(ONNX)格式。 CEVA副总裁兼视觉业务部门总经理Ilan Yona 表示：“CEVA全力确保实现开放、可互操作的AI生态系统，人工智能应用程序开发人员能够充分利用生态系统中各种不同深度学习框架，考虑其功能和易用性，为所

[物联网]

开源嵌入式编译器，没想象中那么好？

工欲善其事，必先利其器，对嵌入式工程师来说，嵌入式编译器是不可或缺的神兵利器，它被人冠以“C语言翻译官”的名号。由于C语言历史悠久，早期没有规范，整个计算机产业也都处于拓荒的年代，所以就涌现了很多款C语言编译器。根据EEWorld的调研，嵌入式工程师比较青睐的嵌入式编译器主要包括Keil（ArmCC）、IAR、GCC、AVR GCC、CLion、Clang、green hills、TI的CSS、ADI的Visual DSP++。不过，随着嵌入式开发格局逐渐稳固，Keil、IAR、GCC成为嵌入式编译器三巨头，基本大部分嵌入式产品都有其身影。尤其是GCC，作为一个完全开源的编译器，很多MCU厂商的IDE都由它改写而来

[嵌入式]

GCC编译器原理（二）------编译原理一：ELF文件（1）

二、ELF 文件介绍 2.1 可执行文件格式综述相对于其它文件类型，可执行文件可能是一个操作系统中最重要的文件类型，因为它们是完成操作的真正执行者。可执行文件的大小、运行速度、资源占用情况以及可扩展性、可移植性等与文件格式的定义和文件加载过程紧密相关。研究可执行文件的格式对编写高性能程序和一些黑客技术的运用都是非常有意义的。可执行链接格式（ Executable and Linking Format）最初是由 UNIX 系统实验室（ UNIX System Laboratories， USL）开发并发布的，作为应用程序二进制接口（ Application Binary Interface， ABI）的一部分。

[单片机]

GCC<font color='red'>编译器</font>原理（二）------编译原理一：ELF文件（1）

GCC编译器原理（三）------编译原理三：编译过程（2-1）---编译之词法分析

二、编译编译过程就是把预处理完的文件进行一系列词法分析、语法分析、语义分析及优化后生成相应的汇编代码文件，这个过程是整个程序构建的核心部分，也是最复杂的部分之一。现在版本的 GCC 把预编译和编译两个步骤合并成一个步骤，使用 cc1 的程序来完成这两个步骤。编译过程一般分为 6 个步骤：扫描、语法分析、语义分析、源代码优化、代码生成和目标代码优化，过程如下图： 2.1 词法分析源代码程序被输入到扫描器（Scanner），扫描器对源代码进行简单的词法分析，运用类似于有限状态机（Finite State Machine）的算法可以很轻松的将源代码字符序列分割成一系列的记号（Token）。词法分析产生的记号一般可以分为如下

[单片机]

GCC<font color='red'>编译器</font>原理（三）------编译原理三：编译过程（2-1）---编译之词法分析

GCC编译器原理（三）------编译原理三：编译过程（2-2）---编译之语法分析

2.2 语法分析语法分析器（Grammar Parser）将对由扫描器产生的记号进行语法分析，从而产生语法树（Syntax Tree）。整个分析过程采用了上下文无关语法（Context-free Grammar）的分析手段。由语法分析器生成的语法树就是以表达式（Expression）为节点的树。如下所示：从图中可以知道，整个语句就是一个赋值表达式：赋值表达式的左边是一个数组表达式，右边是一个乘法表达式；数组表达式又由两个符号表达式组成，等等。符号和数字是最小的表达式，它们不是由其他表达式来组成，所以它们通常作为整个语法树的叶节点。在语法分析的同时，很多运算符号的优先级和含义也被确定下来了。比如乘法表达式比加法表

[单片机]

GCC<font color='red'>编译器</font>原理（三）------编译原理三：编译过程（2-2）---编译之语法分析

GCC编译器原理（三）------编译原理三：编译过程（3）---编译之汇编以及静态链接【1】

三、汇编编译过程就是生成汇编代码的过程，在编译过程中，也会调用汇编器 as，将源代码生成汇编代码。比如，执行 gcc -S hello.c -o hello.s 此时已经生成了汇编代码。汇编的过程就是将 hello.s 生成目标文件。汇编器是将汇编代码转变成机器可以执行的指令，每一个汇编语句几乎都对应一条机器指令。汇编器的汇编过程相对于编译器来讲比较简单，只是根据汇编指令和机器指令的对照表一一翻译就可以了。它没有复杂的语法，也没有语义，也不需要做指令优化。汇编过程可以调用汇编器 as 来完成： as hello.s -o hello.o 或者 gcc -c hello.s -o hello.o 也可以使用 gcc 命令从

[单片机]

GCC<font color='red'>编译器</font>原理（三）------编译原理三：编译过程（3）---编译之汇编以及静态链接【1】

GCC编译器原理（三）------编译原理三：编译过程（3）---编译之汇编以及静态链接【2】

4.1.2 符号解析与重定位（1）重定位在完成空间和地址的分配步骤之后，链接器就进入了符号解析和重定位的步骤，这是静态链接的核心部分。先看看 a.o 的反汇编文件： objdump -d a.o: 程序代码里面都是使用的虚地址，main 起始地址为 0 ，这是因为在未进行空间分配之前，目标文件代码段中的起始地址以 0x00000000 开始，等到空间分配完成之后，各个函数才会确定自己在虚拟地址空间中的位置。从反汇编来看，a.o 中定义了一个函数 main，这个函数占 0x55 个字节，共 21 条指令。冒号前的代表每条指令的偏移量。上面的 eax，esi 等为寄存器，在参数很少的情况下编译器会选择让寄存器来传递参数，

[单片机]

GCC<font color='red'>编译器</font>原理（三）------编译原理三：编译过程（3）---编译之汇编以及静态链接【2】

热门资源推荐
热门放大器推荐

小广播