Arm Ethos-U65 microNPU对边缘计算市场意味着什么？

本文作者：NXP边缘处理的技术总监、系统架构师和总工程师Ben Eckermann

2020年10月19日，Arm宣布了Ethos-U65 微型NPU。NPU是一个神经处理单元，microNPU顾名思义是一个非常小的NPU，通常针对面积受限的嵌入式和物联网设备。

早在2020年2月，NXP就宣布了选择Ethos-U55 microNPU作为Cortex-M系统。Ethos-U55是专为微控制器设计的，与Cortex-M处理器以及MCU中的系统SRAM和flash协同工作，以提供MCU客户所需的性能和效率的结合。但Ethos-U55并不一定适合于在基于Cortex-A的应用处理器上运行的本地复杂ML应用程序。

通过我们与Arm的技术合作，我们的两个团队开始在Ethos-U55架构上紧密合作，并在这个过程中意识到额外的microNPU可以保持Ethos-U55的功率效率，同时将其适用性扩展到基于Arm Cortex-A的系统，这可能非常适合于异构的SoC，比如NXP在工业和物联网领域的i.MX系列。通过合作，我们能够提高Ethos-U55的性能，不仅将最大原始MAC（乘法和累加）性能提高一倍，达到1TOPS（1GHz工作频率下512次并行乘法累加操作），而且还能够正确调整系统总线的尺寸，以便将数据输入和输出到microNPU。但这还不够，MCU通常是基于SRAM和闪存的混合使用，但基于Cortex-A的应用处理器通常都有DRAM。DRAM提供了更高的数据速率和容量，但代价是延迟更长。microNPU需要设计来适应这种延迟。这一切都实现了，并诞生了Ethos-U65。

与Ethos-U55一样，Ethos-U65 microNPU与NXP的i.MX家族中已有的Cortex-M内核和片上SRAM协同工作。它继承了Ethos-U55的所有MCU级能效，与传统NPU相比，Cortex-M和Ethos-U的结合提高了面积和功率效率，从而能够开发出经济高效、高性能的边缘计算人工智能产品。

与Ethos-U55一样，Ethos-U65软件模型依赖于离线模型编译和对所选底层硬件的优化。这是个人电脑或手机通常不会做的事情，因为相比之下，他们的重点是拥有一个能够在各种目标硬件上运行的预编译二进制文件。但在工业和物联网边缘的嵌入式市场中，底层硬件是众所周知的，需要尽可能有效地利用。这种离线编译针对特定的Ethos-U65配置以及用户决定分配给Ethos-U65的片上SRAM数量进行优化。其结果是最大化存储在片上SRAM中的关键数据，减少了数据泄漏到系统DRAM中的频率。

例如，根据Arm的说法，运行1GHz的Ethos-U65的512GOPS实现流行的MobileNet_v2深度神经网络时，能够在不到3毫秒的时间内完成目标识别，这比运行在2GHz的四核Cortex-A53上至少快十倍。2020年1月，iMX 8M Plus发布，具有2.3TOPS，而Ethos-U65填补了工业和物联网边缘市场的空白，即不需要i.MX 8M Plus的原始处理能力，但要求更严格的MCU类效率。