中国内存内计算芯片新突破，AI助力老架构焕然一新

随着物联网时代的到来，海量的数据蜂拥而至。特别是各种应用终端和边缘侧需要处理的数据越来越多，而且对处理器的稳定性，以及功耗提出了越来越高的要求，这样，传统的计算体系和架构的短板就显得愈加突出，未来，具有更高效率和更低功耗的计算系统一定会大行其道。

在这样的背景下，存算一体（Computing In Memory，内存内计算）AI芯片应运而生。目前，不少国际上的领先企业和研究机构正在致力于各种新型存储器的研究，其中一个很大的驱动力就是希望能够实现具有更高效率的存算一体系统，而在这其中，AI的融入也是一大趋势。这些使得计算+存储+AI的融合发展成为了一大方向。

不仅是在国际上，最近几年，我国本土的一些企业和科研院所也在致力于这方面的研究工作。就在上周，合肥恒烁半导体科技公司与中国科大团队历时两年共同研发的基于NOR闪存架构的存算一体AI芯片系统演示顺利完成。这是国际领先的超低功耗存算一体的人工智能芯片。据悉，该芯片是一款具有边缘计算和推理能力的AI芯片，能实时检测通过摄像头拍摄的人脸头像并给出计算概率，可广泛应用于森林防火中的人脸识别与救援、心电图的实时监测、人工智能在人脸识别上的硬件解决方案等。

这也是我国本土企业在基于NOR闪存架构的存算一体AI芯片领域的又一次突破，实际上，在该领域，恒烁半导体并不是唯一一家，还有其它一些企业也在进行着基于NOR闪存架构的低功耗AI芯片的研究工作。那么，作为一种传统的、非前沿的存储技术，NOR闪存架构有怎样的特点和优势，能够使得这些企业对其投入资源和人力，进行相应的低功耗AI芯片和系统研发呢？

在谈基于NOR闪存架构AI芯片的特点和优势之前，先来看一下存算一体芯片的优势及其能够解决的主要问题。

目前来看，不论是PC还是超算，处理器和存储芯片都是分离的，这就是冯诺依曼50多年前确立的计算架构。随着技术的发展，存储计算分离的架构瓶颈越来越明显。

一般芯片的设计思路是增加大量的并行计算单元，比如上千个AI卷积单元，这样，需要调用的存储资源也在增大，然而，在传统的计算架构当中，存储一直是有限且稀缺的资源，随着运算单元的增加，每个单元能够使用的存储器的带宽和大小将逐渐减小，而随着人工智能时代的到来，这种矛盾显得愈加突出，特别是对于物联网来说，网络的每一层，现有权重和每个AI训练示例的元素都被加载到处理器的寄存器中，然后相乘，并将结果写回到存储器中。这样，性能瓶颈就不是在计算一侧了，而是处理器和存储器阵列之间的带宽。存储器和处理器之间的这种分离是冯·诺依曼架构的定义特征之一，并且存在于几乎所有现代计算系统中。

这种“存储墙”的高起正在阻碍着AI产业的发展，可以说，存储器是AI芯片发展的最大瓶颈。

在很多AI推理运算中，90%以上的运算资源都消耗在数据搬运的过程中。芯片内部到外部的带宽，以及片上缓存空间限制了运算的效率。因此，在业界和学术界，越来越多的人认为存算一体化是未来的趋势，可以很好地解决“存储墙”问题。

如果能够让计算和内存更紧密地结合在一起，甚至是在内存内进行计算，就可以大幅提升数据的传输效率，同时节省更多的电能，因为在内存和计算之间不再需要往返太多次数，一切处理过程都再同一芯片内完成了。

为了应对物联网以及存算一体的应用需求，各种新型的、传统的存储技术和器件纷纷登场，想在这些新兴应用方面尽量地施展出自己的才华。

过去50年中，SRAM、DRAM和Flash已经成为存储器的主力，这些存储结构在往更小的几何结构微缩的过程中都存在问题，很重要的原因在于它们都是平面结构，而新的存储技术，如基于电阻开关的存储技术是金属层结构，消除了许多制造问题。然而，由于DRAM和Flash技术已经非常成熟，成本又很低。所以，它们在存算一体方面依然有独到的优势，也正在被一些企业所采用

目前来看，新型的存储技术主要包括相变存储器（PCM）、铁电存储器（FeRAM）、磁阻RAM（MRAM）、电阻RAM（RRAM或 ReRAM）、自旋转移力矩RAM（STT－RAM）、导电桥RAM（CBRAM），以及氧化物电阻存储器（OxRAM）等。基于这些的存算一体研究或多或少地都在进行着，相应的成果也经常见诸于报端。以上这些都是新技术，目前来看，它们的主要问题就是成本，以及生态系统的完整度，还需要一些发展时间才能成气候。

而从存储与计算的结合方式来看，存算一体又可以分为两大类：一是在DRAM中植入逻辑计算单元，被称为内存内处理或者近数据计算，这种方式非常适合云端的大数据和神经网络训练等应用；二是存储和计算完全结合在一起，存储器件也即计算单元，如采用基于NOR闪存架构的存算一体AI芯片，其主要特点是能耗低、运算效率高、速度快且成本低，这种形式比较适合边缘侧的神经网络推理等应用。

基于NOR闪存架构的存算一体AI芯片，利用NOR Flash的模拟特性，可直接在存储单元内进行全精度矩阵卷积运算（乘加运算）。规避了数据在ALU和存储器之间来回传输的瓶颈，从而使功耗大幅降低、提高了运算效率。

其Flash存储单元可以存储神经网络的权重参数，同时还可以完成和此权重相关的乘加法运算，从而将乘加法运算和存储融合到了一个Flash单元里面。例如，100万个Flash单元可以存储100万个权重参数，同时还可以并行完成100万次乘加法运算。

在这样的芯片里面，深度学习网络可以被映射到多个Flash阵列，这些Flash阵列不仅可以存储数据，其深度学习网络同时还能完成AI推理，注意，这个过程是不需要额外逻辑计算电路的，一切处理都在这一块芯片内完成。相比于传统的冯诺依曼架构深度学习芯片，这种的运算效率非常高，而且成本低廉，因为省去了DRAM、SRAM以及片上并行计算单元，从而简化了系统设计。

目前来看，这种基于NOR闪存架构的存算一体AI芯片，其主要应用领域就是对成本和运算效率（特别是功耗）敏感的应用，如边缘侧的低功耗、低成本语音识别等。而随着人工智能和物联网的发展，它还可以拓展更多的应用场景。

无论是新型存储技术，还是以NOR闪存为代表的老牌技术，在发展存算一体AI芯片方面，都需要不断完善生态系统建设，才能使整个产业发展起来。

因此，除了存储和计算技术本身之外，行业相关的接口标准跟进特别重要，特别是对于以存储为基础的新型应用来说，更加重要。另外，由于芯片内部集中了越来越多的功能块，片内总线和片内网络系统成为了一个新的课题，目前，这方面的研究和新技术越来越受到业界的重视，新的技术和IP也陆续推出。