神经网络芯片能耗高，电阻性RAM来帮忙

一款理想的神经网络芯片是什么样的？按照工程师的说法，最重要的是在芯片本身上拥有大量的存储空间。这是因为数据传输（从主内存到处理器芯片）通常消耗最多的能量，并且会产生大部分的系统滞后，即使与AI计算本身相比也是如此。 

有鉴于此，Cerebras Systems通过制造一台几乎完全由一个包含18 GB内存的大型芯片组成的计算机，解决了这些问题（统称为内存墙）。

但是法国，硅谷和新加坡的研究人员提出了另一种方法。 

一家称为Illusion的公司使用在硅逻辑之上构建的3D堆栈中使用由电阻性RAM存储器构建的处理器来执行相关操作，因此花费很少的精力或时间来获取数据。

仅凭其本身，还不够，因为神经网络的规模越来越大，无法容纳在一个芯片中。因此，该方案还需要多个此类混合处理器以及一种算法，该算法既可以智能地对处理器之间的网络进行分割，还可以知道何时在闲置时迅速关闭处理器。

在测试中，八芯片版本的Illusion的能耗和延迟约为“理想”处理器的3-4％，该处理器在一块芯片上具有所有需要的内存和处理能力。

该研究团队（其中包括来自法国CEA-Leti研究实验室，Facebook，新加坡南洋理工大学，圣何塞州立大学和斯坦福大学的贡献）受到了神经网络规模不断扩大这一事实的推动。

负责这项研究的斯坦福大学电气工程和计算机科学教授Subhasish Mitra说：“从某种意义上讲，这种理想的芯片永远无法使用，因为它是一个不断发展的目标。” 他说：“神经网络变得越来越快，其速度超过了摩尔定律。”

因此，他们设法设计一种系统，使它实际上是由多个混合处理器组成，它也会产生一个带有大量片上存储器的单个处理器的错觉（illusion），因此他们将其命名为为项目名）。这样，Illusin就可以轻松扩展以适应不断增长的神经网络。

Mishra解释说，这样的系统需要做到三件事：

首先是芯片上的大量内存，可以快速访问而几乎不消耗能量。这就是集成3D的RRAM发挥功效的地方。他们选择了RRAM，“因为它是密集的，3D集成的，并且可以在掉电状态下快速访问，并且因为它在断电时不会丢失数据， ” 斯坦福大学电气工程学教授，该项目的合作者Philip Wong说。

但是RRAM确实有一个缺点。像Flash存储器一样，它被覆盖过多次后就会损耗。在Flash中，软件会跟踪每个存储单元块发生了多少次覆盖，并试图保持该数量，即使在芯片中的所有单元中也是如此。斯坦福大学理论计算机科学家 Mary Wootters 领导团队为RRAM发明了类似的东西。结果称为Distributed Endurer，这增加了确保写入时的磨损甚至跨越多个芯片的负担。

即使使用Endurer混合RRAM和处理器芯片，但强大的神经网络（例如当今使用的自然语言处理器）仍然太大，让我们无法将其容纳在一个芯片中。然而使用多个混合芯片意味着在它们之间传递消息，消耗能量并浪费时间。

Illusion团队的解决方案是其技术的第二部分，其解决方案是以使消息传递最小化的方式来切割神经网络。神经网络本质上是一组计算发生的节点以及连接它们的边。每个网络将具有某些节点或节点的整个层，它们具有大量的连接。

但是网络中也将存在阻塞点，即在节点之间必须传递少量消息的地方。在这些阻塞点上划分大型神经网络，并将每个部分映射到单独的芯片上，可确保从一个芯片到另一个芯片的数据传输量最少。Mitra说，Illusion映射算法“自动识别切割神经网络的理想位置，以最小化这些消息。”

但是像这样切割的东西有其自身的后果。

不可避免地，一种芯片会先于另一种芯片来完成其业务，这会拖延系统并浪费功耗。其他尝试运行超大型神经网络的多芯片系统，则以使所有芯片持续忙碌的方式来划分网络，但这是以在它们之间传输更多数据为代价的。

在第三项创新中，Illusion团队决定设计混合处理器及其控制算法，以便可以快速关闭和打开芯片。因此，当芯片等待工作时，它不会消耗任何功耗。

Mishra说，CEA-Leti的3D RRAM技术是制造3D SoC的关键，该SoC可以在几个时钟周期内完全关闭并重新启动而不会丢失数据。

该团队构建了八芯片版本的Illusion，并在三个深度神经网络上进行了测试。这些网络远不及当前正在计算机系统运行的网络的规模，因为每个Illusion原型仅为神经网络数据保留了4 KB的RRAM。他们测试过的“理想芯片”实际上是一个模仿了完整神经网络执行的illusion 芯片。

8片幻觉系统能够在理想芯片能耗的3.5％和2.5％的执行时间内运行神经网络。Mitra指出，该系统可以很好地扩展。有4 GB RRAM的64芯片illusion 方案的仿真也接近理想。

“我们已经展开了新的更强大的原型设计”，斯坦福大学的研究生Robert Radway说。他们也将其发表在本周的自然电子上。与原型相比，下一代芯片将具有更大数量级的内存和计算能力。虽然第一代经过了推理的测试，但下一代将用于训练它们，这是一项艰巨的任务。

“总的来说，我们认为illusion 对未来技术具有深远的影响，” Radway说。“它为技术创新开辟了广阔的设计空间，并为未来的系统创造了新的扩展途径。”