寒武纪AI芯片 混合的拼接算子

“寒武纪”是中国科学院计算技术研究所发布的全球首个能够“深度学习”的“神经网络”处理器芯片。它是给电脑创造出模仿人类大脑多层大规模人工神经网络的芯片。在深度学习处理器的运行当中，计算系统的运算能力提升是决定深度学习处理效率的关键。

寒武纪自2016年3月设立以来,一直专注于各类型人工智能芯片产品的开发业务且处于快速发展中,且有着非常明确的，在智能芯片领域的定位——通用型智能芯片。通用型智能芯片具备灵活的指令集和精巧的处理器架构,技术壁垒高但应用面广,可覆盖人工智能领域高度多样化的应用场景。

目前，人工智能非常依赖于神经网络算法，这是最近非常流行的一种机器学习算法，在各种领域中都取得了非常好的效果，比如图像识别，语音识别，自然语言处理等。随着神经网络算法的发展，算法的复杂度也越来越高，为了提高识别度，模型的规模也在逐渐增大。

用GPU和CPU处理起这些大规模的模型，要花费大量的计算时间，并且耗电量很大。在这种情况下，新的人工智能处理器被提出以提高神经网络模型的运算速度，节约运算时间，降低功耗。然而，当前对新的人工智能处理器的算法支持却远远不够。

为此，寒武纪在18年12月14日申请了一项名为“运算方法、装置及相关产品”的发明专利（申请号：201811534068.2），申请人为北京中科寒武纪科技有限公司。

这是一种通用架构下的AI芯片，根据目前该专利公开的资料，让我们一起来看看这项人工智能芯片及其运算方法吧。

如上图，为该专利中发明的运算方法的流程图，首先获取人工智能算子库中的复制算子和乘法算子。人工智能算子库中包含多种基础算子，例如卷积算子、全连接算子、池化算子等，对应着神经网络算法中的各种基础组件。

该专利中的复制算子用来将输入数进行复制从而获得复制输入数据，乘法算子用于对输入数据进行乘法运算。复制算子在运行时，可以对输入的两个输入数据进行乘法运算，从而获得乘法运算的结果，这样可以实现输入数据的复制，从而满足乘法算子的运算条件，乘法算子在获得两个输入数据时，可以对二者进行乘法运算，从而实现输入数据的平方运算。

接着，将复制算子与乘法算子进行拼接从而得到拼接算子，这种拼接算子可以在人工智能处理器中对输入数据执行相应的拼接运算操作，以执行人工智能运算。并且，随着人工智能的发展，这种拼接算子还有好处就是可以支持新的人工智能处理器，可以提高新的人工智能处理器在进行神经网络模型的运算时的运算效率。

上图为软件调用层级关系示意图，软件调用层级关系从上到下依次包括：应用程序层、框架层、算子库层、驱动层、芯片层。其中，通过运算方法获得的拼接算子，可以应用于应用程序层，人工智能算子库可以在算子库层中，人工智能处理器位于芯片层中，驱动层包括用于驱动芯片层工作的驱动程序。

这种软件调用层级关系的优势在于，利用算子库层中的变形算子及基础算子形成拼接算子后，可以直接被应用程序层调用以应用于应用程序层中，从而在人工智能运算中实现对应的功能，避免了在应用程序层要进行人工智能运算时每一次都需要从算子库层中调取变形算子及基础算子的情况，从而改善了人工智能运算的执行过程。

最后，我们来看看这种人工智能处理装置的框图，其中包括主处理器、存储装置、人工智能处理器以及位于主处理器和处理器之间的通用互联接口，互联接口用于在主处理器和人工智能处理器之间传输数据和控制指令。

人工智能处理器从主处理器中获取所需要处理的输入数据，并将其写入人工只能处理装置上的存储装置中。而除了需要处理的数外，还可以从主处理器中获取控制指令，以及从人工智能处理器的存储模块中读取数据并传输给其他处理装置。

以上就是寒武纪发明的AI芯片相关技术，该技术引入了人工智能处理库中的常用算子，尤其是由复制算子和乘法算子组合而成的拼接算子，不仅可以支持新的人工智能处理器，而且可以提高神经网络模型的运算效率，并且可以有效的节省开发成本。