国科微杨应麟：基于低延迟NVMe系统的AI应用

集微网消息，7月20-21日，2018全球存储半导体大会暨全球闪存技术峰会（简称“GSS大会”）在武汉光谷拉开帷幕，大会以“构建闪存新生态”为主题，针对全球闪存和存储半导体的产业新生态、行业新热点、企业新发展，进行全面分析与解读。国科微美国研究所总经理杨应麟发表了题为《应用于AI上的低延迟NVMe系统》的主题演讲。

AI当前已经在大多数应用场景有用到，如股市，癌症治疗，自动驾驶，安防等领域。AI应用通过大量数据训练，特征识别，来达到对非常态情况的捕捉，进而预测、触发或激活相应行为或动作，除此之外，还有如陪同下棋的阿尔法狗机器人这类服务性AI等等。

AI的训练需要基于一个系统，这个系统负责将各种数据进行积累和存储，包括来自传感器和摄像头的数据，业务过程中产生的数据等。这些数据来了之后，我们需要对数据进行分类处理，如噪声的过滤，数据格式处理或用于机器学习等，或机器学习本身也是为了后续数据的自动分类处理进行服务训练的。

在利用数据进行学习的过程当中，我们通常需要一个模型，而这个模型通常会在不同的候选模型中进行选择，然后不停的根据结果和预期的吻合度进行调整，最终找到最好的学习模型范本。整个过程如下图所示：

这个模型的选择本身也是训练的一部分，模型选择过后，就是不断的反复调整模型参数和权重，最终达到满意的效果。在这个过程当中，需要大量的数据输入来对AI进行训练。而这些数据，通常是基于业务过程中、或实际运行过程中产生的各种数据，这些数据一方面需要快速处理，另一方面可能需要进行持久化存储，作为后续AI训练使用的数据。

数据和学习，他们之间如何相互影响和联系呢？

我们来看看数据中心当前在AI这块的实际处理方式和应用。首先，AI的深度学习其实是一个计算过程，通过前向计算和反向传播，不断调整参数，来提取最优特征，以达到预测的目的。其次，学习过程中所需的数据来自各个存储设备，并且学习过程当中还会产生新的数据。另外，机器学习中的“深层次”来源于深层学习模式，通常是神经网络。卷积神经网络（CNN）可以由许多层次的模型组成，其中每层从前一层获取输入并处理它，并以菊花链方式输出到下一层。通常的机器学习大概会用到50个层级，我们通过构建一个有序、分级、分层的模型，找到一个最好的算法来使用。

在整个过程当中，计算处理和存储之间会反复交换数据，且交换的数据量巨大，对时延的要求也非常高，且交换的数据到计算处理中心本身也需要大的缓存来进行存储。如下图所示，负责AI训练的这部分计算处理工作由虚拟机来完成，数据的存取服务由基于NVMe协议的存储设备来提供。

这样的AI应用方式有两个特点，一是需要高吞吐量的存储性能，二是学习过程中需要使用大量缓存。这两点都极大消耗了现有数据中心的存储、网络、计算资源。

有没有一种好的方式，我们既可以做到AI深度学习的目的，又不需要耗费如此巨大的数据中心资源？

让计算贴近存储，将贴近存储的分层学习做到存储内部，甚至将整个学习做到存储内部，将极大减少PCIe流量以及主机侧对数据缓存的消耗，有效解决以上问题。

为更好的将计算融合到存储，我们尝试将深度学习的分层按虚拟机的计算处理融合到存储内部，这里可以基于NVMe的虚拟化技术。同时NVMe本身的扁平化IO协议栈也能极大减少数据存取的时延，有效提升虚拟机侧的学习效率。

同时，一旦计算融合到存储，随着存储能力的提升，机器学习的效率本身也是成线性增加的，这得力于存储本身的性能提升。甚至还可能随着NVMe over RDMA的应用，我们可能还能够找出更有效、更快速的深度学习算法和模型，甚至构建出一个基于存储网络模型的深度学习网络。

当AI能力提升，我们能够处理和应用的复杂环境也就更为广泛，不用再担心上千万级的参数在机器学习过程中的不断调整，不用担心各种终端设备源源不断采集过来的海量原生态数据，我们可能能够更容易发现和总结各种数据规律。这种应用在现实中的意义也是巨大的，假如我们将每年发现和诊断的各种病例进行一个汇集，进行数据分析，通过AI来判断并预警相关疾病，我们可能能够在疾病到来之前就找到相关解决办法，其社会价值也是显而易见的。