亿智电子助力深度学习模型在ASIC上部署

集微网消息，智能网络摄像机(AI IPC)拥有广阔的市场空间，2020年在新冠疫情、国际贸易政策的影响下，IPC SoC芯片的产能缺口巨大。近日，亿智电子将深度学习模型在ASIC人工智能芯片上量化部署。

随着深度学习在近年来的逐步升温，智能边缘计算应用需求增大，ASIC人工智能芯片应运而生。ASIC人工智能芯片通过加速运算使深度学习可以加速运行，同时可以定制配置运行在低功耗计算资源较少的终端侧，但因此能耗要求也较高，传统的深度学习模型通常需要量化到精度较低的数据类型才可以达到落地的指标要求。由于深度学习ASIC人工智能芯片通常计算资源较少，尤其位宽、中间值位宽与现在的通用芯片有较大区别，导致传统的深度学习模型通常不能直接部署到ASIC人工智能芯片上。

为此，亿智电子于2020年7月9日申请了一项名为“模型部署方法、装置、系统及存储介质”的发明专利（申请号: 202010656190.8）,申请人为珠海亿智电子科技有限公司。

图1 模型部署方法的实现流程图

图1为模型部署方法的实现流程图，主要包括四个步骤。首先对接收到的预训练模型执行第一格式转换操作（S101）。预训练模型中通常包括深度学习模型的结构定义和参数，不同的深度学习框架产生的预训练模型在硬盘中的存储格式不同，且不能互相读取，因此，在接收到预训练模型时，需要对其进行第一格式转换，以便后续的量化能够在统一的数据存储格式下进行。第一格式转换操作将预训练模型由第一深度学习框架下的存储格式转换到预定存储格式，从而通过存储格式与开放神经网络交换格式的转换，实现对不同深度学习框架预训练模型的处理，降低了为ASIC人工智能芯片开发模型的不同团队的部署压力。

其次根据接收到的量化位宽对执行第一格式转换操作后的预训练模型进行全整型量化，得到量化参数和量化后的模型参数（S102）。虽然ASIC人工智能芯片功耗低、峰值计算性能较高，但通常内部具备较小的计算位宽，不同芯片的位宽略有不同，因此，量化位宽需要根据ASIC人工智能芯片的位宽确定。

然后对量化参数和量化后的模型参数执行第二格式转换操作并输出，得到量化后的模型（S103）。第二格式转换操作将量化参数和量化后的模型参数由预定存储格式转换到第二深度学习框架下的存储格式，由于不同的ASIC人工智能芯片支持的深度学习模型可能不同，因此执行第二格式转换操作并输出，得到任一学习框架下的量化模型，从而提高了系统的泛化能力。

最后将量化后的模型部署到ASIC人工智能芯片上（S104）。经第二格式转换后输出的模型可直接部署到ASIC人工智能芯片上，在这之前，可以通过预先准备好的测试数据集对输出的模型进行测试，根据测试结果，当该模型的精度损失低于预设的阈值时将该模型部署到ASIC人工智能芯片上。

简而言之，亿智电子的模型部署专利，通过对量化参数以及格式转换配置，能够解决现有技术中的深度学习模型无法直接部署到ASIC人工智能芯片上的问题。

亿智电子是以AI机器视觉算法和SoC芯片设计为核心的系统方案供应商，志在成为视像安防、汽车电子、智能硬件领域智能化（AI）赋能的行业领导者。“亿”起赢未来，“智”能连万物，亿智将继续引领未来科技生活。