手把手从EasyDL模型训练到EdgeBoard推理

摘要：

EdgeBoard是百度打造的基于FPGA的嵌入式AI解决方案系列硬件；EasyDL是百度推出的一站式AI定制化训练和服务平台。本文详细介绍如何使用EasyDL进行模型训练，然后部署到EdgeBoard，缩短从模型训练到推理实现的路径，提高开发效率。

EdgeBoard是百度自主研发的AI软硬一体深度学习加速套件，能够提供强大的算力，并支持定制化模型，适配不同场景的终端设备，大幅提高设备端的AI推理能力，具有高性能、高通用、易集成等优势。EdgeBoard还可以无缝衔接百度大脑的开放能力，可以轻松将在EasyDL和AI Studio平台定制的AI模型完美适配到EdgeBoard上。本文会介绍如何将EasyDL训练的模型离线部署到EdgeBoard上，实现AI的终端应用。

EasyDL定制化训练和服务平台可以一站式定制AI模型，并且完全界面化操作，利用少量的数据就可以训练出一个高精度的AI模型。

图1. EasyDL界面

接下来我们准备以狗的分类作为实例来介绍从训练到推理部署，首先介绍使用EasyDL进行模型训练。

一． 选择训练平台

要完成狗的分类，需要使用图像分类模型进行训练，在EasyDL首页中点击开始训练，选择“经典版”训练平台，模型类型选择图像分类，如图2所示。

图2. 模型类型

二． 准备数据集              

下面是我们准备好的数据，共8分类，每个分类用50张左右的图片用来训练，剩下20张左右用来做推理测试。

图3. 8类狗的照片文件

图4. 狗的照片

三． 创建数据集

根据EasyDL训练模型的规则，首先我们创建数据集，将采集好的数据每个种类放到一个文件夹中，如图2所示，再压缩成一个zip文件，然后把数据集上传到EasyDL平台，如图5所示。

图5. 上传数据集到EasyDL平台

四． 创建模型

数据集建立完成后，创建模型，根据需要填写相应的信息，如图6所示。

图6. 创建模型

五． 训练模型

在训练模型页面中，应用类型选择“离线服务”，算法选择“高精度”和“高性能”都可以，添加数据集，开始训练，如图7所示。

图7. 训练模型

六． 发布模型

训练模型需要一定的时间，等模型训练完成之后，我们点击申请发布，跳转到发布模型页面，选择“软硬一体方案”的“EdgeBoard+专用SDK”，提交申请，如图8所示。

图8. 发布模型

五．下载SDK

审核成功后，点击“服务详情”，“下载SDK”，如图9所示。

图9. 下载SDK

至此，在EasyDL上的模型训练结束，接下来将转到EdgeBoard的推理实现上。

在图9中，我们会看到有“管理序列号”的按钮，如果购买了EdgeBoard，跳转页面中会有一个EdgeBoard专用的序列号，这是EasyDL模型在EdgeBoard上部署的通行证。

图10. EdgeBoard专用序列号

下面我们就开始把模型部署到EdgeBoard上，下图是EdgeBoard FZ9A系列硬件，EdgeBoard的技术文档可在百度大脑AI开放平台EdgeBoard FZ9A板块找到。

根据该技术文档，需要将EasyDL离线SDK通过FTP或者samba工具传到EdgeBoard系统中，然后将EdgeBoard专用序列号填写到离线SDK中。

图11. EdgeBoard上的文件

EdgeBoard内置Linux系统，我们将使用命令行的方式进行后面的部署操作。由于离线SDK在第一次使用时需要联网激活，因此将EdgeBoard接入路由器，连通外网。

图12. 测试网络连接

同时，将EdgeBoard的时间改成当前时间，否则离线SDK可能会激活失败，然后对离线SDK解压，进入到EasyDL文件夹，解压cpp文件夹中的tar包。

图13.修改本地时间

图14. 解压cpp文件中的tar包

根据官方文档，编辑cpp-->demo文件夹中的demo.cpp文件，将EdgeBoard专用序列号填入指定的位置处，如图15所示，改过之后，在demo文件夹中新建build文件夹，进行编译。

图15. 添加序列号

图16. 编译过程

编译完成后，开始进行模型推理。我们放置一张图片（如图17）到RES文件夹中，调用RES资源文件夹中的模型，以及测试图片的路径，在build下运行命令，如图18所示。

图17. 待测试照片

图18. 执行推理预测

从上面的打印信息中可以看到，EasyDL的模型在EdgeBoard上做出了完美的预测，corgi，分值p=0.999023，说明99%的概率是柯基，是不是很准。如果说这样看起来不直观，EasyDL的SDK还支持http服务的调用，下面来开启一下http服务，如图19所示。

图19. 开启http服务

开启http服务后，在浏览器中写入http://{EdgeBoard ip地址}:24401，比如EdgeBoard的ip是192.168.1.254，就写http://192.168.1.254:24401就出来如图18的显示界面。

图20. http服务显示界面

点击上传图片，选择测试集中的狗的图片，结果就立马出来了，置信度为1说明，百分之百就是可爱的比熊啦！

图21. 上传图片进行推理预测

至此，我们就完成了一个狗分类的模型训练和离线部署。

福利

据可靠小道消息：EdgeBoard正在打折中，历史最低价，降价1000元，有兴趣可以看看。