英特尔谈OpenVINO是如何助力边缘到云的深度学习全流程开发

日前，在2019英特尔人工智能与物联网生态合作伙伴峰会上，英特尔视频业务市场拓展总监Thomas Neubert详细介绍了目前OpenVINO的部署情况，Thomas首先表示，OpenVINO的三大特色包括：免费开源、迅速地产品迭代以及跨平台的扩展性三大方面，这也是英特尔对于OpenVINO发展蓝图的一贯承诺。

OpenVINO™(Open Visual Inference & Neural Network Optimization,开放视觉推理及神经网络优化)软件平台是一个快速开发高性能计算机视觉和深度学习视觉应用的工具包。其中包括英特尔®深度学习部署工具包，具有模型优化器和推理引擎，以及面向OpenCV*和OpenVx*的优化计算机视觉库。OpenVINO™工具包可通过基于英特尔®架构的处理器(CPU)及核显(Integrated GPU)和深度学习加速器(FPGA、Movidius™ VPU)的深度学习加速芯片，增强视觉系统功能和性能。

Thomas说道，面对着带宽、存储、准确率和延迟等方面的要求，边缘计算变得越来越重要，尤其是在计算机视觉领域，由于数据流巨大，且对实时性要求高，所以视频领域对于边缘计算的需求尤为突出。

OpenVINO的不同之处

Thomas列举了OpenVINO的数个特色，并强调OpenVINO和其他市场已有工具套件是完全不同的。其中包括：OpenVINO工具套件完全免费，并且支持异构计算，同时与任何英特尔架构相融合和匹配，只需要写一次代码，就可以部署在英特尔的任何一个架构上，其中包括集成显卡的CPU、Movidius VPU以及FPGA。

OpenVINO不止套件免费之外，还实现了开源化，符合Apache 2.0规范，也就是说所有的模型软件和信息不止是免费的，还可以根据需求来进行调整开发。

目前英特尔提供了369个人工智能模型，并且都进行了实测，确保产品可用且好用。尽管是巨大的工作量，但却可以省去客户的验证时间，提高应用端的目前英特尔已经认证了40多个培训和预培训能够用上OpenVINO的模型，也就是说我们的每一个新的OpenVINO版本都会针对370个左右模型来进行测试和验证，这是巨大的工作量，但这样工作是值得的，这样能够确保OpenVINO能够支持各种深度学习推理的模型。

Movidius是边缘人工智能性价比最高选择

Thomas重点强调了Movidius VPU，这家刚刚被英特尔收购不久的公司，已经与英特尔进行了深层次融合。在边缘计算中，尤其是低功耗、低时延、高性能的智能摄像头，或者微型服务器，人工智能设备中，都可以部署Movidius超高性价比的产品。“这样就能够把深度学习推理能力以一个很微小的尺寸部署到边缘设备当中，比如中小型企业以及零售业、食品行业、餐饮行业来说，他们并不具备高带宽的网络配备，所以如果部署了Movidius，可以实现低时延、低带宽的轻量化边缘部署。”Thomas说道。

Thomas指出，正是由于OpenVINO对于英特尔全线产品线的支持，可以极大简化开发流程，甚至是小到优盘大小的Movidius Myriad X神经计算棒，插到PC上，就可以实现OpenVINO的开发工作，可以利用它设计一些Demo展示，原型开发或者是人工智能练习，等熟悉之后，可以无缝导入更高性能的诸如酷睿、至强甚至FPGA等产品上。

“有些行业友商会提供一些号称业界顶级的处理器指标，但实际应用当中，原始性能并不是最重要的，一定要在终端上进行验证。而英特尔的产品已经可以确保了设备性能的优越性，而且是综合功耗、带宽与内存等多角度进行测评。”Thomas强调道，“现在做边缘产品任何一家其他公司，都没有办法把低功耗，低时延和高性能有机的结合在一起。”

OpenVINO一年升级四次！

Thomas强调，OpenVINO保证一年四个版本，不断提升新的能力。

2019版的OpenVINO相比2018版，尽管底层硬件平台没变，但是性能有了两倍以上的提升，这是其他公司所不具备的，而迁移到下一代至强CPU上，性能更是有28倍的提升，这样就使客户在软件投入还是硬件投入都有了保证，体现出极大的开发灵活性和成本优越性。

具体应用指标来看，采用最新的OpenVINO可以使视频处理性能从每秒250帧提升到每秒2600帧。“一定要使用最新版本的OpenVINO，否则你会白白错失OpenVINO免费带来的性能提升。”Thomas一再强调道。

OpenVINO与英特尔强大的生态系统

Thomas介绍道，OpenVINO的成功要归功于光大的开发者，为了让更多开发者接触到OpenVINO，英特尔开发了基于OpenVINO的演示板卡，并在去年一年在全球组织了100余场培训，同时也将培训内容及Demo源码发布在了网上。

英特尔也为OpenVINO开发了免费的云环境，可直接通过云环境测试模型，并且这些云都是客户私有的，任何第三方都无权获取内容，保证了用户商业机密。

英特尔AI:In Production计划

总的说来，英特尔AI: In Production计划，就是让开发者更容易把设计的原型推向市场。当开发者设计了原型之后，下一步便是投入生产，这对于小型企业来说在技术和成本上都具有巨大的挑战。为了解决这一问题，英特尔选择了业内领先的工业与嵌入式计算平台制造商合作，帮助开发者快速将人工智能技术集成到自己的产品中。

通过AI：In Production计划，让客户一站式完成从神经计算棒开始尝试到OpenVINO的深入开发，再到各平台的迁移以及最终的量产部署，都可以通过英特尔的生态系统迅速达成。

“英特尔投入大量的努力，帮助合作伙伴建立非常强大的、相互互利的生态系统，通过全球技能培训、AI DevCloud开发云，以及英特尔AI:In Production计划，可以结合所有的OEM和ODM资源，共建边缘人工智能市场的快速发展。”Thomas总结道。