中星微张亦农：集成SVAC 2.0编码和神经网络的机器视觉处理器

近日，在2018松山湖﹒中国IC创新高峰论坛中，来自北京中星微人工智能芯片技术有限公司首席技术官张亦农，介绍了公司最新一颗VC0718P，集成国标SVAC2.0编码与NPU(神经网络处理器)的机器视觉SoC，这也是业界首颗集成国标与神经网络的机器视觉行业专用处理器，算力达1T OPs，可在1080P@30fps输出实现人脸识别和物体分类，用于包括智能交通、公共安全、能源安全、生态保护、医疗检测、智能家居、无人系统、高铁运维及航天遥感等丰富场景中。

张亦农介绍道，中星微的发展伴随着市场发展不断调整，2008年为了更好地服务政府市场，剥离出中星技术，和公安部一所共同推进SVAC国家标准的实现，为此也获得了国家科技进步一等奖。由于AI近期比较火爆，因此2017年中星微也将人工智能芯片这一产业剥离，成立了专门的芯片设计公司——中星微人工智能芯片技术有限公司，主营业务就是设计深度学习芯片。

          中星微人工智能芯片技术有限公司首席技术官张亦农

前端人工智能需求在安防市场大爆发

张亦农认为，一般产业的发展阶段都是由技术驱动开始，然后到应用驱动，最终从商业模式驱动实现量产成功。目前深度学习人工智能芯片正处在应用驱动过程中，无论从行业投资还是应用成果来讲，都呈现井喷趋势，而随着行业的不断落地，未来AI将会和PC互联网一样无所不在，将涵盖从云端到前段，从Business到Customer，从新零售到运营商，届时，商业模式的竞争将会是最主要的。

张亦农表示，目前大部分人工智能都落在了云端，对于前端来讲只负责了采集工作，这是远远不够的。目前人工智能前端落地需求趋势明显，而最重要的需求当属安防监控领域。

张亦农认为，安防监控技术从最开始的模拟演化到数字技术、网络技术之后，现在对于智能监控的需求则越来越多，通过在编码中引入人工智能、深度学习等技术，可以使编码率进一步压缩，节约带宽及存储空间的同时，加快识别效果和成功率。他说道：“SVAC编码标准由于通过音视频数据与专用信息通道相结合的方式，实现了统一的信息标准管理。”

中星微人工智能芯片历程

中星微安防监控智能芯片从2014年就进入了定义及研发阶段，2016年6月隆重发布全球首款嵌入式神经网络处理器。当时人工智能市场还不被人熟知，芯片算力也比较低，只有76G OPs，满足SVAC 1.0标准。2018年，中星微推出了第二代嵌入式神经处理器VC0718P，星光智能二号。

张亦农透露，公司现在正在大力开发第三代人工智能处理器，预计2019年发布，预计将达到4T OPs的性能，同时编码也将升级支持SVAC 2.0 High Profile。

张亦农强调，中星微所提供的是一站式解决方案，从算法、工具链再到模组、RDK，可大幅缩减人工智能学习时间和工程师的开发周期。

由于中星微在市场中的优异表现，其嵌入式神经网络处理器SoC芯片的研发与应用荣获2017年度北京市科学技术奖，此外在国际人工智能算法大赛PASCAL VOC Challenge目标检测一步法中也荣获了第一名。

CPU、GPU or ASIC

人工智能到底需要哪类处理器？是CPU、GPU还是ASIC呢？张亦农给出了自己的答案。

张亦农表示，如果人工智能芯片设计理念、算法都足够成熟，那么如果追求完美的功耗、算力、成本等因素，进入ASIC时代是迟早的事。他用挖矿芯片举例到，该市场只用了两年时间就走完了CPU-GPU-FPGA-ASIC的演进流程，工艺则是从2013年的130nm进展到如今的7nm，“只要有剧烈需求就会有快速转换。”张亦农说道。

而对于引入异构的协处理器来说，由于不需要介入行业应用，开发周期可以缩短，但是这需要两套内存，对于成本、功耗、面积以及大规模部署都带来了麻烦，所以中星微一开始就采用了单芯片SoC方案。

张亦农强调道，由于采用ASIC方案，单纯追求TOPs算力意义就不大了，需要“量体裁衣”，需要结合其他性能指标需求以及成本等多方面考量。“对于前端处理器来说，并不是性能越高越好，包括利用率、灵活性、IP及功耗等都是考虑因素。”张亦农说道。

揭开VC0718P人工智能处理器面纱

VC0718P处理器架构框图和具体指标

张亦农表示，VC0718P处理器内含视频编码、智能分析、图像增强以及密码引擎四大方面，此外拥有丰富的接口资源和高速总线。

在视频编码上，支持最新的SVAC 2.0标准。

NPU方面则采用了中星微第二代NPU架构，完全自主设计，采用了分布式结构和并行计算方式，实现了更为灵活的硬件方案，提高了运算单元利用率，通过定义一组DSP单元为尚未定型的神经网络进行储备，此外还采用了独特的网络精简技术，大幅降低数据吞吐量。

在ISP方面，提供了包括3D降噪、宽动态成像、鱼眼矫正、360全景和CFA插值等丰富算法，力求更出色的图像质量。

而在软件层面上，中星微的产品历代都具有良好的继承性，同时支持Caffe、Tensor Flow等通用神经网络平台。

另外，在人工智能训练上，中星微支持前端优化训练，包括剪枝、合并层以及量化等，可以得到优化后的定点化模型，从而实现最有效率的解决方案。

具体应用场景举例

张亦农以具体刑侦破案为例，首先是高清视频的采集和编码，之后把每个智能化目标识别对象进行结构化描述，打上关联的视频和标签，这些标签一般都是通过人工抽取信息，将深度学习的结构化信息做成标签，之后在公安平台上保存录像和索引信息。这样在真正接到报案后，就不需要查看真正图像，只需要使用结构化搜索，定位视频位置，然后就可以获取现场图像。通过这一方式，将极大简化图侦时间，加速安防效率，让人工智能真正落地。