嵌入式系统让AI+IoT成为可能，专家们如何解读AIoT？

在半导体技术进步与AI朝专用化发展两大因素的加持下，人工智能得以与物联网中各种嵌入式系统(Embedded System)结合，形成AIoT(AI+IoT)。 展望未来AI的发展可以透过很简单的接口或方式完成，比如功能的新增只要透过简单的拖拉就可以，而且AI的发展应该不是要取代人类而是协助人类。

物联网(IoT)结合人工智能(AI)是今年产业界发展的重头戏。 随着半导体业者大举投入，市面上出现不少专为人工智能所设计的芯片，像是英特尔的Intel Xeon Phi、NVIDIA的Tesla P100 GPU，而许多专为嵌入式应用设计的芯片如现场可编程门阵列(FPGA)，也开始对AI提供更广泛的支持。 另一方面，传统AI研究目的是为了打造出拥有全方位能力，接近人类的AI，但最新的发展趋势已经不再追求这么高的目标，而是锁定特定领域，打造专用的人工智能系统。 也由于需求明确，让系统得以变得非常轻量化，不再非得仰赖云端数据中心才能执行。

在半导体技术进步与AI朝专用化发展两大因素的加持下，人工智能得以与物联网中各种嵌入式系统(Embedded System)结合，形成AIoT(AI+IoT)。 目前业界所称的边缘运算(Edge Computing)，正是AIoT的发展雏形。 嵌入式物联网终端设备升级为AIoT智能机器，眼看将成为挡不住的新浪潮。 本活动邀集人工智能相关软硬件解决方案供货商现身说法，分享AI关键技术及嵌入式AI设计要点及应用趋势，期协助物联网应用开发商，顺利搭上这波AIoT商机列车。

人工智能2010年打通任督二脉
人工智能(Artificial Intelligence, AI)发展历史已久，最早从1950年代就开始，不过机器运算一直找不出一个有效率的方式来模仿人类神经元的运作，一直到2010年机器视觉竞赛ImageNet，还有2016年AlphaGo挑战围棋棋王，并大获全胜以后，人工智能一夕之间又爆红。 关于AI的发展方向，台湾微软资深平台架构技术经理吴宏彬(图1)表示，一般分为全能型人工智能(General AI)与专用型人工智能(Narrow AI)，近年发展比较好的技术是Narrow AI，典型的例子就是AlphaGo，他是一种特化的引擎，可以在特殊应用或功能上做得很好，像是翻译、自动驾驶、影像辨识等。
 

图1 台湾微软资深平台架构技术经理吴宏彬

计算机影像辨识的表现，2015年微软的ResNet错误率降低到3.5%，正式超越人类的5.1%。

 
AI的发展有三大重点：算法(Algorithms)、大数据(Big Data)、运算能力(Compute Power)；算法从过去的神经网络开始，一直到近年的深度学习(Deep Learning)，其实也是一种神经网络技术，从2012年ImageNet竞赛，冠军团队AlexNet采用8层的深度学习架构，震撼业界， 到了2014年冠军团队VGG采用19层的深度学习架构，2015年微软的ResNet采用152层的架构夺得冠军，让多层架构的深度学习变成夺冠的保证，也引起一阵风潮。

更重要的是，吴宏彬强调，计算机透过影像辨识在物体检测的表现上，2015年的微软ResNet错误率降低到3.5%，正式超越人类的5.1%。 在数据库部分，巨量数据/大数据(Big Data)也已经谈论多年，但是如何将数据结构化，进行良好的分类与标注，搭配搜索引擎与算法，让系统可以快速找到答案则是数据结构的重点。 在运算能力方面，2012年辨识一只猫需要16000颗传统CPU的运算能力才能达成，但类似的工作，采用绘图芯片GPU大概只需要2颗。

以深度学习平台来说，程序语言非常多，吴宏彬说明，比较重要的开发工具包括Deeplearning4j、Gensim、Keras.、CNTK、MXNet、OpenNN、PaddlePaddle、TensorFlow、Theano.、Torch、Caffe、DIANNE等。 而整个AI的架构除了开发工具还包括了底层的硬件，GPU/CPU/FPGA等，往上就是模式层(Model)与最上层的应用。

FPGA助嵌入式视觉一臂之力
相较于目前做AI运算最热门的GPU，可编程逻辑组件FPGA也透过其先天的运算能力优势，发展嵌入式视觉(Embedded Vision)，安驰科技技术应用工程部经理吴文忠(图2)指出，嵌入式视觉属于计算机视觉(Computer Vision)的一种，是使用数字讯号来处理图片或讯息并加入AI算法，在许多新兴的应用领域， 简单的例子就是将嵌入式视觉加上Sensor，并搭配特定的AI与数据库，应用在汽车驾驶上就变成先进驾驶辅助系统(ADAS)、用在监视系统上就可以做人脸辨识，也可以导入AR/VR系统等，应用领域非常广泛。

图2 安驰科技技术应用工程部经理吴文忠

嵌入式视觉属于计算机视觉的一种，是使用数字讯号来处理图片或讯息并加入AI算法。
 
由于FPGA近年走向省电与小型化，所以在嵌入式视觉的应用上，是以边缘装置(Edge Device)为主，主要功能包括：对象辨识、影像侦测、光流处理等将前端的讯息辨识出来后，再送到后端给主要的CPU进行决策判断。 相较于目前市面上的类似产品，加入FPGA的重点就是能为产品进行差异化，提供更多的功能与更准确的侦测。

在达成人工智能的各项升级之前，有三个重点：智能与直觉的响应、弹性升级至最新的算法与传感器、常时链接其他机器与云端。 而深度学习则是透过训练模式，倒入一堆欲分析的数据，算法就会透过深度学习引擎推论(Inference)出一个最符合的结果，FPGA运算出来的正确性与采用不同硬件或深度学习网络技术差距不大。

善用网络开放AI模型进行加值
AI人工智能这两年发展大跳跃，许多厂商都对其应用与商机很有兴趣，但却面临如何导入与切入方向的问题。 台湾厂商许多规模不如欧美大厂，要投资算法、建立数据库进行大量的分析，都有相当的难度。 以脸部辨识来说，台湾微软技术传教士上官林杰(图3)说明，该公司已经将许多基础的应用建置完成，如性别、年龄，很多都是公开的平台，国内厂商只要思考自己的技术与产品如何结合？ 再将之本土化，并跟自己的应用结合，称为是民主化人工智能(Democratizing AI)概念。

图3 台湾微软技术传教士上官林杰

微软已经将许多基础的应用建置完成，国内厂商可以踩在巨人的肩膀上发挥自身的应用与创意。
 
部分已经建立好的AI模型，如果是以辅助或说明的角度来应用，上官林杰建议，国内厂商可以踩在巨人的肩膀上发展，最典型的例子就是Google，其地图/定位、翻译、搜寻等功能未来都会加入更多人工智能，台湾厂商不用局限于本身的专长，可以适时延伸自己的技术/产品，善用现在网络上许多已经公开的AI模型，再进行加值与优化， 特别是加强自身的创意与业务模式，也有机会在市场上开拓自己的空间。

AI应用能力才是成功的关键
人工智能AI对于我们的生活、产业发展预期在未来几十年中，将带来深远的影响，立达软件科技创办人李明达(图3)认为，过去嵌入式物联网产业的运作模式是透过嵌入式装置收集数据、并以物联网传输数据，再利用云端人工智能分析大数据。 未来加入AI以后，嵌入式物联网运作模式会转变，装置运算能力提升、运算由云端移至雾端，运算架构变成CPU+GPU或者CPU+USB FPGA，并由多台嵌入式计算机配合FPGA以节省能源。

一般企业要导入AI，目的不外乎降低成本与提高质量，李明达表示，降低成本的做法就是减少人工，比如许多基层人力工作内容重复性非常高，像是资深的目检员就很难培养，而且这类工作出错率高，AI担任这类工作非常适合。 另外，由于机器没有疲劳的情况，可以有效提高良率，避免大规模不良品发生。 不过，在工具越来越成熟的情况下，导入人工智能机器人已经是资本竞争。

图4 立达软件科技创办人李明达

过去嵌入式物联网的运作是透过嵌入式装置收集数据、并以物联网传输数据，再利用云端分析大数据。
 
在实际应用案例上，李明达也说明，该公司推出一套人工智能图控软件，标榜不用写程序也能做人工智能，主要功能包括：影像分析、语音分析、人工智能、运动控制、I/O控制等，透过DLL Plug-in可以支持不同的硬件装置。 展望未来希望AI的发展可以透过简单的接口或方式完成，比如功能的新增只要透过拖拉就可以，而且AI的发展应该不是要取代人类而是在工作上协助人类。