GPU模型推论效能升级 边缘运算装置AI更强大

GPU模型推论效能不断提升，各种边缘运算装置上所内建的人工智能(AI)能力也变得更加强大。 NVIDIA旗下软件目前已可协助客户做8位与16位的神经网络运算优化，不仅让GPU模型的推论(Inference)更形完善，同时对硬件资源的需求也明显降低，只需要一小块电路板就能支持AI算法。

针对边缘运算日益渐增的需求，NVIDIA近期推出了新款开发版Jetson TX2，将整套人工智能系统缩小在一块电路板之上，为商用无人机、工业机械、智能型摄影设备等领域，提供进阶的导航、影像与语音识别功能。 相较前一代产品Jetson TX1，Jetson TX2的效能提升了两倍，耗电量则不到7.5瓦，能源效率提升了两倍多。 这让Jetson TX2可在终端装置上运行更大、更深的神经网络，进而开发出更高智能化的装置，并提升影像分类、导航以及语音识别等作业的精准度与反应速度。

NVIDIA技术营销经理苏家兴表示，对于训练好的模型，NVIDIA也提供Tense RT软件来协助客户做模型优化、缩小化，其支持整数8位与浮点数16位的运算。 目前的主流是以32位的运算去做训练，该16位运算也就减少了一半，增加了一倍的效能，8位则增加了四倍的效能，因此在模型推论上能运作的更好。

苏家兴进一步表示，无论是软件还是硬件公司，都需要对训练好的深度学习模型进行优化，除了边缘设备会采用缩小化的模型，在服务器与数据中心端，也会有某些情境需要采用这些优化过的模型去做推论。 举例而言，Facebook、百度在做语音识别的推论时，若能透过优化的模型让运作更快，势必能让消耗的功耗越少。

不过，也并不是所有的应用都适合做前端边缘运算。 以AlphaGo来看，其是以32台服务器在做运算，因AlphaGo运算量非常大，所以就不太可能进行边缘运算，因1台服务器与32台服务器运算的精准度，绝对是有差异的。 若以语音识别来看，即便可以同时采用在线与脱机的方式进行，但精准度也势必会有落差。

苏家兴指出，应用开发商必须尽快分辨出哪些运算任务适合采用边缘运算，哪些部分还是得留在服务器端执行。 举例来说，当无人机飞到有些没有网络的地方，便必须运用边缘运算，设计出可承载范围内的推论。 NVIDIA相信，未来数据中心与边缘运算将会并存，但在瞄准的应用上必定会有所不同。