SysML机器学习系统会议，亚马逊、谷歌、NVIDIA探讨AI芯片趋势

据SysML机器学习系统会议官网指出，亚马逊(Amazon)、Google和Facebook等科技大厂齐聚一堂，针对人工智能(AI)领域发表演讲。这些科技领袖除了呼吁各界参与新兴技术发展之外，也表示硬件的进步尚未跟上软件的发展。

图形芯片业者NVIDIA科技长Bill Dally在2018年2月15~16日举行的SysML机器学习系统会议上指出，NVIDIA Volta等具备阶层式存储器(hierarchical memory)架构的处理器，最适合用于数据中心。Dally也表示，系统单芯片(SoC)需要加速器以增加神经网络处理(neural network processing)的速度。

此外，Google Brain计划团队的研究员Jeff Dean也在会议上发言指出，深度学习可转变电脑的设计，而机器学习的硬件仍在早期发展阶段。因此，Google乐见更多创新的处理器设计在市场上出现。Dean进一步表示，Google透过芯片领域测试新的概念，以预具备成长潜力的新兴科技。Dean也预测更多软件会采用机器学习的技术。

就AI领域中，Dally表示，8位整数的架构可做为“推论”(inference)，而和16位元浮点的架构则可用于测试工作。不过在某些案例中，4位和2位仍是强势架构。Dally补充，一般而言，人工神经网络上的“权重”(weight)尽可能需要最小的位元。而权重本身可以大幅修剪，例如在很多卷积神经网络的模型可降低3分之2到90%的权重。

Dean指出，在4位元以下的架构可有效活化AI的工作。此外研究也显示，在16位元浮点以下的架构，可进行有效的精确训练。而“动态路由规划”(dynamic model routing)、批尺寸(batch sizes)以及优化训练模型等领域的研究，将可望影响硬件效能。