QbitAI量子位

文章数:2225 被阅读:29266888

账号入驻

MLPerf发布首个AI芯片推理测试排行榜:阿里平头哥含光800获得多项第一

2019-11-11
    阅读数:
晓查 发自 凹非寺 
量子位 编译 | 公众号 QbitAI

今天MLPerf基准联盟公布了第一批AI芯片的推理测试结果,对来自19个公司机构的594种芯片在各种自然语言和计算机视觉任务中的表现进行了审核。

来自中国、以色列、韩国、英国和美国的公司纷纷提交了测试结果,这些公司包括:阿里巴巴、戴尔EMC、谷歌、浪潮、英特尔、英伟达、米兰理工大学、高通和腾讯等等。

测试内容

MLPerf推理测试v0.5分为5个基准,涵盖了图像分类(ResNet50),目标检测(ResNet34)和机器翻译(GNMT)等任务。

进一步完善的问题是,所有基准都提供了四种方案:单流模式(一个客户端使用一个源)、多流模式(一个客户端使用多个源)、服务模式(实时、每秒关注一次查询)和离线模式(不受实时限制的服务器)。

这些模式将测试分解为客户端和服务器两个部分。

MLPerf推理基准用于衡量训练过的神经网络在不同量级的设备(物联网、智能手机、PC、服务器)、各种应用(自动驾驶、NLP、计算机视觉)上处理新数据的速度。

测试结果类似于PC硬件上的性能天梯图,覆盖了性能差异4个数量级,功耗差异3个数量级的设备,范围从嵌入式设备和智能手机到大型数据中心系统。

国产芯片夺冠

在所有测试的芯片中,英伟达在四种方案中均取得了单加速器最佳成绩。

在MobileNet-v1、ResNet-50 v.1.5、GNMT等5个任务中,英伟达图灵架构的芯片在服务器、离线两个模式下具有最佳性能。

令人注意的是,前不久阿里平头哥发布的AI推理芯片“含光800”在多项基准测试中获得单芯片性能第一。

含光800参加了适用于图像分类任务的Resnet50 v1.5基准测试,在四个场景都取得了单芯片第一的成绩。

离线模式测试的是芯片推理的最大吞吐量,最能考验芯片的计算、存储、通信等基本功。含光800的成绩为69306.60 IPS,单芯片性能是谷歌TPU v3的8.5倍、Nvidia T4的12倍。

关于MLPerf

MLPerf是业内首套衡量机器学习软硬件性能的通用基准,由图灵奖得主David Patterson联合谷歌和几所著名高校于2018年发起。

MLPerf基准联盟现有50多家成员,包括谷歌、微软、Facebook、阿里巴巴等企业和斯坦福、哈佛、多伦多大学等高校。

今夏,MLPerf已经发布了AI训练测试基准,近日发布的MLPerf Inference v0.5是其公布的第一个AI推理测试基准。

MLPerf推理测试结果:
https://mlperf.org/inference-results/

问卷福利!人工智能行业白皮书即将发布

量子位&IDC中国将联合发布「2019中国人工智能行业白皮书」,并于12月6日MEET大会重磅发布,特请小伙伴们填写一下问卷,谢谢大家支持~

填写福利:发布后第一时间获得白皮书,AI内参、大会观众票3折优惠券。 点击下图即可填写问卷、领取问卷福利:

榜单征集!三大奖项,锁定AI Top玩家

2019中国人工智能年度评选启幕,将评选领航企业、商业突破人物、最具创新力产品3大奖项,并于MEET 2020大会揭榜,欢迎优秀的AI公司扫码报名!

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !




最新有关QbitAI的文章

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved