NVIDIA从云端到边缘在推理方面取得突破实现对话式AI

最新更新时间:2021-07-22来源: EEWORLD关键字:NVIDIA  AI  边缘

NVIDIA在推理方面取得突破,从云端到边缘实现更智能、更具互动性的对话式AI


image.png


TensorRT 8为医疗、汽车和金融领域的领先企业提供全球最快AI推理性能


加利福尼亚州圣克拉拉,太平洋时间2021年7月20日——NVIDIA于今日发布公司第八代AI软件TensorRT™ 8。该软件将语言查询推理时间缩短了一半,使开发者能够从云端到边缘构建全球最佳性能的搜索引擎、广告推荐和聊天机器人。


TensorRT 8的各项优化为语言应用带来了创纪录的速度,能够在1.2毫秒内运行BERT-Large——全球最广为采用的基于transformer的模型之一。过去,企业不得不缩减模型大小,而这会导致结果出现大幅偏差。现在有了TensorRT 8,企业可以将其模型扩大一倍或两倍,从而大幅提高精度。


NVIDIA开发者计划副总裁Greg Estes表示:“AI模型正以指数级的速度增长。全世界对AI实时应用的使用需求正在激增。这使企业必须部署最先进的推理解决方案。最新版本的TensorRT引入了多项新功能,使企业能够以前所未有的质量和响应速度向其客户提供对话式AI应用。”


五年来,医疗、汽车、金融和零售等各个领域27,500家企业的超35万名开发者下载TensorRT近250万次。TensorRT可部署于超大规模数据中心、嵌入式或汽车产品平台。


最新推理创新


除了针对transformer的优化之外,TensorRT 8还通过其他两项关键特性,实现了AI推理方面的突破。


其一是稀疏性,这是助力推动NVIDIA Ampere架构GPU性能提升的一项全新技术,它不但提高了效率,还使开发者能够通过减少计算操作来加速其神经网络。


其二是量化感知训练,开发者能够使用训练好的模型,以INT8精度运行推理,在这一过程中不会损失精度。这大大减少了计算和存储成本,从而在Tensor Core核心上实现高效推理。


广泛的行业支持


行业领导者已将TensorRT用于他们在对话式AI和其他各个领域的深度学习推理应用。


Hugging Face是开源AI技术的领导者,其客户包括全球多个行业领域的大规模AI服务提供商。该公司正与NVIDIA开展密切合作,推出能够助力实现大规模文本分析、神经搜索和对话式应用的开创性AI服务。


Hugging Face产品总监JeffBoudier表示:“我们正在与NVIDIA开展密切合作,以基于NVIDIA GPU,为最先进的模型提供最佳性能。Hugging Face加速推理API已经能够为基于NVIDIA GPU的transformer模型提供高达100倍的速度提升。通过TensorRT 8,Hugging Face在BERT上实现了1毫秒的推理延迟。我们十分期待能在今年晚些时候为我们的客户提供这一性能。”


全球领先的医疗技术、诊断和数字解决方案创新者GE医疗正在使用TensorRT,助力加速早期检测疾病的关键工具——超声波计算机视觉应用,使临床医生能够通过其智能医疗解决方案提供最高质量的护理。


GE医疗心血管超声首席工程师Erik Steen表示:“临床医生需要花费宝贵的时间来选择和评估超声图像。在Vivid Patient Care Elevated Release项目的研发过程中,我们希望通过在Vivid E95扫描仪上实施自动心脏视图检测,使这一过程变得更加高效。心脏视图识别算法将选择合适的图像来分析心壁运动。TensorRT凭借其实时推理能力,提高了视图检测算法的性能,同时缩短了我们研发项目的产品上市时间。”


可用性


TensorRT 8现已全面上市,并免费向NVIDIA开发者计划成员提供。用户还可从TensorRT GitHub库中获得最新版本插件、解析器和样本的开放源代码。


关于NVIDIA


NVIDIA 在1999年发明的GPU激发了PC游戏市场的增长,重新定义了现代计算机显卡、高性能计算和人工智能。公司在加速计算和人工智能领域的创新研究成果正在改变交通运输、医疗、制造等万亿美元级行业,并推动许多其他行业的发展。


关键字:NVIDIA  AI  边缘 编辑:张工 引用地址:http://news.eeworld.com.cn/wltx/ic542615.html

上一篇:英特尔携手云图睿视发布全新算法商城解决方案
下一篇:想你所想:推荐系统团队建议获胜策略

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

NVIDIA收购高清地图公司DeepMap:加码自动驾驶业务
NVIDIA 宣布已完成对初创公司 DeepMap 的收购,后者专门为自动驾驶汽车构建高清地图,以便让这些汽车可以更安全地在我们的道路上行驶。通过此次收购 ,NVIDIA 继承了一家已经为自动驾驶汽车生产地图解决方案的公司,以及在地图技术方面拥有数十年集体经验的员工。NVIDIA 副总裁兼汽车事业部总经理 Ali Kani 在评论此次收购时表示:此次收购是对 DeepMap 独特愿景、技术和人员的认可。DeepMap 有望扩展我们的地图产品,帮助我们扩展全球地图业务并扩展我们的全自动驾驶专业知识。我们很高兴欢迎 DeepMap 团队加入 NVIDIA。 他们拥有良好的业绩记录,并且具有创业精神、敏捷性和工程重点。DeepMap
发表于 2021-08-27
<font color='red'>NVIDIA</font>收购高清地图公司DeepMap:加码自动驾驶业务
400亿美元的交易要黄 英国倾向于拒绝NVIDIA收购ARM
NVIDA收购ARM公司一事还没有拿到主要国家和地区的审批,ARM总部所在地的英国也不乐见ARM被NVIDIA收购,最新消息称英国方面倾向于拒绝NVIDIA收购ARM,不过最终决定还要等等。这不是ARM第一次被收购,但可能是最艰难的一次。2016年ARM被日本软银以320亿美元的价格收购,全球也没遇到什么阻力,但是2020年NVIDIA宣布400亿美元(约合2700亿)收购ARM公司后,引发的震动大多了。可以说,除了美国监管部门乐见NVIDIA收购成功之外,其他国家和地区以及美国的科技公司并不希望看到ARM被NVIDIA拿下,谷歌、苹果、亚马逊等公司此前也表示反对,因为担心NVIDIA会改变ARM的独立运行政策,毕竟NVIDIA
发表于 2021-08-04
超恩推出EAC-2000系列NVIDIA Jetson Xavier NX无风扇嵌入式系统 可改善车辆间的通讯
7月20日,嵌入式专家团队超恩(Vecow)推出全新无风扇嵌入式系统EAC-2000系列。该系列由NVIDIAJetson Xavier NX模块提供支持,外型小巧且具有出色能效。EAC-2000系列可支持-25°C至70°C的工作温度、9V至50V的宽范围直流输入,以及与Fakra-Z连接器相关联的GMSL(Gigabit Multimedia Serial Link,千兆多媒体串行链路)技术。此外,该系列还易于部署在AI视觉和工业应用,包括交通视觉、智能监控、自动光学检测、智能工厂、AMR/AGV以及任何AIoT(人工智能物联网)/工业4.0应用。(图片来源:超恩)基于全新NVIDIA Jetson Xavier™ NX模块
发表于 2021-07-22
超恩推出EAC-2000系列<font color='red'>NVIDIA</font> Jetson Xavier NX无风扇嵌入式系统 可改善车辆间的通讯
想你所想:推荐系统团队建议获胜策略
在应对重大行业挑战方面拥有大量成功经验的NVIDIA 专家分享了打造出色推荐系统的制胜诀窍“三连胜”之战已经到了最后的冲刺关头。在截止时间前五分钟,这支团队提交了竞赛作品,这是今年第三次也是难度最高的一次推荐系统数据科学竞赛。它叫做 RecSys,是计算机科学一个相对较新的分支,它催生了机器学习领域常用的应用程序之一,这一程序帮助数百万人找到他们想看、想买和想玩的内容。该团队共使用了六个 AI 模型,达到了比赛规定的 20 千兆字节上限,所有这些模型都是根据他们研究 7.5 亿个数据点的经验精挑细选出来的。这次比赛有一项不同寻常的规则,要求模型必须基于一个云端 CPU 的单一内核运行,并且运行时间不能超过 24 小时。他们按下了
发表于 2021-07-22
想你所想:推荐系统团队建议获胜策略
AEye与英伟达合作 将传感器引入NVIDIA DRIVE平台
激光雷达公司AEye宣布与英伟达(NVIDIA)合作,将其自适应、智能传感器引入NVIDIA DRIVE®自动驾驶汽车平台。NVIDIA DRIVE®是NVIDIA旗下一个自动驾驶行业的端到端平台,适用于L2+到L5级的自动驾驶。凭借AEye的软件开发工具包(SDK)和可视化单元(Visualizer),开发者可在平台上配置传感器及查看点云,从而在构建和部署先进ADAS和AV应用时,提高所收集数据的显著性和质量。据了解,AEye的自适应LiDAR采用独特的智能传感方法,即iDAR((Intelligent Detection and Ranging,智能检测和测距)。iDAR平台会具有自适应性,可以专注于最重要的事情,同时监控车辆
发表于 2021-07-20
AEye与英伟达合作 将传感器引入<font color='red'>NVIDIA</font> DRIVE平台
深睿医疗AI医疗影像诊断方案 有效提高了诊断效率
集微网消息,基于深度学习的医学影像诊断方法逐步成熟,越来越多的产品投入到医院的临床试验中,比如眼底病灶的检查、肺结节筛查、肋骨骨折检测、纵隔病灶筛查、乳腺病灶筛查等等。一般而言,每个算法都是针对某一个病种进行设计,比如肺结节的算法只能在肺部的CT上检测肺结节病灶,对于不同源的数据,比如X光片的数据、超声的数据,或不同部位的检测,比如肋骨的检测、纵隔区域的病灶筛查、眼底病灶检测等就需要另外对应的算法。因此,在医院就产生了这样的场景:在同一台AI服务器上,需要部署多种算法。这样的方式无疑增加了软硬件的开销,且不利于算法的轻量化,如何只通过一种应用于AI医疗影像诊断算法调度方法,既能够在有限的GPU、内存等硬件资源的情况下快速的处理来自
发表于 2021-09-03
深睿医疗<font color='red'>AI</font>医疗影像诊断方案 有效提高了诊断效率
小广播
换一换 更多 相关热搜器件

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 综合资讯 其他技术 下一代网络 短距离无线 基站与设施 RF技术 光通讯 标准与协议 物联网与云计算 有线宽带

词云: 1 2 3 4 5 6 7 8 9 10

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2021 EEWORLD.com.cn, Inc. All rights reserved