NVIDIA从云端到边缘在推理方面取得突破实现对话式AI

2021-07-22来源: EEWORLD关键字:NVIDIA  AI  边缘

NVIDIA在推理方面取得突破,从云端到边缘实现更智能、更具互动性的对话式AI


image.png


TensorRT 8为医疗、汽车和金融领域的领先企业提供全球最快AI推理性能


加利福尼亚州圣克拉拉,太平洋时间2021年7月20日——NVIDIA于今日发布公司第八代AI软件TensorRT™ 8。该软件将语言查询推理时间缩短了一半,使开发者能够从云端到边缘构建全球最佳性能的搜索引擎、广告推荐和聊天机器人。


TensorRT 8的各项优化为语言应用带来了创纪录的速度,能够在1.2毫秒内运行BERT-Large——全球最广为采用的基于transformer的模型之一。过去,企业不得不缩减模型大小,而这会导致结果出现大幅偏差。现在有了TensorRT 8,企业可以将其模型扩大一倍或两倍,从而大幅提高精度。


NVIDIA开发者计划副总裁Greg Estes表示:“AI模型正以指数级的速度增长。全世界对AI实时应用的使用需求正在激增。这使企业必须部署最先进的推理解决方案。最新版本的TensorRT引入了多项新功能,使企业能够以前所未有的质量和响应速度向其客户提供对话式AI应用。”


五年来,医疗、汽车、金融和零售等各个领域27,500家企业的超35万名开发者下载TensorRT近250万次。TensorRT可部署于超大规模数据中心、嵌入式或汽车产品平台。


最新推理创新


除了针对transformer的优化之外,TensorRT 8还通过其他两项关键特性,实现了AI推理方面的突破。


其一是稀疏性,这是助力推动NVIDIA Ampere架构GPU性能提升的一项全新技术,它不但提高了效率,还使开发者能够通过减少计算操作来加速其神经网络。


其二是量化感知训练,开发者能够使用训练好的模型,以INT8精度运行推理,在这一过程中不会损失精度。这大大减少了计算和存储成本,从而在Tensor Core核心上实现高效推理。


广泛的行业支持


行业领导者已将TensorRT用于他们在对话式AI和其他各个领域的深度学习推理应用。


Hugging Face是开源AI技术的领导者,其客户包括全球多个行业领域的大规模AI服务提供商。该公司正与NVIDIA开展密切合作,推出能够助力实现大规模文本分析、神经搜索和对话式应用的开创性AI服务。


Hugging Face产品总监JeffBoudier表示:“我们正在与NVIDIA开展密切合作,以基于NVIDIA GPU,为最先进的模型提供最佳性能。Hugging Face加速推理API已经能够为基于NVIDIA GPU的transformer模型提供高达100倍的速度提升。通过TensorRT 8,Hugging Face在BERT上实现了1毫秒的推理延迟。我们十分期待能在今年晚些时候为我们的客户提供这一性能。”


全球领先的医疗技术、诊断和数字解决方案创新者GE医疗正在使用TensorRT,助力加速早期检测疾病的关键工具——超声波计算机视觉应用,使临床医生能够通过其智能医疗解决方案提供最高质量的护理。


GE医疗心血管超声首席工程师Erik Steen表示:“临床医生需要花费宝贵的时间来选择和评估超声图像。在Vivid Patient Care Elevated Release项目的研发过程中,我们希望通过在Vivid E95扫描仪上实施自动心脏视图检测,使这一过程变得更加高效。心脏视图识别算法将选择合适的图像来分析心壁运动。TensorRT凭借其实时推理能力,提高了视图检测算法的性能,同时缩短了我们研发项目的产品上市时间。”


可用性


TensorRT 8现已全面上市,并免费向NVIDIA开发者计划成员提供。用户还可从TensorRT GitHub库中获得最新版本插件、解析器和样本的开放源代码。


关于NVIDIA


NVIDIA 在1999年发明的GPU激发了PC游戏市场的增长,重新定义了现代计算机显卡、高性能计算和人工智能。公司在加速计算和人工智能领域的创新研究成果正在改变交通运输、医疗、制造等万亿美元级行业,并推动许多其他行业的发展。


关键字:NVIDIA  AI  边缘 编辑:张工 引用地址:http://news.eeworld.com.cn/wltx/ic542615.html

上一篇:英特尔携手云图睿视发布全新算法商城解决方案
下一篇:想你所想:推荐系统团队建议获胜策略

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

超恩推出EAC-2000系列NVIDIA Jetson Xavier NX无风扇嵌入式系统 可改善车辆间的通讯
7月20日,嵌入式专家团队超恩(Vecow)推出全新无风扇嵌入式系统EAC-2000系列。该系列由NVIDIAJetson Xavier NX模块提供支持,外型小巧且具有出色能效。EAC-2000系列可支持-25°C至70°C的工作温度、9V至50V的宽范围直流输入,以及与Fakra-Z连接器相关联的GMSL(Gigabit Multimedia Serial Link,千兆多媒体串行链路)技术。此外,该系列还易于部署在AI视觉和工业应用,包括交通视觉、智能监控、自动光学检测、智能工厂、AMR/AGV以及任何AIoT(人工智能物联网)/工业4.0应用。(图片来源:超恩)基于全新NVIDIA Jetson Xavier™ NX模块
发表于 2021-07-22
超恩推出EAC-2000系列<font color='red'>NVIDIA</font> Jetson Xavier NX无风扇嵌入式系统 可改善车辆间的通讯
想你所想:推荐系统团队建议获胜策略
在应对重大行业挑战方面拥有大量成功经验的NVIDIA 专家分享了打造出色推荐系统的制胜诀窍“三连胜”之战已经到了最后的冲刺关头。在截止时间前五分钟,这支团队提交了竞赛作品,这是今年第三次也是难度最高的一次推荐系统数据科学竞赛。它叫做 RecSys,是计算机科学一个相对较新的分支,它催生了机器学习领域常用的应用程序之一,这一程序帮助数百万人找到他们想看、想买和想玩的内容。该团队共使用了六个 AI 模型,达到了比赛规定的 20 千兆字节上限,所有这些模型都是根据他们研究 7.5 亿个数据点的经验精挑细选出来的。这次比赛有一项不同寻常的规则,要求模型必须基于一个云端 CPU 的单一内核运行,并且运行时间不能超过 24 小时。他们按下了
发表于 2021-07-22
想你所想:推荐系统团队建议获胜策略
AEye与英伟达合作 将传感器引入NVIDIA DRIVE平台
激光雷达公司AEye宣布与英伟达(NVIDIA)合作,将其自适应、智能传感器引入NVIDIA DRIVE®自动驾驶汽车平台。NVIDIA DRIVE®是NVIDIA旗下一个自动驾驶行业的端到端平台,适用于L2+到L5级的自动驾驶。凭借AEye的软件开发工具包(SDK)和可视化单元(Visualizer),开发者可在平台上配置传感器及查看点云,从而在构建和部署先进ADAS和AV应用时,提高所收集数据的显著性和质量。据了解,AEye的自适应LiDAR采用独特的智能传感方法,即iDAR((Intelligent Detection and Ranging,智能检测和测距)。iDAR平台会具有自适应性,可以专注于最重要的事情,同时监控车辆
发表于 2021-07-20
AEye与英伟达合作 将传感器引入<font color='red'>NVIDIA</font> DRIVE平台
NVIDIA正式发布英国最强超级计算机:4423680个GPU核心
7月7日NVIDIA宣布,正式启动英国最强超级计算机“Cambridge-1”(剑桥一号),主要用于英国的医疗健康研究,这也是NVIDIA为英国贡献的第一台专用于先进科研的超算。剑桥一号基于NVIDIA DGX SuperPOD超算系统方案,包含80套DGX A100计算系统,每个节点内有八块Ampere架构顶级大核心A100计算卡、两颗AMD霄龙7742 64核心处理器,总共640块计算卡(4423680个核心)、160颗处理器(10240个核心)。  另外,该超算还采用了NVIDIA BlueField-2 DPU数据处理单元、NVIDIA HDR InfiniBand高速网络。它可以提供8PFlops(8千万亿次每秒
发表于 2021-07-08
<font color='red'>NVIDIA</font>正式发布英国最强超级计算机:4423680个GPU核心
麻省理工学院在 NVIDIA DRIVE AGX Pegasus 上开发出一体化自动驾驶网络
从英伟达获悉,麻省理工学院的研究人员正在开发一个一体化深度神经网络(DNN)为自动驾驶汽车提供支持,并取代由多个网络组成的系统。 据悉,在今年 COMPUTEX 上发表的这项研究使用了 NVIDIA DRIVE AGX Pegasus 在车辆中运行网络,能够高效、实时地处理激光雷达数据。 自动驾驶汽车传感器会产生大量数据。如果一个由 50 辆车组成的车队每天行驶 6 小时,那么每天就会产生约 1.6PB 的传感器数据。 在论文中,麻省理工学院团队详细介绍了如何使用一个一体化 DNN 尝试新的自动驾驶策略,首先就是要完成实时激光雷达传感器数据处理任务。通过运用 NVIDIA DRIVE AGX
发表于 2021-07-07
东京奥运上的一大波高科技:机器人、AI、智能制造技术…
统将用于识别超过30万参加奥运会的人员,包括运动员、志愿者、媒体和其他工作人员。这也是首次在奥运会上使用人脸识别技术。 而在运动员表现呈现方面,科技同样起到至关重要的作用。 据日本NHK报道,国际体操联合会决定引进运用AI技术的打分辅助系统。该系统通过向选手的身体及其周边200万处投射红外线,追踪选手的动作,并且实时转换成三维立体图像。 根据图像,AI对于身体的旋转和扭动等动作做出分析,结合过去的表演数据,遵照打分标准,判断技术的完成度。 田径比赛中,转播将采用3D运动员追踪技术。如此一来,转播画面中运动员背后可以出现一条彩色轨迹,显示赛道上不同位置的速度。 3D打印东京奥运的98座颁奖
发表于 2021-07-27
小广播
换一换 更多 相关热搜器件

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 综合资讯 其他技术 下一代网络 短距离无线 基站与设施 RF技术 光通讯 标准与协议 物联网与云计算 有线宽带

词云: 1 2 3 4 5 6 7 8 9 10

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2021 EEWORLD.com.cn, Inc. All rights reserved