想你所想:推荐系统团队建议获胜策略

2021-07-22来源: EEWORLD关键字:NVIDIA

在应对重大行业挑战方面拥有大量成功经验的NVIDIA 专家分享了打造出色推荐系统的制胜诀窍


“三连胜”之战已经到了最后的冲刺关头。


在截止时间前五分钟,这支团队提交了竞赛作品,这是今年第三次也是难度最高的一次推荐系统数据科学竞赛。它叫做 RecSys,是计算机科学一个相对较新的分支,它催生了机器学习领域常用的应用程序之一,这一程序帮助数百万人找到他们想看、想买和想玩的内容。


该团队共使用了六个 AI 模型,达到了比赛规定的 20 千兆字节上限,所有这些模型都是根据他们研究 7.5 亿个数据点的经验精挑细选出来的。这次比赛有一项不同寻常的规则,要求模型必须基于一个云端 CPU 的单一内核运行,并且运行时间不能超过 24 小时。


他们按下了提交按钮,静静等待。


23 小时 40 分钟后,一封电子邮件送来捷报:他们位列榜首。


紧扣截止时间


根据 6 月 28 日正式宣布的比赛结果,这支由七人组成的NVIDIA 参赛团队第二次赢得ACM RecSys2021 挑战赛。


“这封电子邮件的到来可以说是紧扣截止时间 – 如果再晚 20 分钟,我们就超出 24 小时的运行时间了,”Chris Deotte 说道,他是参赛小组的成员之一,也是被视为线上数据科学界的奥林匹克的卡格尔比赛的大师级人物。


“我们当时真的很紧张,”BenediktSchifferer说,他是帮助设计NVIDIA Merlin框架的团队成员之一,该框架可以帮助用户快速建立自己的推荐系统。


GPU 本可以在很短的时间内完成推理工作。这支团队中常驻巴西的卡格尔比赛大师 GilbertoTitericz表示,让推理工作去适应 CPU 核心“就好像回到了远古时代”。

事实上,比赛一结束,该团队就展示了在CPU核心上花费近24小时的推理工作,在单个NVIDIA A100 Tensor Core GPU上运行只需7分钟。


在每天 4 千万个数据点中找出推荐项


在比赛中,Twitter 在 28 天内每天向参与者提供数百万个数据点,并要求他们预测用户会点赞或转推哪些推文。这是这一针对 RecSys 的领先技术会议发起的行业实力挑战,吸引了来自Facebook、Google、Spotify 等公司的优秀工程师。


 image.png

图注:RecSys挑战团队的部分成员(从左上角开始,按顺时针次序依次为):Bo Liu、BenediktSchifferer、GilbertoTitericz和 Chris Deotte。


这个学科领域真的很难,但也非常实用。推荐系统为我们的数字经济提供发展动力,通过比传统搜索更快、更智能的方式提供建议。


行业挑战赛有助于推动这一领域的发展,让每个人都能从中受益,不论他们是在为配偶寻找完美的礼物,还是尝试在网上寻找一位老朋友。


五个月,三连胜


今年早些时候,NVIDIA 团队在Booking.com 挑战赛的 40 支参赛小组中拨得头筹。他们使用数百万个匿名数据点来准确的预测了欧洲度假者最终将选择前往的城市。


今年 6 月,另一项顶级 RecSys 大赛SIGIR 电子商务数据挑战赛设置了更高的门槛。

信息检索特别兴趣小组 SIGIR 的年度会议吸引了来自阿里巴巴和沃尔玛实验室的专家。其 2021 年挑战赛提供了 3700 万个在线购物会话的数据点,并要求参赛者预测用户会购买哪些产品。


由于这场比赛与 ACM RecSys挑战赛的时间重叠,NVIDIA 团队不得不兵分两路,各有侧重地参与不同的比赛。一些团队成员在此压力下正埋头为 ACM RecSys 会议撰写论文。


“快攻”艺术


其中一只NVIDIA团队共包含五名成员,分别身处巴西、加拿大、法国和美国在每个排行榜中这只团队均排名第一或第二。能取得这样出色的整体表现,主要有两个因素。其一,他们在 Transformer 模型上下了很大功夫,这些模型是为自然语言处理开发的,并越来越多地被 RecSys所采用。其二,他们深谙轮班工作的工作方法。“在一名成员将要入睡时,另一名身处不同时区的成员就可以接手工作,”Merlin 团队负责人 Even Oldridge说。


“在一切顺利时,这种做法非常有效,我很惊讶我们在过去一年中取得的成就,这不但培养了我们的内部知识,也树立了我们在 RecSys 社区中的地位,让我们能够在 5 个月内赢得三场重要比赛。”


尊重用户隐私


这项比赛要求模型在对用户没有任何背景了解的情况下对用户进行预测,参赛者对于用户的所知仅限于其当前浏览会话。


位于圣保罗的领导 NVIDIA SIGIR 团队的 Merlin 资深研究员 Gabriel Moreira表示:“这是一项重要的任务,因为有时用户希望匿名浏览,并且一些隐私法限制了对于用户历史信息的访问。”


这场比赛标志着该团队首次在挑战赛的关键部分只使用 Transformer 模型。Moreira 的团队致力于让每一位 Merlin 客户更轻松地获享庞大的神经网络。


从三连胜到四连胜


6 月 30 日,NVIDIA在 RecSys 挑战赛取得四连胜。行业基准组织 MLPerf 宣布,NVIDIA及其合作伙伴在其所有最新训练基准测试中均创下新纪录,其中包括一个有关推荐系统的基准测试。


参赛团队描述了他们取得的成果——即在不到一分钟内训练基于 14 个NVIDIA DGX系统的推荐系统,与一年前提交的成果相比,速度加快了 3.3 倍。


分享经验心得


这些竞赛激发了新技术的创意,这些新技术被纳入像 Merlin 这样的RecSys框架,以及NVIDIA 深度学习学院所拥有的相关工具、论文和在线课程。以达到最终目标:帮助每个人取得成功。


在采访中,NVIDIA 的 RecSys 专家自由地分享了他们的技术诀窍 – 一半是艺术,一半是科学。


关于如何打造出色RecSys的专业小贴士


一种最佳实践是使用多种模型,并使其协同工作。在 ACM RecSys 挑战赛中,团队同时使用了树状和神经网络模型。一个阶段的输出成为了下一个阶段的输入,这一过程称为推叠。NVIDIA 卡格尔比赛大师团队的新成员 Bo Liu 表示:“单个模型可能会因为数据错误或收敛问题而出错,但如果把几个模型结合起来,那么力量就会无比强大。”


在线结识Recsys专家


7 月 29 日,可以在线结识来自 Facebook、NVIDIA 和 TensorFlow 的RecSys专家,进一步了解如何创建出色的推荐系统。


关于 NVIDIA


NVIDIA1999年发明的GPU驱动了PC游戏市场的增长,并重新定义了现代计算机图形、高性能计算和人工智能。NVIDIA在加速计算和AI领域的创举正在重塑交通,医疗健康和制造业等价值数万亿美元的产业,并推动了许多其他产业的增长。


关键字:NVIDIA 编辑:张工 引用地址:http://news.eeworld.com.cn/wltx/ic542616.html

上一篇:NVIDIA从云端到边缘在推理方面取得突破实现对话式AI
下一篇:Pure Storage Evergreen创新订阅服务迈向全新里程碑

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

400亿美元的交易要黄 英国倾向于拒绝NVIDIA收购ARM
NVIDA收购ARM公司一事还没有拿到主要国家和地区的审批,ARM总部所在地的英国也不乐见ARM被NVIDIA收购,最新消息称英国方面倾向于拒绝NVIDIA收购ARM,不过最终决定还要等等。这不是ARM第一次被收购,但可能是最艰难的一次。2016年ARM被日本软银以320亿美元的价格收购,全球也没遇到什么阻力,但是2020年NVIDIA宣布400亿美元(约合2700亿)收购ARM公司后,引发的震动大多了。可以说,除了美国监管部门乐见NVIDIA收购成功之外,其他国家和地区以及美国的科技公司并不希望看到ARM被NVIDIA拿下,谷歌、苹果、亚马逊等公司此前也表示反对,因为担心NVIDIA会改变ARM的独立运行政策,毕竟NVIDIA
发表于 2021-08-04
超恩推出EAC-2000系列NVIDIA Jetson Xavier NX无风扇嵌入式系统 可改善车辆间的通讯
7月20日,嵌入式专家团队超恩(Vecow)推出全新无风扇嵌入式系统EAC-2000系列。该系列由NVIDIAJetson Xavier NX模块提供支持,外型小巧且具有出色能效。EAC-2000系列可支持-25°C至70°C的工作温度、9V至50V的宽范围直流输入,以及与Fakra-Z连接器相关联的GMSL(Gigabit Multimedia Serial Link,千兆多媒体串行链路)技术。此外,该系列还易于部署在AI视觉和工业应用,包括交通视觉、智能监控、自动光学检测、智能工厂、AMR/AGV以及任何AIoT(人工智能物联网)/工业4.0应用。(图片来源:超恩)基于全新NVIDIA Jetson Xavier™ NX模块
发表于 2021-07-22
超恩推出EAC-2000系列<font color='red'>NVIDIA</font> Jetson Xavier NX无风扇嵌入式系统 可改善车辆间的通讯
NVIDIA从云端到边缘在推理方面取得突破实现对话式AI
NVIDIA在推理方面取得突破,从云端到边缘实现更智能、更具互动性的对话式AITensorRT 8为医疗、汽车和金融领域的领先企业提供全球最快AI推理性能加利福尼亚州圣克拉拉,太平洋时间2021年7月20日——NVIDIA于今日发布公司第八代AI软件TensorRT™ 8。该软件将语言查询推理时间缩短了一半,使开发者能够从云端到边缘构建全球最佳性能的搜索引擎、广告推荐和聊天机器人。TensorRT 8的各项优化为语言应用带来了创纪录的速度,能够在1.2毫秒内运行BERT-Large——全球最广为采用的基于transformer的模型之一。过去,企业不得不缩减模型大小,而这会导致结果出现大幅偏差。现在有了TensorRT 8,企业
发表于 2021-07-22
<font color='red'>NVIDIA</font>从云端到边缘在推理方面取得突破实现对话式AI
AEye与英伟达合作 将传感器引入NVIDIA DRIVE平台
激光雷达公司AEye宣布与英伟达(NVIDIA)合作,将其自适应、智能传感器引入NVIDIA DRIVE®自动驾驶汽车平台。NVIDIA DRIVE®是NVIDIA旗下一个自动驾驶行业的端到端平台,适用于L2+到L5级的自动驾驶。凭借AEye的软件开发工具包(SDK)和可视化单元(Visualizer),开发者可在平台上配置传感器及查看点云,从而在构建和部署先进ADAS和AV应用时,提高所收集数据的显著性和质量。据了解,AEye的自适应LiDAR采用独特的智能传感方法,即iDAR((Intelligent Detection and Ranging,智能检测和测距)。iDAR平台会具有自适应性,可以专注于最重要的事情,同时监控车辆
发表于 2021-07-20
AEye与英伟达合作 将传感器引入<font color='red'>NVIDIA</font> DRIVE平台
NVIDIA正式发布英国最强超级计算机:4423680个GPU核心
7月7日NVIDIA宣布,正式启动英国最强超级计算机“Cambridge-1”(剑桥一号),主要用于英国的医疗健康研究,这也是NVIDIA为英国贡献的第一台专用于先进科研的超算。剑桥一号基于NVIDIA DGX SuperPOD超算系统方案,包含80套DGX A100计算系统,每个节点内有八块Ampere架构顶级大核心A100计算卡、两颗AMD霄龙7742 64核心处理器,总共640块计算卡(4423680个核心)、160颗处理器(10240个核心)。  另外,该超算还采用了NVIDIA BlueField-2 DPU数据处理单元、NVIDIA HDR InfiniBand高速网络。它可以提供8PFlops(8千万亿次每秒
发表于 2021-07-08
<font color='red'>NVIDIA</font>正式发布英国最强超级计算机:4423680个GPU核心
小广播
换一换 更多 相关热搜器件

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 综合资讯 其他技术 下一代网络 短距离无线 基站与设施 RF技术 光通讯 标准与协议 物联网与云计算 有线宽带

词云: 1 2 3 4 5 6 7 8 9 10

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2021 EEWORLD.com.cn, Inc. All rights reserved