IBM Research在深度学习演算法取得最新突破，据称几乎达到了线性加速的最佳微缩效率目标…
IBM Research发表深度学习(deep learning)演算法的最新突破，据称几乎达到了理想微缩效率的神圣目标：新的分散式深度学习(DDL)软体可随着处理器的增加，实现趋近于线性加速的最佳效率。
如图1所示，这一发展旨在为添加至IBM分散式深度学习演算法的每一个伺服器，实现类似的加速效率。
IBM研究人员兼IBM Research加速认知基础设施部门总监Hillman Hunter认为，其目标在于“将与深度学习训练有关的等待时间，从几天或几小时减少到几分钟或甚至几秒钟。”
Hunter在一篇有关这项深度学习发展的部落格文章中指出，“最受欢迎的深度学习架构开始扩展到伺服器中的多个绘图处理器(GPU)，而非使用GPU的多个伺服器。”IBM的开发团队“为连接至数十个伺服器的上百个GPU加速器所需的庞大、复杂运算任务，编写了自动化与最佳化其平行任务的软体与演算法。”
深度学习演算法随GPU增加而趋近于线性加速效率 （来源：IBM）
IBM声称，使用开放源码的Caffe深度学习架构，可将最多达256个Nvidia Tesla P100 GPU添加至单一伺服器，最终达到了95%微缩效率的测试结果。这一测试结果可用于影像辨识学习，但预计也适用于类似的学习任务。IBM在50分钟的训练时间内达到了接近线性的微缩效率。在相同的训练数据集时，Facebook Inc.先前曾经在60分钟的训练时间内实现89%的效率。
而在ImageNet-22k的数据组合下，IBM声称可在7个小时、750万张影像的训练中，达到了33.8%的验证精确度；在相同的条件下，微软(Microsoft Corp.)原先的记录是在10天训练中达到29.8%的准确率。IBM的处理器——PowerAI平台，可支援64节点的Power8丛集(加上256个Nvidia GPU)，提供超过2PFLOPS的单精度浮点性能。
该公司正为PowerAI平台用户免费提供其分散式深度学习套件，同时，还为第三方开发人员提供各种应用的编程介面，让他们能选择与其应用最相关的底层演算法。
关键字：GPU 深度学习 IBM
引用地址：
深度学习演算法接近线性微缩效率
推荐阅读最新更新时间：2024-05-03 01:43
把你的手机贡献出来做科学研究
你的电脑闲置时间在做什么？是在迅雷下载么？其实，你有更好的方式来利用闲置的计算能力。比如参与 IBM 的 World Community Grid，通过网格技术支持科学研究。 所谓网格技术，就是利用共享网络将不同地点计算机的多余处理能力集合起来，以解决大规模的计算问题。如今，智能手机的渗透率如此之高，是否也能用它参与此类事业呢？答案是肯定的。根据Wired 的报道，加州大学计算机科学教授 David Anderson 和他的团队正在开发一个应用，能够让我们手中的 Android 手机参与科学研究。 1995 年的时候，Anderson 的一个学生提出建议，将个人计算机的处理能力集合起来，用以探索外星生命。这个想法立刻吸
[手机便携]
手机交互、智驾感知、深度学习，抢先看百度三大“黑科技”
当提到百度，很多的人还只是把它的定位局限在全球最大的中文搜索引擎之上，而忽略了它作为全球知名领先AI智能公司的存在。没错，作为一家拥有高新技术产业的公司，百度正试图用自身的科技技术让这个复杂的世界更为简单，通过大数据与AI智能的运用，来解锁我们生活中便捷的使用场景。那么，百度背后的技术实力，究竟都有什么“黑科技”呢？在近日举办的百度举办Create大会-技术开放日媒体沟通会上，笔者得到了答案。 在此次的活动中，三位百度核心的技术负责人为我们解读了百度最新的技术进展，其中包括，改善使用导航应用的体验的“手机全双工语音交互”；提升智能汽车自动驾驶能力的“上帝视角BEV自动驾驶”和作为加速科学研发的百度深度学习平台“飞桨”。别
[汽车电子]
GPU的巨大压力即将到来
涨的不仅是价格。
今年以来，直线上升的GC市场带热了GPU。TrendFce集邦咨询表示，2023年AI服务器出货量（包含搭载GPU、、等）出货量预估近120万台，年增率近38%，AI出货量同步看涨，可望成长突破五成。
然而，供应短时间难以跟上需求的爆发。“一切都在等”，李平是某AI公司高管，他向记者透露，其公司在4月下单了服务器，但是因为服务器公司的GPU尚未到货，至今没有准确交货期，“现在再签服务器合同都是没有违约条款，不签货期的，只能选择等或者直接取消订单”。
对 GPU 或更好的加速器的需求从未如此之大，如果这种趋势持续下去，当前的高需求可能会延续到不久的将来。就HPC领域而言，这一趋势表
[机器人]
一纸限令断供GPU 会封印中国自动驾驶吗？
对数码3C消费产品没有影响，但是对于自动驾驶研发有极大影响。 美国宣布取消图形处理芯片巨头 英伟达 针对中国、俄罗斯出口高端 GPU 芯片，如果继续出口只能获取新的许可。很明显，美国又在高端芯片领域对中俄出手了。这种高端芯片主要用于人工智能等领域，也是一种应用较为广泛的高端芯片。 美国再一次收紧了芯片的对华供应，不顾规则和全球合作需求，单方面通过限制出口高端芯片的方式，阻碍中国人工智能领域的突破与发展，可以说是使用了最没有底线的招数。那么此次限制的芯片，对于中国科技企业、中国汽车企业、以及中国消费者来说，会有哪些实质性的影响呢？影响或大或小？本期《爱卡独角SHOW》，我们就来聊一聊这颗颇具“政治色彩的 GPU ”。
[汽车电子]
海康威视携英伟达 发布深度学习智能安防系统
10月24日，海康威视携手合作伙伴英伟达发布了基于深度学习技术的从前端到后端全系列智能安防产品。从这次选择合作伙伴英伟达来看，海康威视对于英伟达的GPU服务器非结构化数据的计算能力是非常认可的。
据悉，在安防领域99%以上的数据是非结构化数据。很多情况下需要深度学习算法的突破，对目标进行识别，对物体进行检测，对场景进行分割，对人物和车辆属性进行分析。那么此次与英伟达合作使得产品在深度学习上面实现了突破。相比较传统的智能算法。深度学习在解决视频结构化问题方面更智能了。
NVIDIA全球副总裁、中国区总经理张建中先生（左）海康威视总裁胡扬忠先生（右）
随着产品智能化程度的提升，在具体应用领域，海康威视的
[安防电子]
英伟达宣称RTX 4090等Ada Lovelace GPU可超频至3GHz以上
在 GTC 2022 的 GeForce Beyond 主题演讲期间，英伟达 CEO 黄仁勋透露，其已在实验室中将 Ada Lovalace GPU 的频率提升至 3 GHz 以上。他的原话是：“Ada 的效率让人难以置信，在与 Ampere GPU 相当的功率下，性能至少翻番。你可试着将 Ada 推一下，因为我们已在实验室中将它超到了 3 GHz 以上”。 将于 RTX 40 系列 Ada Lovelace GPU 已换用台积电全新的 4N 工艺节点，即使公版卡默认的 2.6 GHz 主频，其能效与频率改进也是相当喜人的。 至于 AIB 合作伙伴那边，我们预计也会有更多出厂超频 2.7 - 2.8 GHz 的 SKU、
[家用电子]
三星紧随苹果自研GPU
今年苹果发布会上，除了发布具有重大突破的iPhone X外，还有一大亮点是它们自研的A11芯片，这颗芯片首次集成了苹果自研GPU。下面就随网络通信小编一起来了解一下相关内容吧。 继苹果之后，三星也要加入自研GPU行列了。 摆脱高通/ARM束缚！三星紧随苹果自研GPU 三星招聘信息显示，它们正在寻找杰出的软件和硬件人才。同时三星透露它们位于奥斯汀和圣何塞的GPU团队正在开发定制GPU，将部署在三星移动产品中。 从上面不难看出，三星未来芯片有望集成自研GPU并应用在自家手机上，这对于供应商来说，又少了一个铁饭碗。 我们知道目前三星主要采购的是 ARM Mali，三星目前的旗舰芯片Exynos 88
[网络通信]
Arm 2022年的全面计算战略都带来了哪些创新？
2019 年，Arm推出了全面计算（Total Compute）战略，采用整体、以解决方案为中心的 SoC 设计方法。通过超越单个 IP 元素来设计和优化系统，以创建用例驱动的解决方案，为下一个十年不同行业的计算创新提供动力。 2021年，伴随着Armv9指令集的诞生，以及Cortex-X2/A710/A510等IP发布，标志着Arm首次进入了全面计算时代，并标志着64位计算时代的全面到来。 时隔一年，Arm在2022年继续更新了全面计算解决方案，并作出了多项重要创新。其中包括全新旗舰产品 Immortalis GPU，实现了基于硬件的光线追踪功能，为手游体验带来了显著增强。此外，旗舰型CPU Cortex-X3的性能也得
[半导体设计/制造]
深度学习高手笔记 (刘岩)
硬件架构艺术：数字电路的设计方法与技术
京公网安备 11010802033920号