光子张量CPU:迸发5G机器学习新活力

2020-07-29来源: EEWORLD关键字:光子张量CPU  5G  AI  ML

翻译自——EEtimes

 

近期,一种用光子张量处理器代替GPU来进行机器学习的神经网络计算的新方法表明,在处理光学数据传输的性能上可以提高2-3阶。这也表明光子处理器具有增强电子系统的潜力,并可能在5G网络边缘设备中表现强劲。

 

 

美国乔治华盛顿大学电子和计算机工程系的Mario Miscuglio和Volker Sorger在《应用物理评论杂志》上发表了一篇论文,题为《基于光子的处理单元使更复杂的机器学习成为可能》。

 

在他们的方法中,光子张量核并行执行矩阵乘法,这提高了深度学习的速度和效率。在机器学习中,神经网络被训练来学习如何在不可见的数据上执行无监督的决策和分类任务。一旦神经网络对数据进行了训练,它就可以产生一种推断,从而对对象和模式进行识别和分类,并在数据中找到一个特征。

 

光子TPU并行存储和处理数据,具有电光互连的特点,可以有效地读写光存储器,并与其他架构进行接口。

 

作者之一Mario Miscuglio表示:“我们发现集成了高效光存储的集成光子平台可以获得与张量处理单元相同的操作,但它们只消耗一小部分的功率,并具有更高的吞吐量,如果经过适当的训练,可以用于以光速进行推理。”

 

大多数神经网络旨在模仿人类大脑的多层相互连接的神经元。表示这些网络的一种有效方法是将矩阵和向量相乘的复合函数。这种表示方式允许通过专门用于向量化操作(如矩阵乘法)的架构来执行并行操作。

 

Photonic tensor core and dot product engine

 

(a)光子张量核(PTC)由一个16点积引擎组成,内在独立地逐列逐行逐点乘法和累加。点积引擎执行两个向量之间的乘法。输入矩阵的第i行由由高速(如马赫-曾德尔)调制器调制的波分复用信号给出。通过适当设置核矩阵的权值状态,将核矩阵的第j列加载到光子存储器中。利用光-物质与相变存储器的相互作用,利用微环谐振器(MRR)对输入信号进行频谱滤波,并采用看似量子化的电吸收方案进行加权。(例如调幅),从而执行按元素进行的乘法。使用光检测器将元素式乘法非相干求和,这相当于MAC操作(Dij)。

 

任务越智能化,预测精度就越高,网络就越复杂。这样的网络需要更大的计算量和更大的处理能力。当前适合于深度学习的数字处理器,如图形处理单元(GPU)或张量处理单元(TPU),由于所需的功率以及处理器和存储器之间电子数据的缓慢传输,在执行更复杂、更精确的操作方面受到了限制。

 

研究人员表明,他们的TPU性能可以比电子TPU高出2-3个数量级。对于计算节点分布式网络和在网络边缘(如5G)执行高吞吐量智能任务的引擎来说,光子可能是一个理想的匹配。在网络边缘,数据信号可能已经以来自监控摄像机、光学传感器和其他来源的光子的形式存在。

 

Miscuglio:“光子专用处理器可以节省大量的能源,提高响应时间并减少数据中心的流量。”对于终端用户来说,这意味着处理数据的速度要快得多,因为数据的很大一部分是预处理的,这意味着只需要将其余部分数据发送到云或数据中心。

 

光与电的较量

 

本文给出了利用光路完成机器学习任务的实例。在大多数神经网络(NNs)中,每一个神经元和每一层,以及网络的互连,都是训练网络的关键。根据训练,在其连通层中,神经网络强烈依赖于向量矩阵的数学运算,其中输入数据和权重的大矩阵根据训练相乘。复杂的、多层的深层神经网络需要大量的带宽和低延迟,以满足执行大矩阵乘法所需的大量操作,而不牺牲效率和速度。

 

那么如何有效地将这些矩阵相乘呢?对于通用处理器,矩阵操作在需要连续访问缓存内存的情况下串行进行,从而产生冯·诺依曼瓶颈[1]。而GPU和TPU等特殊的架构,有助于减少这些冯·诺依曼瓶颈的影响,使一些有效的机器学习模型成为可能。

 

与CPU相比,GPU和TPU意义重大,但是当用它们来实现深度神经网络对大型2维数据集(如图像)执行推断时,可能会耗电,并且需要更长的计算运行时间(大于几十毫秒)。对于不那么复杂的推理任务来说,更小的矩阵乘法仍然受到不可忽略的延迟挑战,主要是由于各种内存层次的访问开销和GPU中执行每条指令的延迟。

 

作者建议,在这种情况下,有必要探索和重新研发当前逻辑计算平台的操作范式,在这种逻辑计算平台中,矩阵代数依赖于对内存的连续访问。在这方面,光的波动性质和相关的固有操作,如干涉和衍射,可以在提高计算吞吐量和同时降低神经形态平台的功耗方面发挥重要作用。

 

他们建议未来的技术应该在其随时间变化的输入信号所在的领域执行计算任务,并利用其内在的物理操作。在这个观点中,光子是计算节点分布式网络和在网络边缘(如5G)对大数据执行智能任务的引擎的理想匹配,其中数据信号可能已经以光子的形式存在(如监控摄像头、光学传感器等),从而预先过滤和智能调节允许向下游流向数据中心和云系统的数据流量。

 

在这里,他们探索了利用光子张量核(PTC)的方法,该方法能够与训练好的核进行一次性的4乘4矩阵的(非迭代的)和完全被动的乘法和积累。换句话说,一旦NN被训练,权重被存储在一个4位的多层光子存储器中,直接在芯片上实现,而不需要额外的电光电路或芯片外DRAM。该光子存储器具有低损耗、相变、纳米光子电路的特点,其基础是将G2Sb2Se5的导线沉积在一个平面波导上,可以使用电热开关进行更新,并且可以完全通过光学读取。电热开关是由夹住相变存储器(PCM)导线的钨加热电极实现。

 

 

作者表示,这项工作代表了实现并行存储数据和处理的光子张量处理器的第一种方法,与提供实时分析的最先进的硬件加速器相比,它可以将相乘累积(MAC)操作的数量提高几个数量级,同时显著降低功耗和延迟。

 

与依赖逻辑门的数字电子学不同,在集成光子学中,乘法、积累和更一般的线性代数运算可以固有地、非迭代地执行,得益于信号的电磁特性和有效的光物质相互作用所提供的内在并行性。在这方面,集成光子学是一个理想的平台,映射特定的复杂操作一对一到硬件,在某些情况下算法,实现时间复杂度。

  

 


[1] 冯·诺依曼架构为计算机大提速铺平了道路,却也埋下了一个隐患:在内存容量指数级提升以后,CPU 和内存之间的数据传输带宽成为了瓶颈。


关键字:光子张量CPU  5G  AI  ML 编辑:muyan 引用地址:http://news.eeworld.com.cn/qrs/ic504715.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:为物联网产品上市提速,安富利MaaXBoard Mini单板计算机问市
下一篇:矽典微百毫瓦级超低功耗毫米波传感器SoC问市

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

是德5G UEE解决方案加速Mavenir在5G 核心网平台软件开发速度
是德科技公司和业内的 4G/5G 网络端到端云原生网络软件提供商 Mavenir 宣布,Mavenir 已选中是德科技的 5G 用户设备仿真(UEE)解决方案,用以加速 5G 无线接入网(RAN)和 5G 核心网(5GC)平台的软件开发。是德科技是一家领先的技术公司,致力于帮助企业、服务提供商和政府客户加速创新,创造一个安全互联的世界。 移动行业正在迈向使用标准开放式 RAN 接口的虚拟 RAN(vRAN)架构,以期通过灵活、经济高效的方式满足由消费者和垂直行业共同推动的各种需求
发表于 2020-07-27
欧盟:实现5G供应商多元化是成员国发展的必经之路
据外媒报道,欧盟委员会于当地时间周五表示,各成员国必须采取紧急行动,使其5G供应商多样化,此举将缩小华为在欧洲的影响。此前,美国已经向欧盟施压,要求其效仿英国,禁止华为进入5G网络。                                                2019年11月,欧盟同意对5G供应商采取强硬立场,以降低下一代移动网络的网络安全风险,这被视为促进经济增长
发表于 2020-07-27
欧盟:实现<font color='red'>5G</font>供应商多元化是成员国发展的必经之路
全球5G手机产量排名预测,中国拿下4席,第一你已经猜到了
据集邦咨询旗下半导体研究调查,目前推动5G商转属中国最为积极,观察其5G基站建设数量与网络的覆盖表现,皆位居全球之冠,也因此中国手机品牌针对5G手机超前部署,在2020上半年已囊括全球75%的市占率。机构预计,华为今年5G手机产量约7,400万支,稳居全球第一... 今年智能手机市场延续5G话题,手机品牌与移动处理器大厂高通、联发科等,都以扩大5G手机市占为目标。根据集邦咨询旗下半导体研究处调查,目前推动5G商转属中国最为积极,观察其5G基站建设数量与网络的覆盖表现,皆位居全球之冠,也因此中国手机品牌针对5G手机超前部署,在2020上半年已囊括全球75%的市占率。 集邦咨询表示,2020下半年除了Android
发表于 2020-07-27
全球<font color='red'>5G</font>手机产量排名预测,中国拿下4席,第一你已经猜到了
中国联通:5G将为中国工业物联网翻开新篇章
中国联通官方微信公众号近日发文谈到了5G在工业互联网领域的用途,具体表现如下: 1.海:赋能船舶智造“乘风破浪” 为了充分发挥企业间协同效应,中国联通联合行业相关龙头企业打造了基于船舶行业的协同设计服务平台,实现了供应商直接参与建模和模型线上交付等功能,极大提高了设计环节中的工作效率。 此外,上海联通与国内某大型造船厂携手打造的全球首个结合5G技术的船舶自组网应用,实现了大型船舶重要舱室的网络全覆盖,为船舶内部安防、视频监控、远洋办公等应用提供了优质的网络覆盖保障。 2.陆:点燃钢铁行业智慧新“火花”   钢铁工业是大型复杂流程工业,并且处于制造业整个链条的中间环节,具有
发表于 2020-07-27
中国联通:<font color='red'>5G</font>将为中国工业物联网翻开新篇章
5G标准R16与R17有何不同?紫光展锐来作答
近日紫光展锐官方微信公众号发文解读5G新标准R16与R17,我们一起来看看。                                                首先是R16 5G标准,它在增强型行动宽带能力和基础网络架构能力提升的同时,强化支援垂直产业应用,其涵盖载波聚合大频宽增强、提升多天线技术、终端节能、定位应用、5G车联网、低时延高可靠服务、切片安全、5G蜂窝物联网
发表于 2020-07-27
<font color='red'>5G</font>标准R16与R17有何不同?紫光展锐来作答
红魔5G BOM表曝光:整套高通5G方案+专利保护伞
努比亚在手机行业一直是个特别的存在,不缺乏技术创新和优秀的设计,但一直没有太大的存在感。在传统手机行业竞争失利后,努比亚开始进军游戏手机这个细分市场,推出红魔游戏手机,手机加入离心风扇的设计让红魔游戏手机做出了差异化卖点,在细分市场终于取得了不错的成绩。我们已经对红魔5G进行了拆解,这次我们将从BOM表及元器件成本方面进行解析。红魔5G配置一览:SoC:高通骁龙865处理器丨7nm工艺屏幕:6.65英寸丨AMOLED全面屏丨分辨率 2340x1080 丨屏占比83.1%存储:8GB RAM+ 128GB ROM前置:800万像素自拍镜头后置:6400万主摄+800万超广角+200万微距电池:4400mAh锂离子聚合物电池特色:侧边
发表于 2020-07-24
红魔<font color='red'>5G</font> BOM表曝光:整套高通<font color='red'>5G</font>方案+专利保护伞
小广播
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

换一换 更多 相关热搜器件
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2020 EEWORLD.com.cn, Inc. All rights reserved