新型忆阻器芯片:更适合机器学习和大数据!

发布者:真情相伴最新更新时间:2017-05-31 来源: IntelligentThings关键字:冯·诺依曼体系结构  忆阻器  机器学习 手机看文章 扫描二维码
随时随地手机看文章

导读

最近,美国密西根大学的研究人员开发出一种新型忆阻器芯片,它能够突破传统计算机体系结构所遭遇的瓶颈,更加适用于人工智能的机器学习系统,更好应对复杂的大数据问题,且功耗更低、速度更快。

背景


今天的创新技术介绍,还是从著名的“冯·诺依曼体系结构”开始。冯.诺依曼体系结构在计算机技术中有着十分重要的地位,现代大多数的计算机都是按照这个体系结构进行设计的。


那么,什么是冯·诺依曼体系结构呢?


顾名思义,这种计算机体系结构是由美籍匈牙利科学家冯·诺依曼(John von Neumann)于1946年提出。一句话来说:


它是一种将“程序”和“数据”放在同一存储器中的体系架构。


冯·诺依曼提出了“存储程序”的原理,将程序指令也看作成一种“数据”,和普通数据一样,存放于同一存储器中。


接下来,我们通过一张示意图,更好地了解一下冯·诺依曼体系结构的架构:


(图片来源于:维基百科)

传统的计算机教科书都会说明,冯·诺伊曼结构的计算机分五部分:输入设备、输出设备、存储器、运算器和控制器,其中控制器和运算器统称为中央处理器即CPU。


存储器(内存)用于存储程序指令和数据,CPU则用于执行指令和处理相关数据。几乎所有的冯·诺依曼型计算机CPU,工作都可分为五个阶段:取指令、指令译码、执行指令、访存取数和结果写回。然而,其中不少的工作需要和内存进行交互,所以对于这个架构,我们需要特别注意:


CPU和内存是分离的。


然而正是由于这样,才导致了所谓的“冯·诺依曼瓶颈”:


CPU与内存之间的吞吐量(即数据传输率),相比于内存的数据容量,显得相当小。数据吞吐量也远远低于CPU处理数据的工作效率。


例如,当CPU对于大量的数据,只需要进行简单的指令处理时,这种数据传输率就会严重影响处理速度,照成数据的传输和处理之间,在速度上的不匹配,也就是说CPU必须停下来,等待内存中的数据传输过来。


随着计算机技术的进步,CPU的处理速度在不断提高,内存的容量也在不断扩大,但是内存访问速度的增长却缓慢,这样导致瓶颈日趋严重。


如今,我们已经进入“大数据”的时代,人工智能的机器学习技术正迅速发展。但是,由于传统的计算机硬件体系结构所存在的瓶颈,CPU和存储器之间进行数据通信时,会出现低速度和高能耗的情况。同时,这样也会带来传统计算机成本和体积进一步增加。


针对这一瓶颈,业界也有一些解决方案,例如:存储器时钟频率、增加总线宽度和缓存Cache等技术。笔者曾在《新型缓存技术:将计算机应用程序运行速度提高9%》一文中介绍过缓存相关的创新技术。


但是,它们都是在缓解问题,并不能从根本上解决问题。


创新


最近,美国密西根大学的研究人员进行相关的创新探索,他们受到了哺乳动物视觉系统的启发,开发出了一种新型的计算机电路,即忆阻器。它可以更好应对复杂的大数据问题,例如:大量的图片和视频,并且功耗更低、速度更快。


忆阻器,不仅可以用于存储数据,还可以实现逻辑计算。所以,它可以有效解决CPU和内存之间速度不匹配的问题,也就是所谓的“冯·诺依曼瓶颈”和“内存墙”的问题,进一步突破带宽和功耗所带来的限制。


密西根大学电气工程和计算机科学专业的教授卢伟(音译),是这项研究的领导作者,相关研究论文最近发表于《自然纳米技术》杂志上。


(图片来源于:密西根大学)


技术


接下来,我将从技术角度,带大家深入观察一下这项创新技术。简单说,科研人员要打造的是一种用于下一代计算机的组件,他们想要利用模式识别的方法,进一步解决传统计算机在处理大量图片时所面临的速度和能耗问题。


他们提出了一种能够快速有效地分析和重建图像的新方案,核心技术可以从两方面讲:硬件方面,采用的是“32×32忆阻器阵列”;软件方面,采用的是“稀疏编码”算法。下面,我们分别介绍一下这两项核心技术。


  • 忆阻器

忆阻器,相信大家并不会陌生,笔者曾在《苏州大学科学家利用二维材料制成阻变式存储器!》、《新型纳米级忆阻器诞生:可实时处理神经活动数据》、《新型纳米级忆阻器诞生:可实时处理神经活动数据》这几篇文章中为大家介绍过。让我们再回顾一下:

忆阻器,英文名 “Memristor” ,这个概念最早由任教于美国柏克莱大学的华裔科学家蔡少棠于1971年提出。他推断在电阻、电容和电感器之外,应该还有一种电气组件,可以代表着电荷与磁通量之间的关系。

忆阻器,是一种有记忆功能的非线性电阻,它的电阻会随着流过的电流而改变。在断电之后,即使电流停止了,电阻值仍然会保持下去,直到反向电流通过,它才会返回原状。所以,通过控制电流变化可以改变它的阻值,然后例如将高阻值定义为“1”,低阻值定义为“0”,就可以实现数据存储功能。人们通常将它用于构建高密度非易失性的阻变存储器(RRAM)。


2010年,惠普实验室再次宣布,忆阻器具有布尔逻辑运算功能,这对于计算机学界来说,是一个大新闻。它意味着:计算和存储两大功能可在忆阻器上合为一体。然而,传统的冯·诺依曼体系结构是将逻辑计算和数据存储分开,用处理器和存储器分别来实现。所以,相对传统计算机,忆阻器将更为高效。


忆阻器网络,与生物大脑的神经网络相似,可以同时处理许多任务。最重要的是,它无需反复移动数据。它可以并行地处理大量信号,特别适合于机器学习系统。对于实现深度神经网络而言,忆阻器相对于传统计算机系统结构,是一个更好的选择。深度神经网络,是机器学习研究中的一个新领域,它旨在建立一个模拟人脑进行分析学习的神经网络,模仿人脑机制来解释图像,声音和文本等数据。


  • 稀疏编码

要了解稀疏编码这个概念,我们还是从人眼视觉感知机制说起。人眼视觉系统是一种高效的图像处理系统,从视网膜到大脑皮层存在一系列细胞,会以“感受野”的模式进行描述。感受野,是处理视觉系统信息的基本结构和功能单元。但是,单个神经元只对某一频段的信息呈现较强的反映,如特定方向的边缘、线段、条纹等图像特征。所以,它的感受野具有局部性、方向性和带通特性。


那么,神经元是如何对于这些刺激进行表达的呢?


答案是,它则采用了稀疏编码(Sparse Coding)原则,将图像在边缘、端点、条纹等方面的特性,以稀疏编码的形式进行描述。从数学的角度来说,稀疏编码是一种多维数据描述方法,具有存储能力大、联想记忆能力、计算简便、处理速度快等优势。

对此,我们看看卢伟(音译)教授的解释:


“当我们看到一个椅子,我们会能够识别它,是因为它的特征和我们存储在大脑中的椅子图片相似。尽管并不是所有的椅子都一样,而且有些和大脑中作为标准的原型不一致,但是每个椅子都保留了一些可以很容易被识别的关键特征。基本上,物体在被正确地分类(以恰当的分类“存储”在我们大脑中)的时候,它就能被正确识别。”


同样地,卢教授设计的系统也能够十分高效地检测图案,而且可利用尽可能少的特征,来描述原始输入。卢教授说,在我们大脑中,不同神经元用于识别不同的图案。


“当我们看到一幅图片,用于识别它的神经元将变得更加活跃。这些神经元也将互相竞争,进而自然地创建一个有效的代表。我们将这种策略实现到我们的电子系统中。”


价值


(图片来源于:密西根大学)


研究人员训练他们的系统可以学习图片“字典”,通过在一些列灰度图像模式的基础上进行训练,忆阻器网络能够重建一些著名的图画和照片,以及其他的测试图案。


这个系统有望集成进传感器和摄像头等小型设备中,用于实时处理和分析视频和图像。快速高效地处理大量图像,特别是对于无人驾驶汽车来说,具有十分重要的意义。


另外,由忆阻器构建深度神经网络,打造人工智能系统,将在图像、语音、自然语言处理等方面具有广阔的前景。这项研究再次让我们感受到了忆阻器在人工智能和下一代计算机等方面的巨大价值。


参考资料

【1】http://ns.umich.edu/new/releases/24856-next-gen-computing-memristor-chips-that-see-patterns-over-pixels

【2】Patrick M. Sheridan, Fuxi Cai, Chao Du, Wen Ma, Zhengya Zhang, Wei D. Lu. Sparse coding with memristor networks. Nature Nanotechnology, 2017; DOI: 10.1038/nnano.2017.83

【3】

本文为一点号作者原创,未经授权不得转载


关键字:冯·诺依曼体系结构  忆阻器  机器学习 引用地址:新型忆阻器芯片:更适合机器学习和大数据!

上一篇:西部数据拟联手KKR竞购东芝芯片部门
下一篇:慧荣科技宣布推出支持最新SD 6.0规范的SD控制器解决方案

推荐阅读最新更新时间:2024-05-03 01:13

机器学习辅助优化在天线与阵列设计的应用
一、 研究背景 近年来,随着无线移动通信和雷达等无线电系统快速发展,天线与阵列的设计已经逐渐成为无线电系统设计最为关键且复杂的任务之一。传统上,天线与阵列设计非常依赖工程师的认知和经验,需要通过全波电磁场仿真工具进行扫参、试错,或对试验产品进行手工调试等方式寻找影响天线性能的结构及参数。然而,对天线与阵列进行手动优化等方法已经逐渐不再适用于大规模量产的商用无线通信及雷达系统。天线与阵列的工作频率不断上升,毫米波移动通信和雷达都已进入商用阶段,而加工精度却很难同比例提升。因此,加工误差引发的性能改变越来越显著,经常成为提升产品良率的难题。 一方面,在现代通信及雷达系统中的天线设计中,工程师需要将不同频段的天线与其他有源及无源射频
[嵌入式]
<font color='red'>机器学习</font>辅助优化在天线与阵列设计的应用
数据与机器学习领域进展缓慢 2018年这些公司成为最大赢家
Gartner调查显示,企业在数据和分析方面进展缓慢。很少有组织能够在“转型”级别使用数据,并且接近Gartner调查的三分之二组织仍在考虑“企业报告,以处理他们最关键的数据和分析应用”。 Gartner副总裁Nick Heudecker提供了一些警示性建议:“机器学习和人工智能很容易被‘盗走’。但传统形式的分析和商业智能仍然是组织当今如何运作的关键部分,而这在短期内不太可能改变。” 企业如何判断自己是否应当在人工智能和机器学习计划中“踩刹车”?数据和分析行业日趋成熟的方式有问题吗? Gartner的这份报告总结了数据与机器学习领域的最大赢家,或许可以帮助你找到答案。 2018年的报告采用多个标准评估了16家分析和数据科学公司,并
[机器人]
高效并行存算融合技术—忆阻器
在计算量和数据量变得越来越大的今天,计算和存储成为了下一步科技发展中要面临的两座大山,下一代高性能计算机系统必须突破存储墙问题。在过去,这两者一直都是各自发展,再通过下游产品产生交集。但伴随着未来器件小型化、集成度高的趋势,使得这两者开始融合。在这当中,存算一体技术得到了发展。 就科技发展趋势来看,未来无人驾驶、人脸人别、智能机器人等场景,都将是存算一体技术的发展机会。目前,存算一体主要的实现方式有两种,一种是基于易失性、现有工艺较成熟的SRAM或DRAM构建,另一种是基于非易失性、新型存储器件或新材料构建。 为了提高效率,科研人员开发了各种加速部件和专用的深度学习处理器,GPU、TPU等相继在市场内出现。但由于,这些场景
[嵌入式]
高效并行存算融合技术—<font color='red'>忆阻器</font>
人工智能将在零售业实现自动化管理
“人工智能在零售行业的应用,除了前端消费者体验的优化,还将在企业后端发挥巨大的作用。” 李宁集团 IT 总监朱远刚日前在接受记者采访时表示,“一方面是在产品设计研发阶段,设计师可以借助 AI 技术大大提高设计的速度和效率。另一方面是在业务决策中,AI不仅可以帮助企业做数据分析,还可以进行自动化决策。”   为消费者提供“炫酷”的体验 事实上,我们已经看到AI在人们生活衣食住行各个角落提供了诸多的便利。当我们通过淘宝、京东、唯品会等电商平台网购时,就已经在接触AI。譬如,在搜索商品时页面出现“相似商品”的图案,这就是最简单的AI应用,即借助AI技术自动为购物者提供有效的建议,减少消费者浏览商品的时间和精力。   然而,消费者在购物过
[嵌入式]
Achronix和Signoff携手为人工智能/机器学习提供FPGA和eFPGA IP服务
Achronix和Signoff半导体携手为人工智能/机器学习应用提供FPGA和eFPGA IP设计服务 双方的合作将加快基于Speedster7t FPGA和SpeedcoreeFPGA IP的解决方案的开发 中国深圳市,2021年8月31日–高性能现场可编程逻辑门阵列(FPGA)和嵌入式FPGA(eFPGA)半导体知识产权(IP)领域的领导性企业Achronix半导体公司,与在FPGA和专用集成电路(ASIC)领域中提供从规格制定到芯片完成设计服务的Signoff Semiconductors公司宣布建立合作伙伴关系,为人工智能和机器学习(AI/ML)应用提供专业的FPGA和eFPGA IP设计服务解决方案。Signo
[嵌入式]
解读机器学习的未来
在刚刚结束的CC AI 上,今日头条科学家李磊同我们分享了一些他对机器学习未来发展方向的一些思考,以及在此基础上讨论了一下我们还要做些什么才能向通用型AI再靠近一点的问题。今日头条最初是一家新闻聚合平台,但素有应用AI来解决问题的传统。最近今日头条也做出了自己的新闻 机器人 ,在里约奥运期间自动完成了大量的报道。而李磊作为有着多年机器学习、 人工智能 和深度学习领域研究经验的科学家。在这个问题上也有着自己的看法。     李磊在演讲中说,要弄清楚我们离通用机器人还有多远,首先要弄明白三个方面:一是人工智能是什么?二是现在我们能做到什么程度?在搞清楚这两个问题后我们才能去研究第三个方面:我们的局限在哪里?我们的挑战在哪里
[嵌入式]
斯坦福机器学习公开课笔记12--混合高斯模型、混合贝叶斯模型
  本文对应公开课的第13个视频,这个视频仍然和 EM 算法非常相关,第12个视频讲解了 EM 算法的基础,本视频则是在讲 EM 算法的应用。本视频的主要内容包括混合高斯模型(Mixture of Gaussian, MoG)的EM推导、混合 贝叶斯 模型(Mixture of Naive Bayes,MoNB)的EM推导、因子分析模型(Factor Analysis Model)及其EM求解。由于本章内容较多,故而分为AB两篇,本篇介绍至混合模型的问题。下面就随嵌入式小编一起来了解一下相关内容吧。   很久没有写这个系列的笔记了,各种事情加各种懒导致的。虽然慢但是我还是会坚持把它写完的,就像一只打不死的小强,也像古人说的那样,
[嵌入式]
智能手机不停撞脸 AI原来才是对抗山寨的杀手锏
智能手机领域如今已是一片红海,硬件的元器件被几家巨头控制,各个厂商做出来的手机在外观和配置上也都越来越接近,系统方面随着谷歌和一众厂商近几年的努力,Android和iOS的差距也不如以前那么大了。在产品同质化越来越明显,而竞争还有增无减的情况下,如何在未来的手机市场继续保持领先,谷歌和苹果给出的答案不约而同:AI和机器学习。   AI和机器学习最大的优势在于无法被简单的抄袭复制,它们需要巨大的数据量和长时间的运算,这些都是新兴公司无法承担的,而所有的运算结果也无法被“反编译”,所以即使有资本有技术,但要从头开始追上领跑者,也非常困难。今年,谷歌和苹果的新手机都应用了他们在AI和机器学习领域的最新成果,这也成了他们区别于其他手机厂
[手机便携]
小广播
最新嵌入式文章
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

换一换 更多 相关热搜器件
随便看看
电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved