快速、可伸缩的存储才可支持HPC和AI的计算

2019-09-23来源: eefocus关键字:HPC  AI  人工智能  机器学习  闪存  Flash

根据定义,HPC(高性能计算)始终处于计算的最前沿,推动处理器、系统和软件设计方面的创新,最终进入更主流的计算系统。

 

随着我们迈向百万兆时代,机器学习和数据分析正在创造许多最具挑战性的HPC工作负载。这意味着数据处理和存储,以及在必要时与供应商无关的需求,在构建HPC堆栈时变得越来越重要,并从中获得最大收益。那么,目前的技术水平如何,在短期内可能会发生什么变化呢?

 

HPC的诞生是为了满足对专用计算机进行仿真和建模的需求,其功率是通过每秒的浮点运算来测量的。在1972年引进CRAY 1超级计算机之前,Seymour Cray于1964年参与了CDC 6600系统的开发,该系统具有每秒300万次浮点运算的能力,并连续五年成为世界上运算速度最快的计算机。这类系统的使用和用户相对较少,CDC 6600系统获得了100个客户,主要来自大型企业、美国政府和军方。

 

几十年来,HPC的规模和采用逐渐扩大,包括更多的多核处理器、高性能连接器和集群机器。此外,HPC制造商还与合作伙伴和应用程序科学家在高性能存储等领域进行了合作设计。

 

根据Hyperion Research的数据,如今的HPC通常可以达到数十甚至数百万亿次的运算,市场价值超过112亿美元,涉及生物和地球科学、化学工程、金融服务、学术界和气象服务等垂直领域。与半个世纪前相比,今天推动HPC增长的是大数据,特别是分析,机器学习正逐渐成为形成HPC的市场。

 

利用大规模HPC的优势意味着创建合适的堆栈,根据Cray全球系统工程总监Rex Tanakit的说法,其基础是正确的存储架构。如果弄错了,那你对计算能力的巨额投资将一事无成。

 

“随着我们向百万兆迈进,计算将产生大量数据。应用程序将读取大量数据并处理这些数据。 并且,计算和处理将产生更多数据,“他说。“确保你在HPC上的投资得到正确使用,是各个层面的要求,这意味着高效快速的存储,可以尽快的进行计算并提供数据。

 

“这一事实适用于所有工作负载,包括典型的和非典型的的——在国家实验室级别,或在使用HPC用于各种工作负载和许多不同数据类型的许多不同行业中。 很难有一个适合适合所有人的单一存储设计,”他表示。

 

并非所有HPC都一样
HPC涵盖各种规模的组织。 因此,工作量是多种多样的。 例如,在多个团队共享资源的情况下,同时运行数百万个模拟研究药物发现或天气预测通常意味着需要高速主存储器来保存应用程序中的大量数据。当涉及到国家实验室级的科学时,系统必须使用自定义应用程序,而工程师必须针对代码调整和优化其HPC系统。

 

人工智能凭借其机器学习和神经网络,是一个快速增长的市场,它封装了许多这样的用例。包含大数据、分析、处理速度,以及为新代码或自定义代码构建和调整系统的需求。由于软件的突破,人工智能正在进入HPC,以前更多的开发人员可以访问代码,并且能够在HPC的计算和存储上运行。

 

“在这里获取数据和数据架构至关重要。人工智能是数据的巨大消费者 ,以速度和规模提供数据。scale元素基于一个合理大小的数据集,以便人工智能模型开始学习。“Tanakit继续说。

 

Cray认为,只要将新数据输入模型,算法就会随着时间的推移而改进。 这需要大量的数据存储和处理能力。因此,选择能够平衡性能、可伸缩性和可用性的系统是明智的。

 

根据Tanakit的说法,500 GB已成为一个相当大的数据集,但我们可能有很多这样的数据集,如今,对于一个典型的人工智能工作负载,一个PB或半个PB是很常见的。但企业通常无法回答的问题是:“你的数据集是什么样子的。”

 

要回答这个问题,需要正确的工具来运行和收集数据。“做分析很重要,然后进行配置,并将技术与工作负载正确匹配,”Tanakit说。

 

人工智能只是一个例子。在这些大型系统中,越来越多的应用程序落入不断增长的“数据密集型”的范畴。其它领域包括基因组学、计算化学、蛋白质建模、高级天气模拟和预报,以及油气地震处理。它们的共同特点是计算密集型、具有高水平的网络性能和大量内存。

 

平衡容量与性能
针对不同类型的工作负载和工作流程,最佳的优化存储平台类型是什么? 同一系统可能需要处理各种大文件、流数据和小文件的混合。这些混合工作负载将需要一个混合硬件设置,包括适合流式传输的传统SAS磁盘驱动器和用于高IOPS的固态硬盘。

 

这意味着要用正确的磁盘与闪存的比率构建一个存储体系结构。很少有公司能够负担得起全部使用闪存来管理PB级的数据。而且闪存并不是一种适合长期存储和检索的媒体。在工业用例中,这仍然给识别数据与优化磁盘和SSD之间的数据移动带来了挑战。

 

通过Cray的ClusterStor L300N存储系统提供的策略驱动存储,其NXD加速器可识别并将小数据块指向SSD和大数据流到磁盘。ClusterStor L300N存储系统管理混合I/Os,它将新硬件配置与软件相结合,提供自动功能,无需单独的存储层即可有选择地提高性能。该软件还包括读取持久性、回写、I/O直方图、性能统计和动态刷新。带有NXD闪存加速器的ClusterStor L300N存储系统,可以无缝地处理并行文件系统的小文件I/O和大顺序I/O。

 

当然,业界也在讨论闪存以及基于闪存的HPC存储系统。闪存有望成为HPC存储中必不可少的技术,将成为HPC存储领域的一项重要技术。

 

从性能的角度来看,所有的闪存系统具有很大的吸引力,它大约比磁盘快15倍。因此,Flash在每个IOPS的价格和吞吐量上很容易击败磁盘。然而,闪存的容量存储成本很高,大约是磁盘的5倍。考虑到这一事实以及磁盘的占用空间和混合I / O工作负载的性质,磁盘驱动器将在一段时间内成为现实,使HPC中的存储成为一种混合应用。

 

计算集群和较慢的基于磁盘的存储层之间的基于闪存的存储层可以为超级计算机提供更快的存储资源。但如何跨越这个复杂的世界呢?

 

使用闪存和磁盘时,无需使用单独的存储层、强制数据移动,不需要用户重写或重新编译应用程序,也不需要复杂的策略引擎来处理工作流。

 

简而言之,它应该对用户,应用程序和所选的文件系统透明。

 

除了NXD的ClusterStor L300N存储系统外,Cray最近还推出了ClusterStor L300F存储系统,这是一个完整的闪存双机架单元,拥有24个SSD机箱,旨在创建一个具有加速的混合闪存、磁盘系统,可指导I / O.到适当的存储介质。 L300F简化了存储管理,因为它允许管理员使用现有的工具和技能在基于lust的文件系统中创建闪存池。

 

光泽和开放性
如今,ClusterStor存储系统完全基于Lustre并行文件系统,这实际上是顶级超级计算环境中的标准,根据2018年6月的超级计算机500强排名,前100强系统中有77%使用Lustre。

 

作为开放系统和并行文件系统的领导者,以及OpenSFS的联合创始人和赞助者,Cray以社区驱动的Lustre为基础,使用Cray经过验证的HPC存储系统架构解锁Linux集群和超级计算机的性能。

 

Cray很早就意识到,无论是在架构上还是在经济上,专有文件系统将难以满足未来的存储需求。作为Lustre用户组的主要参与者,Cray工程师与所有参与者保持联系,他们定期向社区贡献专业知识和代码。

 

2017年末,CRAY通过与希捷的战略交易,收购了自己的Lustre开发和支持团队,增加了许多已经在CRAY工作的Lustre开发和支持工程师。在参与最新版本Lustre(2.11)的18个组织中,Cray在提交的数量和更改的代码行数方面都是第三大贡献者。

 

Cray的贡献包括:为一个已经很强大的文件系统增加企业可靠性,包括自适应超时、池和易用性附加功能,并提高了对大型生产站点的吸引力。

 

当然,Lustre已针对磁盘进行了优化,但闪存呢?Cray正在为闪存优化Lustre,包括服务器端配置、设置和IOPS性能调优。通过闪存优化,Cray正在减少隐藏在磁盘技术背后的软件本身的延迟。Cray还表示,它将探索在SAS、NVM Express和NMV Express over Fabrics中实现实施闪存的用例。随着这些优化的完成,Cray将把它们全部贡献给社区。

 

勿止步不前
很明显,对于HPC应用程序,只有混合存储架构和开放系统模型才能为真正的百万兆计算创建可行的路线图,既保护现有投资,又提供可伸缩的迁移路径。

 

今天,每个人都在讨论HPC的计算部分以及向百万兆的转变,但存储在这个领域变得越来越重要。除非能在SSD和磁盘之间建立有效数据,否则不要购买大规模计算。

 

这样可以避免产生瓶颈,优化工作负载效率并得到最大化投资回报。否则,我们会发现这只在静止状态下,并没有充分利用大量CPU。


关键字:HPC  AI  人工智能  机器学习  闪存  Flash 编辑:什么鱼 引用地址:http://news.eeworld.com.cn/qrs/ic475380.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:英伟达工资高居美国第二,股价两年上涨八倍
下一篇:面板行业寒冬,中华映管已宣布破产

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

康佳特宣布COM-HPC引脚获得批准
德国康佳特宣布,PICMG COM-HPC技术小组委员会批准了这一全新高性能嵌入式计算机模块规范的引脚。全新的COM-HPC标准即将进入规范1.0版本审批的冲刺阶段,预计于2020年上半年完成。COM-HPC工作组中的嵌入式计算机模块制造商与载板设计师现在可以开始根据预先获得批准的数据,进行第一次边缘计算设计,以期在英特尔®和AMD明年发布新一代高端嵌入式处理器的同时推出自己的产品。    PICMG主席Jessica Isquith对COM-HPC规范的进展非常满意,说到:“在PICMG,我们目前正在制定下一代的嵌入式计算机模块标准,这对于嵌入式和边缘计算领域非常重要。除了物理形态设计之外
发表于 2019-11-14
康佳特宣布COM-HPC引脚获得批准
台积电最新先进制程技术总结
节点吸取教训,7nm节点的缺陷密度曲线下降趋势是有史以来最快的(见下图)。随着公司进军高性能计算(HPC)领域,他们分别开始为移动客户和HPC客户报告晶圆尺寸为250平方毫米及以上的缺陷密度。  过去半年,台积电对7nm节点的需求环比下降约1%。收入绝大部分仍来自于他们非常成熟的16nm节点。不过,虽然台积电第二季度晶圆出货量符合预期的增长,但是与长期趋势相比,这实际上是三年来第二季度的最低销量。尽管如此,他们相信7nm将在全年实现25%的收入。  按收入份额划分的技术节点 台积电晶圆出货量 7nm 2代(N7P)台积电已经开始推出7nm制程的优化版本,称为7nm性能增强版
发表于 2019-08-13
台积电最新先进制程技术总结
Facebook准备发展加密货币,处理器封装或将迎来春天?
Facebook准备推出自家加密货币Libra及数位钱包Calibra,但由于美国国会民主党党团已发函Facebook要求暂停相关货币开发计划,众议院金融服务委员会将召开听证会进行审查。 若听证会顺利通过,可望带动主流虚拟货币(如比特币、以太币等)价格上扬,也将拉升ASIC(特用芯片)之HPC(高效能运算)挖扩机等封测需求,使得日月光等封测大厂2019年第三季营收将有新一波成长。 Facebook欲发展加密货币,整合HPC存储器与处理器之封装逐渐受到重视 虽然先前比特币价格暴跌的惨况,使得挖扩机需求在当时出现大幅衰退,但随着Facebook欲推出自家加密货币Libra趋势,再次驱使挖矿机芯片需求攀升
发表于 2019-07-24
Facebook准备发展加密货币,处理器封装或将迎来春天?
FPGA、可编程HPC—未来就靠你们了!
技术名词:FPGA、HPC、触发器过滤器、Github、HLS、hls4ml、Project Catapult、HWMS、ML、DNN、GEMM、Statix FPGA为高性能计算和机器学习提供了一种早期的架构专门化选项。 体系结构专门化是继续改进性能的一种选择,以克服摩尔定律中减缓技术步伐所带来的限制。无论是在功耗还是性能方面,使用特定于应用程序的硬件来加速应用程序或其中一部分,并允许使用更高效的硬件作为支撑。  考虑到为单个应用程序或工作流构建计算硬件的固有成本,这种策略不能用于所有应用程序。然而,通过将挑战组合成组,或者识别能够从加速中获益的关键工作负载或代码,很可能成为提高应用程序
发表于 2019-07-18
FPGA、可编程HPC—未来就靠你们了!
AI、HPC的助推器,下一代并行文件系统解决方案—EXA5
——翻译自NextplatformDataDirect Networks (DDN)推出了EXA5,这是该公司第五代Exascaler Lustre文件系统平台,将用于填充DDN的全闪存、中档和高端存储设备系列。Exascaler主要客户是针对HPC人群,但这个最新版本也吸引了更多面向企业客户的特性,尤其是那些从事人工智能工作的客户。 DDN高级营销总监Kurt Kuckein表示:“对于那些不那么熟悉DDN的企业来说,这些需求变得越来越明显。因此这款产品结合了我们存储功能和一些企业特性。” 多年来,DDN一直在有条不紊地为Exascaler软件添加一些利于企业的功能,人工智能市场
发表于 2019-07-03
AI、HPC的助推器,下一代并行文件系统解决方案—EXA5
2019年Q2智能手机应用处理器市场份额:AI芯片市场增长强劲
Strategy Analytics手机元件技术服务发布的研究报告《2019年Q2智能手机应用处理器市场份额追踪:高通以40%的收益份额保持领先》指出,2019年Q2,全球智能手机应用处理器(AP)市场收益同比下降2%至48亿美元。 Strategy Analytics的这份研究报告指出,高通,苹果,三星LSI,海思和联发科在2019年Q2占据了全球智能手机应用处理器(AP)市场收益份额的前五名。 高通以40%的收益份额遥遥领先,紧随其后的是苹果(20%)和三星LSI(13%)。 AI已在智能手机中悄然起飞,搭载AI的智能手机应用处理器出货量增速迅猛。Strategy Analytics预估,2019
发表于 2019-11-15
2019年Q2智能手机应用处理器市场份额:AI芯片市场增长强劲
小广播
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2019 EEWORLD.com.cn, Inc. All rights reserved