超大规模存储到底意味着什么？

    在企业级存储领域，企业组织并不一定需要利用超大规模的解决方案。但这恰恰正是当许多IT基础设施、操作运营和DevOps专家们在第一次了解超大规模这一概念时所认为的。
　　
    当下较为流行的理念是：超大规模的架构注定成为非常大型的基础设施——就像那些由LinkedIn、亚马逊或Netflix运营的设施——因为其可以扩展到成千上万的实例和PB级的数据。但事实证明，我们最好将超大规模理解为其描述的是一种方法，而不是规模大小。其是关于自动化、业务流程、以及当按照业务需求实现IT规模的智能化。超大规模的部署可以而且应该从小处做起，然后逐步扩展下去。他们也应该让您的企业组织能够根据自己的具体业务需求，单独对部分的基础设施实施规模化，而这是与另一种新兴的企业数据中心的趋势超级融合(hyperconvergence)基础设施相反的。
　　
    困惑了吗？如果是这样的话，其实您并不是唯一对此感到困惑的。下面就让我们更深入的分析这一点吧。
　　
    超大规模的界定
　　
    构建超大规模架构的概念是被许多的肤浅的术语所混淆了。特别是，我们的客户看到诸多包括了超级融合、超大规模(或网络规模)、融合、软件定义的和商品化的基础设施等等概念时，是很难不产生困惑的。
　　
    那么，让我们先花一定的时间来明确一下关于这些要素条件的定义吧：
　　
    • 软件定义的：基础设施的功能是完全与底层的硬件解耦的，并同时具备可扩展性和可编程性。读者朋友们可以通过这篇文章来进一步详细了解我们关于软件定义的存储的阐述。
　　
    • 商品化的：商品化的基础设施或按照行业标准打造的基础设施，通常配备一个x86机架或刀片服务器。我们过去曾多次提及不要将商品化的基础设施与廉价商品混为一谈。
　　
    • 融合：扩展架构的服务器、存储、网络、虚拟化/集装箱式组件捆绑在一起作为一个预测试、预集成的解决方案。在这种体系结构中，组件仍然是不同的。
　　
    • 超级融合的：扩展的架构朝着融合基础设施更进一步，通过将软件定义的组件与商品化的硬件结合，封装成一个单一的解决方案——其通常是一款单一的设备。组件不再是不同的。
　　
    • 超大规模：规模扩展的架构，同时也是软件定义和商品化的，但其服务器、存储、网络、虚拟化/集装箱式资源仍然是保持独立的。每个组件是不同的，可以独立缩放。
　　
    综上所述，超级融合的基础设施是现代化的、合乎极端逻辑的融合系统;而超大规模则是现代化的、合乎极端逻辑的我们已经部署了30年的数据中心的方式。两者在特定的环境下都有其意义，如下图所示。
 

    超大规模和超级融合的
　　
    在Hedvig公司，我们努力提供一款存储解决方案，其可以灵活地定制任何工作负载，从包括Docker和OpenStack在内的私有云，到部署运行在Hadoop或NoSQL的大数据，再到更为传统的服务器虚拟化、灾难恢复、备份和归档。Hedvig公司在服务器集群或云中的分布式存储平台虚拟化、聚集式flash闪存以及转盘式磁盘呈现为一个单一的、弹性的存储系统，可以通过文件、块或对象接口进行访问。
　　
    Hedvig分布式存储平台由三部分组成:
　　
    • Hedvig存储服务：专利的分布式系统引擎，拥有规模化存储性能和现成的x86和ARM服务器容量能力。该Hedvig存储服务可以运行在企业内部部署或诸如AWS、Azure、谷歌等公共云服务上。其提供了企业部署所需的所有的存储选项和功能，包括内联重复数据删除、内联数据压缩、快照、克隆、自动精简配置，自动分层和缓存。
　　
    • Hedvig存储代理：一个轻量级虚拟机或container容器可以使得用户能够通过行业标准协议访问Hedvig存储服务。Hedvig目前支持NFS文件和iSCSI块，以及OpenStack Cinder和Docker drivers。Hedvig存储代理还允许客户端缓存，利用本地SSD和PCIe闪存资源删除重复数据，以实现本地的快速读取和高效的数据传输。
　　
    • Hedvig APIs：基于REST和RPC的API用于对象存储和Hedvig操作。Hedvig公司目前支持Amazon S3和Swift对象存储。开发人员和IT操作管理员可以使用API管理以访问所有的Hedvig存储功能，以通过自助服务门户网站，应用程序和云服务实现自动化配置和管理。

    Hedvig通过捆绑Hedvig存储代理和Hedvig存储服务，作为一种运行在具备管理程序或容器操作系统商品化服务器上的虚拟设备支持超级融合。对于超大规模基础设施，Hedvig存储服务被部署在裸机服务器上，以形成一个专门的存储层，而Hedvig存储代理作为一个虚拟机或container容器被部署在每台服务器上的计算层。
 

    为什么要选择超大规模存储？
　　
    现如今，企业组织数据增长的速度远远快于其存储预算。而尤其对于那些经济状况堪忧的企业而言，他们没有像亚马逊、谷歌和Facebook那样的网络资源。因此，企业组织必须接受软件定义的产品和商品化的储存，以便能够降低成本，并同时保持灵活性和可扩展性，以跟上业务发展的需求。
　　
    在Hedvig公司，我们注意到大约80%的情况下，企业用户往往都会选择一款超大规模的架构，而不是超融合的，尽管对于这二者我们都是支持的。而更有趣的是，许多来向我们寻求解决方案的客户往往都与我们具有相反的思维。最初，约80%的客户都会咨询关于超融合的解决方案，但是在他们根据自己的实际需求状况进行了仔细调研之后，他们选择的是超大规模的方法。
　　
    为什么呢?简而言之，因为当他们在部署其基础设施架构的时候，他们倾向于灵活性(或敏捷，如果您一定要使用该术语的话)要高于一切。考虑以下因素：
　　
    • 一套超融合的系统提供了一个简化的类似于“搭积木”的方法来构建IT。对于那些正在寻求降低部署的开销，并扩大其云基础设施的精益IT组织而言，超融合提供了一个良好的解决方案。但其需要一套相对可预测的工作负载，在“数据本地化”是一个首要任务，这意味着应用程序或虚拟机必须尽可能的接近数据。这就是为什么VDI 会成为超融合的一个典型代表的原因所在了。用户希望自己的“虚拟C:驱动器”本地化。但这是不灵活的，因为其涉及所有元素的同步缩放。
　　
    • 一款超大规模的系统保持存储独立计算，从而使得企业能够在其业务需要时规模化其IT能力。数据中心和云基础设施的超大规模的方法提供了一种高水平的弹性，帮助企业能够快速响应不断变化的应用程序和数据存储需求。这也是一款类似于Hadoop和NoSQL、以及类似于OpenStack和Docker等云平台架构的更符合现代工作负载的架构。所有这些都是从独立的规模化缩放共享存储受益的分布式系统的例子。
　　
    我们从服务于我们的客户的过程中所收获到的经历便是加强了对于我们一直注意了一段时间的事情的确认：即超融合是一个并非用来探索现代存储架构的答案。可以肯定的是，源于其简单性，这个行业正看到超融合经历着一个巨大的不稳定的摇摆。但如果您企业的数据正呈指数级增长，但您企业的计算需求却没有，然后您企业会存在一个不匹配，并不适合超融合。
　　
    超大规模或超融合?
　　
    超融合可以是更简单，更具成本效益的方法。然而，通过我们对于Hedvig公司的客户的观察发现，企业客户与Hedvig公司合作的原因在于我们能够支持使得超大规模适合几乎所有工作负载的这一功能：客户端缓存。Hedvig可以在您企业的计算层利用本地的SSD和PCIe设备建立一个连续写入缓存。这极大地提高了读取性能。更重要的是，其解决了数据本地化的挑战。存储空间仍然是解耦的，并运行在自己的专属的、超大规模层，而应用程序、虚拟机、container容器则可以受益于数据在计算层的本地缓存。这也解决了如何增加您的缓存层的问题，但这是另一个主题了。
　　
    从这方面获益的一个例子是，Hedvig公司的一家客户为其VDI选择了超大规模的方法，正如上面所讨论的，这通常是一个留给超融合解决方案的工作负载。在这个例子中，这家企业客户有“超级用户”，需要16个vCPU和32GB的内存，专门用于其每台托管的桌面台式机。结果，该公司被迫部署大量超融合节点，以支持处理进程和内存的需求，同时还增加了不必要的同步存储容量。
　　
    借助Hedvig平台，企业客户可以创建专用的节点以便在拥有足够的CPU和RAM的刀片服务器上运行Citrix XenDesktop集群。而数据被保存在机架式服务器的一个单独的超大规模的Hedvig集群上，数据缓存被备份到本地SSD XenDesktop服务器。其结果是，大大减少了解决方案的昂贵开支(减少了60%)。更重要的是，其还提供了一个更灵活的环境，该公司可以按照摩尔定律，并购买最强大的服务器，以提升其台式机的性能，而不必升级存储服务器。
　　
    根据我们的经验，有一些简单的经验法则能够帮助您来确定哪些架构更适合于您的企业组织。
　　
    • 选择超大规模… 您的企业拥有5000名，甚至更多的员工数量，超过500百万兆字节的数据，超过500款的应用程序，或超过1000台虚拟机时。
　　
    • 选择超融合…当您所在的企业员工人数少于上面这一数字，只有五名或更少的专职员工来管理您的虚拟基础设施，或您是远程或属于分支机构时。
　　
    好消息是，这其实并不是一个非此即彼的决定。您企业可以从部署一个超融合的环境开始，然后逐步切换到超大规模的，或者您可以混合匹配二者。我们的理念是，您企业的应用程序决定了您应该使用哪一款。当您企业的应用程序的需求随时间发生变化时，您的相应部署也应该变化。
　　
    在现代企业中，相关的变化和增长都是强制性的。而没有这些网络巨头率先发起的超大规模的架构，越来越没有办法解决这个难题了。而效应的改变则是，任何一家企业现在都可以从超大规模的方式中受益了。