云计算关键技术及标准化（一）

　　分析了云计算关键的技术，包括虚拟化/分布式文件系统/分布式数据库等，介绍了相关云方案实现，并对云计算在IETF/ITU等标准组织的最新研究竞争做了说明。

　　1 引言

　　云计算并不是一个全新的名称。1961年，图灵奖得主John McCarthy提出计算能力将作为一种象水、电一样的公用事业提供给用户。2001年，Google CEO Eric Schmidt在搜索引擎大会上首次提出“云计算”的概念。2004年，Amazon陆续推出云计算服务，成为少数几个提供99.95%正常运行时间保证的云计算供应商之一。2007年，随着IBM，Google等公司的宣传，云计算概念开始获得全球公众和媒体的广泛关注。

　　云计算目前并没有统一的定义。根据Wikipedia，云计算是一种基于互联网的计算新方式，通过互联网上异构、自治的服务为个人和企业用户提供按需即取的计算。而Berkeley大学则认为云计算是指Internet上以服务发布的应用以及支撑这些服务的数据中心的软件和硬件。

　　笔者则认为，云计算的概念不仅仅局限于计算，实际上直接称为“云”更加合适，云的本质是网络为用户提供的按需即取的服务Service on Demand，包括基于提供计算能力，存储能力，以及网络能力的各种服务的组合。正是因为服务的按需即取的特性，需要对应于计算能力、存储能力、交付能力的各种计算资源、存储资源，以及网络资源的按需即取的资源池管理和弹性提供。

　　从业务提供方式上，云可以提供3种业务：IaaS将虚拟化的资源直接按需提供给客户；PaaS在虚拟化的云计算平台上建立支持多种业务的应用平台，再将应用接口和开发环境、运行环境提供给外部；SaaS在虚拟化的云计算平台上提供按需定制和快速部署的应用软件租用服务。目前，业界研究最多的是IaaS和PaaS，本文将针对IaaS(对应基础云)和PaaS(对应业务云)的关键技术，实现方案以及云的标准化进行阐述。

　　2 关键技术

　　2.1 虚拟化

　　虚拟化是实现云计算的最重要的技术基础，虚拟化技术实现了物理资源的逻辑抽象和统一表示。通过虚拟化技术可以提高资源的利用率，并能够根据用户业务需求的变化，快速、灵活地进行资源部署。

　　2.1.1 虚拟化平台芄?/p>

　　在云计算环境中，通过在物理主机中同时运行多个虚拟机实现虚拟化。多个虚拟机运行在虚拟化平台上，由虚拟化平台实现对多个虚拟机操作系统的监视和多个虚拟机对物理资源的共享。

　　总的来说，我们认为虚拟化平台是三层结构，最下层是虚拟化层，提供基本的虚拟化能力支持;中间层是控制执行层，提供各控制功能的执行能力;最上层是管理层，对执行层进行策略管理、控制，提供对虚拟化平台统一管理的能力。如图1所示，虚拟化平台应该包含虚拟机监视器Hypervisor，虚拟资源的管理，虚拟机迁移，故障恢复，策略管理(如提供虚拟机自动部署和资源调配)等功能实体。各部分具体功能描述如下：

　　图1 虚拟化平台功能结构

　　(1)虚拟机管理：主要保护VM的创建、启动、停止、迁移、恢复和删除等能力，虚拟机映像管理，虚拟机运行环境的自动配置和快速部署启动等能力。虚拟机管理可根据主机节点/虚拟机的CPU，内存，I/O，网络等资源使用情况，自动地在不同主机节点之间迁移VM，使得VM的性能得到保障。也包含主机节点的失效保护，即当一个主机节点失效后，该功能实体能将其上的服务自动转移到其他节点上继续运行。

　　(2)高可用Cluster：用于保证主机节点的失效保护，当一个主机节点失效后，Cluster自动将其上的服务转移到集群中的其他节点上继续运行。该Cluster还可具有负载均衡和存储集群的能力。

　　(3)动态资源调配：虚拟存储、网络创建、配置、修改和删除等能力。当一个VM的内存、外出或网络资源不足时，可临时借用同节点中其他VM暂时不使用的同类资源。

　　(4)动态负载均衡：兼顾能源消耗和工作负载的均衡。根据策略需要，可开启/关闭部分主机节点，并迁移关联的VM。

　　(5)管理工具：包含虚拟化平台需要支持的一套工具，如P2V(Physical to Virtual)，V2P(Virtual to Physical)，VA(Virtual Application)，JEOS(Just enough Operating System)等。

　　(6)主机安全：用于保证VM运行环境的安全，包含一组软件，如anti-virus，IDS等。

　　2.1.2 虚拟化平台部署

　　如图2所示，在实际部署中，由于Cluster、动态资源分配、主机安全等与Hypervisor关系密切，可以作为独立的软件部署在主机节点之中。其他功能都可以集成在一起，形成VM管理器。这样进行功能分配后，整个虚拟化平台可以分为两个软件包：一是Hypervisor + Host OS软件包，驻留在主机节点中；二是VM管理器软件包。两者之间的接口将被简化为配置、简单控制、查看和监控几类。

　　图2 虚拟化平台系统架构图

　　运行VM的主机利用Cluster功能组成一个高可用的集群系统，当其中的某个节点失效时，可无需VM管理器的干涉，自动地将失效节点上的服务迁移到其他节点，并为其重新分配存储和网络资源，使得服务不间断。VM管理可部署在独立的服务器上，由其负责对虚拟化平台的告警、运行状况监控、负载调整等工作。虚拟化平台物理部署如图3所示。

　　图3 虚拟化平台部署图

　　2.1.3 虚拟化平台的优势

　　(1)平台虚拟化实现资源最优利用。利用虚拟化技术，在一台物理服务器或一套硬件资源上虚拟出多个虚拟机，让不同的应用服务运行在不同的虚拟机上，在不降低系统鲁棒性、安全性和可扩展性的同时，可提高硬件的利用率，减少应用对硬件平台的依赖性，从而使得企业能够削减资金和运营成本，同时改善IT服务交付，而不用受到有限的操作系统、应用程序和硬件选择范围的制约。

　　(2)利用虚拟机与硬件无关的特性，按需分配资源，实现动态负载均衡。当VM监测到某个计算节点的负载过高时，可以在不中断业务的情况下，将其迁移到其它负载较轻的节点或者在节点内通过重新分配计算资源。同时，执行紧迫计算任务的虚拟机将得到更多的计算资源，保证关键任务的响应能力。

　　(3)平台虚拟化带来系统自愈功能，提升系统可靠性。系统服务器硬件故障时，可自动重启虚拟机。消除在不同硬件上恢复操作系统和应用程序安装所带来的困难，其中任何物理服务器均可作为虚拟服务器的恢复目标，进而减少硬件成本和维护成本。

　　(4)提升系统节能减排能力。与服务器管理硬件配合实现智能电源管理;优化虚拟机资源的实际运行位置，达到耗电最小化，从而可为运营商节省大量电力资源，减少供电成本，节能减排。

　　2.2 分布式文件系统

　　分布式文件系统是指在文件系统基础上发展而来的云存储分布式文件系统，可用于大规模集群。主要特性包括：

　　(1)高可靠性：云存储系统支持节点间保存多副本功能，以提供数据的可靠性。

　　(2)高访问性能：根据数据重要性和访问频率将数据分级多副本存储，热点数据并行读写，提高访问性能。

　　(3)在线迁移、复制：存储节点支持在线迁移、复制，扩容不影响上层应用。

　　(4)自动负载均衡：可以依据当前系统负荷将原有节点上的数据搬移到新增的节点。特有的分片存储，以块为最小单位来存储，存储和查询时所有存储节点并行计算。

　　(5)元数据与数据分离：采取元数据与数据分离的方式设计分布式文件存储系统。

　　图4为分布式数据库的系统架构。其中：

　　图4 分布式数据库架构

　　FAC：负责向用户提供文件访问接口，安装在服务器端(提供给应用以文件操作的API接口；实现与FLR和FAS的交互，完成数据的搬迁)。

　　FAS：负责文件的调度和访问，完成对磁阵的读写操作，对FAC提供数据读写功能，完成数据的分布式存储。

　　FLR：负责元数据的管理，保存文件和块的命名空间，文件到块的映射，以及每个块副本的位置。

　　2.3 分布式数据库

　　分布式数据库能实现动态负载均衡、故障节点自动接管，具有高可靠性、高性能、高可用、高可扩展性，在处理PetaByte级以上海量结构化数据的业务上具备明显性能优势。图5为分布式数据库的系统架构。其中：

　　图5 分布式数据库架构

　　(1)PEC：解析执行服务器(Parsers & Executing Controllers，简称PEC)，SQL服务接入点。负责接收客户的SQL请求，并定向到特定的Tablet服务器上进行数据访问。

　　(2)Master：主要负责数据库的元数据管理和调度工作。

　　(3)TabletServer：负责保存数据库的子表。

　　(4)Space：分布式文件系统的锁服务功能。主要保证共享访问时对数据的独占性。