为部署下一代高效数据中心加速：密度规划有了新办法

传统的说明数据中心密度的方法可归结为一种粗放、不完整和不明确的方法。这些传统的方法无法提供规划指导来确保能够预见数据中心将来在最新一代的高功率密度 IT 设备下的电源和制冷性能。

本文概述了密度规范的要求，并介绍了制定密度规范的一种新方法。该方法提供了可实施的规范，可让 IT 员工和设备设计者之间明确交流各种要求，并加速了可预见成本效益和电气效益的数据中心的创建。

部署策略

在定义密度规范要求时，必须充分考虑到随时间变化的 IT 负载以及分阶段部署。必须就供电和制冷基础设施随时间的变化作出一些假设。

那种认为现有配电和空气分配系统将随着 IT 负载的变化而改变的想法是不切实际的。修改这些系统（例如修 改使用中的电路或水管）可能需要一组机架甚至整个数据中心的停机，或产生这样的风险。很多资料表明人为错误是造成数据中心停机的主要原因，而对运行中的设备进行修改是造成停机的主要因素。因此，最好的方法是按照行或区域安装供电和制冷分配设备，在该行或区域的工作生命周期内不再对其进行变更或重新配置。

在具体实施此最佳方法时，应采用如下所述的部署策略：

采用标准过道间隔在平面图上安排机架/机柜行列

确定行的设计密度规范，然后构建可支持该密度规范的完整行。

如果要部署的设备符合现有行的设计规范技术参数要求，而且该行有空余位置，则可将设备部署到该行。

如果要部署的设备与有空余位置的行的密度有显著不同，不要为了将设备部署到该行而修改供电或制 冷系统，而是应该建立新的一行以满足更高密度的要求。

随着时间的推移，应该将很少使用的机架行彻底拆除并按照符合当前需求的不同密度规范来重新建立。

由于此策略可将与修改数据中心使用中的机架行有关的人为错误降到最低，因此我们强烈推荐您采用此策略。 此行之有效的策略的确为密度规范设立了一条限制，即机架行系统的供电和制冷分配在安装后就不能改变。

注意，市场上有一些供电和制冷分配产品允许重新配置供电和制冷架构而不会造成停机的风险。例如，APC InfraStruXure 系统可以：

通过添加可热插拔的模块来改变 UPS 功率输出

通过添加可热插拔的机架配电单元来改变机架中的插座类型和容量

通过插入式架装设备来增加补充冷却气流的容量

此类设备提供了一些附加的灵活性，允许在安装之后进行修改，因此特别适用于不适合进行分阶段、分行部署的小型设施。

行或区域内的峰值密度和均值密度

尽管，每个机架具有绝对相同的负载功率可以简化密度规范，但是先前的讨论显示，这是一个不可能实现 的目标，因为在实际安装中几乎不可能做到这一点。事实上，机架密度的范围可能在零（配线架）到 30 kW（高密度刀片式服务器）之间变化。这种变化对有效的密度规范的特性产生了巨大影响。

由不同功率的机架组成的特定机架行或区域中，平均机架功率将低于最高机架功率值。因此，行内的机架功率峰值/均值比实际上往往比一大或等于一。非常有益的做法是考虑多种替换方法来指定机架行的功率密度设计，以便在行内支持具有不同机架功耗的一组机架。

将行内所有机架的功率都设计为峰值。指定行密度的一个方法为，指定行中的任何机架或所有机架的功率和制冷密度容量为机架功率的最大预期峰值。在这种情况下，总制冷容量和功率容量必须按照所有机架都可以达到最大功耗的假设情况来确定其规范。这必然会导致实际功率和制冷容量规模过大，因而导致资金和操作成本 的增加，同时降低了电气效率。如果每机架功耗的峰值/均值比等于一，则上述这些不利之处都可以避免；但是，如果行内的每机架功耗峰值/均值比为 1.5 或更高，则上述问题都会出现，另外，这个规范最糟糕的情况 就是没有考虑到可降低每机架功耗的峰值/均值比的情况，即最大值功率机架产生的负载可能呈分散分布。一般来说，在机架峰值功率最差的情况下指定整体行密度并不是最优选择，除非每个机架的功率峰值/均值比非 常接近1，但是在一般安装中，出现这种情况的几率非常低。

将行内所有机架的功率设计为平均值。指定行密度的另一个方法为，指定所有机架的功率为平均功率密度。和前一个方法一样，这个简单的方法并不令人满意，但导致不满的原因却不尽相同。这个方法要求在任何机架负载可能超过均值时，减少设备直到机架的负载等于或小于均值。此外，这个方法还存在实施上的限制，实际密度低于指定设计密度的机架所产生的未使用的功率和制冷容量并不能给其他机架产生额外的功率和制冷容量。这是因为行的设计仅仅是为了让每个机架的功率和制冷最大能达到平均值。考虑下列情况：某个 IT 操作 人员想要在设计容量为每机架 2 kW 的行中部署一个 4 kW 的刀片式机箱。有人可能会认为从未使用的机架中 引接一个 2 kW 的电源插座（如果可行）至刀片式机箱是一个可行的办法。但是，为这 4 kW 的负载制冷却成 为一个问题，因为制冷系统的设计容量在 2 kW 以下。另外，由于其中一个机架的电源被其他机架占用，因此这个机架也不再可用。

比较上述两种情况的要求，我们可以得知，有效密度规范的一个重要因素为应当指定行内的机架功率峰值/均 值比，并且该比值应当大于 1。如何选择适当的机架功率峰值/均值比取决于实际机架的预期变化。图 1 中显 示了典型数据中心设计的限制和假设这二者的关系：

图 1 显示已安装的 IT 设备中，在三种不同的实际机架功率变化的情况下，机架密度规范的峰值/均值比是如何 影响电源和制冷基础设施的标准总拥有成本 (TCO) 支出的1。数据显示，在所有机架具有相同功耗的情况下， 机架密度峰值/均值比等于一时，TCO 为最佳（最低）。这种效应的解释可归因于指定额外的峰值功率密度容 量会增加功率和制冷分配的支出，但在所有机架都具有相同功耗时不会导致总拥有成本增加。但是，如果实际 安装的机架功率不同，峰值/均值比没有增加时，则会增加总拥有成本。这是因为存在无法使用的功率和制冷容量，同时，指定的 IT 设备需要增加地板空间，二者共同产生了这种效应。结果是，机架密度的峰值/均值比大于 1，在实际安装中可获得最佳的 TCO。

这就引出了有效制定数据中心密度规范的另一个重要因素：在典型的设计中，行内的机架功率密度峰值/均值 比应当大约为 2，如果行内的预期实际机架功率密度峰值/均值比大于 2，建议在机架间分散最大密度的 IT 负 载来限制峰值/均值比，或将无关的负载重新分配到其他行。

基于规则的密度规范

如果某行或某区域中的均值和峰值机架功率密度设计已经指定为经预见可实施的规范，则该规范可行。如果峰值机架功率接近平均值，则可直接实施。但是，如果行内的机架峰值/均值比接近 1.5 或更大，则实施该设计的挑战和成本都将增加。确保只要不超过平均功率值，任何机架都可以在峰值功率的水平上操作，在使用高架地板送风系统的安装中，这样造成的问题可能会成为非常严重的限制。如果在密度规范中允许使用基于规则的 密度部署，可获得的整体均值和峰值功率密度都可以提高。

要理解基于规则的规范所解决的问题，请考虑将机架功率密度的峰值/均值比设定为建议的 2 时，在现有高架 地板制冷系统中安装机架的情况。从电源系统这方面来看，在最大机架密度下，每个机架都必须拥有一定的功 率配额，而机架则通过 PDU 或 UPS 来供电，其额定值为平均机架密度乘以 IT 机架的个数。这个方案实施起 来非常简单。但是，从冷却角度看，每个机架并不具有定义良好的空气分配系统，其额定值为平均机架密度的 两倍。要在密度超过均值时操作机架，必须从邻接的低于均值密度的机架中借用未使用的容量。在使用具有有 限通风容量的高架地板时，这就意味着在行内分散高密度机架会显著降低制冷系统上的局部超负荷。如果规范 具备建立行内高密度机架位置规则的能力，则可以在系统限制范围内获得较高的峰值和平均值密度。

具有简单规则的示例为，机架仅可以超过均值额定功率的量为相邻机架平均功耗低于均值的量。更复杂的规则 可以用来最大化已知安装中可预见的功率密度，并且这些规则可以在功率和制冷管理系统中实施2。

针对未来的增长指定密度选择

很多数据中心并不是一次完全建成，而是随着时间的推移不断扩展。在这些情况下，并不需要总是提前为尚未 规划的行或区域指定密度。任何指定数据中心密度的实际方法必须考虑未来的需求，因为密度需求难以预测， 因此需要尽可能地保留将来密度的选择。理想的做法是，将部署电源和制冷基础设施的费用预算和相关事务尽 可能延后进行。另外，数据中心以后的扩展并不会影响已经投入使用的 IT 设备的可用性。

常用的办法为提前规划电源和制冷基础设施，以便支持预先定义的功率密度。这样做好处是，预先安装设备可 确保在以后进行 IT 部署时，不需要在已运行的数据中心中再做主干电源的部署。但是，这个方法还存在多个不利的影响，包括：

当以后的 IT 密度超过电源和制冷基础设施的密度时，更改或进行重新部署是很困难的

当以后的 IT 密度低于电源和制冷基础设施密度时，必然会造成主要基础设施投资的浪费

基础设施从来没有扩展，或由于某些规定或其他商业问题而导致在另一个位置进行了扩展，因此造成主要基础设施投资的浪费

近期内数据中心的负载远远低于电源和制冷基础设施的额定容量，导致电气效率的显著降低和不必要的大量电费花费

提前安装目前不需要的电源和制冷基础设施，造成不必要的设备资金支出和维护合同成本

有效的密度指定模式可以通过将电源和制冷基础设施定制为模块化的大小可调的设计和实施方法来避免以上这 些问题。实施这种架构时要求预先安装主供电配电线路，如行或区域范围内使用的电源设备和制冷设备。昂贵 的电源和制冷基础设施的安装则需要延后，如 UPS 系统、PDU、机架、行内的配电设备、空调及空气分配设备。区域或行内支持的具体密度将在延期后具体部署时确定，并且电源和制冷基础设施将按行部署或以行为基 础来部署。APC InfraStruXure 系统是此类结构的实际示例。

这个讨论引出了建议密度规范方法的另一个主要因素：需要在将来部署的数据中心行或区域进行规划时，应 充分考虑在最坏情况下的最大密度值，并要求主要的电线和管线应当预先安装并支持此密度；但是对这些行 的实际电源和制冷设备的选择应当延后到确定了部署密度和规划之后再进行。这样，电源和制冷设施的主要 成本将控制在实际应用的合理范围内，并且在需要的位置和时间进行部署。这样就可以大大减少资金投入和操 作成本，建造更具有能源效率的数据中心。

模式

现在可以建构一种功率密度规范模式来满足前面所述的要求，并解决实际操作中的约束和限制问题。

该模式包含下列关键因素：创建的数据中心物理布局以成行的机架或机柜为基础

对于每一行，要求达到表 1 所示的数据

表 1 — 机架范围内要求的数据

对于要在以后部署的行，应当指定最有可能出现的平均和最高机架功率，在实际部署之前降低这些值只会对规模过大的主要电源布线和管线系统产生非常小的影响

从上述信息中，可以计算出表 2 所示的数据

表 2 — 计算得到的密度数据

使用这个方法来定义密度的最复杂的问题就是机架位置的确定，这是部署电源和制冷基础设施必须要解决的问题，如不确定则会产生 IT 设备无法使用的情况。1 个机架位置被电源和制冷基础设施所占用，合理的密度估 算参考值为每个 IT 负载 15 kW。根据从现有的 1N 和 2N 数据中心安装中得到的经验，这个参考值的得出包括了电源和制冷设备和相应的空间要求。精确值将取决于选择的电源和制冷基础设施、机房限制和系统供应商提供的指导原则。以 APC InfraStruXure 数据中心系统为例，可以使用 APC 提供的计算机辅助设计工具，对每个房间设计进行计算。

使用操作指南

使用已说明的模式来指定密度规范并不能保证得到最佳的机房设计。用户对机房布局的选择、对机房本身的设计以及用户对密度要求的估计都可能影响最终安装的效果。但是，使用这种模式可得到很多的好处，包括：

和其他一般用过的规范方法相比，它可提供更完全和更精确的数据中心密度说明

按照此规范建造数据中心具有更多可预见的性能

该模式非常具体，因而各种成本（包括资金投入和操作成本）都可以快速估算，进而可以加快设计周期并对替换情况进行分析

支持调整数据中心部署规模的模块化系统，由此可显著提高电气效率并降低 TCO 。

对于所说明的密度规范方法的实际应用还包括：

比较替换数据中心地点或机房位置的 TCO

估算在规划中或现有的数据中心中增加密度的成本

提供可让 IT 用户易于理解的可清楚确定密度预期要求的规范，以便 IT 用户、数据中心操作员以及数据中心供应商可以确定相同的预期要求

在计算机辅助数据中心设计工具中实施密度规范方法可以加速自动化规范和设计的流程。

数据中心规范示例

下面以示例说明如何使用规范模式来设计实际的数据中心。在这个示例中，首先必须提供一个机房，必须在机 房中确定所有 UPS、配电和冷却系统的位，由于净空限制，没有高架地板。将要部署的各种网络设备包括刀片式服务器、机架安装式服务器、存储设备和网络设备。将刀片式服务器放置在一起，不要分散摆放。根据估算，当前的要求是填满机房空间的一半。机房保留的剩余空间的部署密度将超过目前部署密度的 20%，其容 量至少可以支持 3 个刀片式服务器机架，据估测每个机架的功率为 25 kW。可用性要求主要针对非冗余电源 和制冷系统。

图3 显示机房的大致轮廓，其中包含建议的机架布局，整个机房共有 41 个机架位置。根据说明，第 1、2 和3 行将会立即完成部署，而第 4、5、6 和 7 行将在以后进行部署。对目前规划的部署进行审视可以指定行中 诸如电力设备等的位置以减少行内的峰值/均值比，并分配位置以便按照要求在第 2 行将刀片式服务器摆放在 一起。第 1、2、3 行机架范围的规范已经写入表 4。

图 3 — 建议的数据中心平面图布局，含建议的机架布局
（APC InfraStruXure Build-Out Tool 软件中的图像）

表 4 — 建议的数据中心行密度数据

从这些信息可以计算出第一次部署的平均密度为，每机架 (2×7+ 5×7+ 3×7) / 21 = 3.3 kW。如果其他行的规划密度超出 20%（尚未指定这些行的详细部署），则可计算出整体数据中心平均密度为，每机架 (2×7+ 5×7+3×7+ 4×5+ 4×5 + 4×5+ 4×5) / 41 = 3.7 kW。给以后未定的行指定较高的峰值密度 15 kW，将在以后对这些行 进行设计和变更时享受极大的灵活性。表 4 说明第 4、5、6 和 7 行的未来规范。在以后的行中应用较高峰值 的唯一结果是限制主要制冷和电源设备的规模。

使用图 1 对电源和制冷设备最后占用空间的首次估算为，机架密度为 3.7 kW 时保留 30%，相当于 13 个机架（30% × 41 机架）。从这一点来看，根据密度规范，最终可用的 IT 机架为 70%，即 28 个机架。

建议的服务器的密度规范在表 4 中表述，表 5 显示了计算值。

表 5 — 建议的数据中心机房范围计算值

接下来的步骤是根据设备和系统设计的性质，建立电源和制冷设备的实际位置。这个过程由具体设备的复杂算 法模式、优化规则和客户的偏好习惯而定。针对不同的电源和制冷设备供应商，这个过程也各不相同，因此这 里不再详述。理想状况下，在最初的部署中，只设计必需的电源和制冷设备，但在实际安装中却需要包含和实 施在将来规划的电源和制冷设备，以部分满足指定的将来部署规划。例如，在部署的第一阶段确保主要电源布 线和冷却管线已预装在将来的机架中。请注意，尽管目前为以后的行指定了机架密度的平均值和峰值，但是这 些值可以在将来实际进行部署之前随时更改，只要整个区域的总功率不超过目前规划的值。