提高数据中心机柜功率密度的电源及冷却相关策略

这几年，在IT技术与趋势的急剧变化下，数据中心也随之面临许多挑战。高密度数据中心已经成为企业必须面对的课题。当数据中心单一机柜机架功率密度每年不断增长已成一股趋势，企业势必得找到更有效的方法来面对电力、冷却与空间的挑战。

随着人们对服务的要求愈益严苛，企业必须想方设法满足消费者7×24小时可用性的期望。服务器数量不断增长，在此同时，更多的运算能力与资源也被收纳在愈来愈小的外壳中，从微型服务器（Small Form Factor，SFF）、刀锋服务器（Blade Server）到超大规模（Hyperscale）服务器以及用来实现更弹性框架的组合式基础架构（Composable Infrastructure），都是因应此需求发展而诞生的解决方案。

更高密度的服务器意味着单台服务器需要更高的功耗，随着全球对能源消耗的日趋关注，企业也开始认真看待能源效率议题以及环境责任。虚拟化技术为企业带来解决方案，让单台服务器得以更多的工作负载，物尽其用。与此同时，全球云端化的浪潮也开始发酵，现阶段，许多企业早已将云端优先（Cloud first）视为战略之一，愈来愈多的IT预算投入在与“云端”相关的IT基础架构以及软件之中，部份企业组织或是IT供货商更是以“Cloud only”作为主要的策略。当服务器被密集置于云端数据中心中，势必将给数据中心带来更高的运维挑战。

容器（Container）技术发展愈来愈成熟，未来在单一服务器中，通过这项被称为轻量级虚拟化技术的协助，将可望能运行更多的应用程序；移动化与社群平台发展后，快速激增的数据需要大量的运算力来加以分析萃取数据金矿，物联网（Internet of Things，IoT）还在持续发展，未来通过传感器所收集数据，最终将导向后端的数据中心，以便进行巨量数据分析…。这些变化也让数据中心趋向了高密度发展，随着数据中心设备密度快速增长，以传统思维建构的机房却已不敷使用。

高密度的潜在问题

根据Colocation America调查，2008年数据中心单一机柜机架功率密度约莫在6kW左右，到了2016年已然达到了12kW，预估到了2020年，数据中心单一机柜机架功率密度将有可能达到16.5 kW。事实上，在某些改造案例中，例如Intel将两座芯片厂改造成节能高密度数据中心，单一机柜机架功率密度更是高达43 kW。

图一 单一机柜机架功率密度发展趋势

来源: Colocation America, 2014

当数据中心单一机柜机架功率密度每年不断增长已成一股趋势，企业势必得找到更有效的方法来面对各式各样迎面而来的挑战。举例而言，高密度实现了更小空间的使用密度，但相对的，系统故障的反应时间将大幅地被缩短，一旦遇到电源故障，大量由设备制造的“热”将无法被带走，将导致服务器中止运转。

日渐提升的功率密度也远远超过大部分旧型设施的处理能力。早些年，数据中心可见到每机柜6kW的设计，但是面对15kW以上的高密度机柜，显然不符所需。而企业使用云端运算或巨量数据分析这类需要大量资源的技术时，也会面临可用与所需容量的差距扩大问题，因为以往在设计数据中心的冷却空调时，会以假设IT的工作负载是平均且分散的情况，但实际的运行的环境却不是如此，尤其在某些高密度机柜中，企业将发现制冷量远远不足。

数据中心原先所设计的备援机制也可能因此而消失，原本以N+1设计的不间断电源系统（UPS）与冷却空调，因为容量不足而被迫全面启用运转，进而丧失了备援的功能。此外，部署虚拟化方案后，IT人员可以动态地迁移虚拟机，但是数据中心的负载也因此而跟着转变，热点位置变得难以捉摸，电力需求也会跟着变动，而导致不必要的停机。

模块化兴起提供更高灵活性

显然地，高密度数据中心仍存有许多潜在问题。数据中心管理人员将面临更大的压力，除了维护日益密集的运算环境，并且改善可用性之外，同时还得降低成本，提高效率。所幸，业界专家们正在将模块化的概念融入到他们为数据中心所设计的设备与产品中，以便为数据中心带来更灵活的弹性，并且为未来的各种工作负载做好准备。

现阶段，主要的模块化概念会应用在空间与设施的设计之中。空间模块化指的是从IT基础设备、机柜以及提供IT设备运行的设施，都是由模块构成，彼此之间具有相依与关联性。在实务上，多半还是会依照企业既有的数据中心空间，在评估现有服务对容量的需求以及未来的扩充考虑后，进而区隔出小空间，并且将其视为模块。而设施的模块化，指的是在基础设施，包含电力系统（不间断电源系统UPS、配电柜）、机柜式空调、冷却器、机架、冷热信道密闭系统等等，实行模块化设计。

“IT技术发展日新月异，基础架构正在朝向微服务（Microservice）架构发展。简单来看，微服务架构就是利用模块化的方式组合出复杂的大型应用程序，事实上，在多年前，数据中心基础设施早就已经运用模块化的优点，开发出模块化方案，以提供更高的灵活性与扩充弹性，协助企业因应扩充需求，并且克服电力、冷却空调不足以及空间上的挑战。”台达关键基础架构事业部 (MCIS) 总经理蔡文荫如此说。

UPS高效模块化 自我诊断机制减少断电风险

根据一项调查，造成数据中心停电的原因，有近五成的受访者认为主因是UPS设备故障所引起，足以显见UPS在维系数据中心的重要性。尤其数据中心高密度化后，更换老旧的UPS系统也是一项必要的工作，效率是其中的考虑原因之一。十年前所设计的UPS系统，在以40%利用率运作及服务双电源输入服务器时，通常效率在85%以下，现今的UPS系统运作效率更为优异。以台达的解决方案为例，在20%的负载情况下，DPH 500kVA 系列 UPS的AC-AC可以达到95％左右，最高效率可以达到96.5％，节省了明显的能源成本。

另一项考虑则是空间的有效运用率。一般而言，数据中心都会规划电力室以设置与电力相关之设施，但是电力室的土地面积也有其极限，当数据中心朝向高密度发展，备援电力也需要跟着增加，但电力室空间有限，这时企业就可以置换单机高容量的UPS系统，例如台达针对大型数据中心推出的Modulon DPH 500 kVA 模块化 UPS ，仅占用19英寸机柜的空间，提供目前业界最高的功率密度，并行扩展也可以配置多达8个单元，提供4MVA的最大功率容量。

由于具有自我诊断与老化侦测机制，能侦测电池、风扇、IGBT模块、DC电容与AC电容，预防性维护减少故障断电的风险，保护客户的设备投资。

对于企业而言，模块化UPS的另一项优势，便在于电源模块采用即插即用设计，只须要在适当的时间投入适量的投资成本，就能进行单一系统的垂直整合和水平并机整合的容量扩充，企业可依据初期容量需求及未来营运拓展性，弹性采购UPS，进而降低投资成本，让效益优化。

机柜式空调　临近热点降低耗损

随着服务器与IT相关设备的密度愈来愈高，对设施的要求也愈来愈严苛。除了更高供电密度之外，散热也成为一项难题，众所周知，数据中心的冷却设计均假设IT的工作负载是平均且分散的情况，但在真实的企业环境中，却可能因为虚拟机的动态迁移或是IT设备部署不当，而产生热源分布不均匀的现象。

显然地，制冷量不足是高密度数据中心普遍会面临的挑战，机柜式精密空调的优势便在于临近高密度机柜，不同于房间级精密空调送出的冷气，在高架地板输送的过程中产生耗损，机柜式精密空调可就近提供足够的制冷力，以消除热点，加上配有高节能EC风扇以及变频流量控制，更可达到节能目的。

机柜式空调同样也有模块化设计，以机柜式精密空调系列冰水型29kW / 43kW为例，除了内置双电源供应器，大幅提升系统的电力可靠度与保护；可支持热插入的电源供应器与风扇，大幅缩短维修所需时间；多段变速风扇设计，可依据实际工作负载调整转速，减少离峰期间的电力损耗之外，也将模块化概念运用在冷却装置上，机柜式精密空调系列冰水型29kW / 43kW可随需求增加冷却装置，并将信号集中管理。

案例研究：中密度和高密度区共存于数据中心

根据AFCOM的数据中心密度分类，数据中心经理人协会认为，每个机柜在4kW以下，中密度为5kW-8kW，高密度为9kW-15kW，超高密度为16kW以上。不同的数据中心可能面临不同的机柜功率密度挑战。在一些数据中心，甚至可能会有不同密度的机柜组合，但使用相同的电源和冷却系统设计概念。台湾一家领先的IC设计公司计划在其总部建立一个新的数据中心，因为他们需要整合现有的IT设备以及相关的网络和操作环境。根据现场检查，该企业数据中心拥有多达80个中密度和超高密度机柜，超高密度机柜达25kW。

台达建议，当企业需要低密度和高密度/超高密度机柜设计满足不同的应用需求时，应该将数据中心空间划分为高密度机柜区域和超高密度机柜区域以优化其设计。设施规划不仅应包括整体电力和冷却需求，还应包括部署IT系统的空间使用情况。冷却解决方案的使用有多种选择。例如，4kW以下的机柜可能只需要房间级精密空调进行有效的散热，而将机柜式精密空调设备配置为更高密度的机柜（从9kW到15kW）则可以获得最佳散热效果。

在这种情况下，台达采用模块化设计理念为客户规划超高密度区域，并将所有超高密度机柜放置在一个区域内。对于其高密度应用，客户选择台达的RowCool 95kW，在600mm宽的机柜内具有业界最大的散热能力。台达还建议使用热通道密封技术来防止冷热空气混合，并确保最佳的冷却效率。

总结

科技发展日新月异，由第三平台引领的技术转型在未来还会持续发酵，新兴的物联网、人工智能、AR / VR，也融入云端、移动、社交媒体和巨量数据等技术，对于企业而言，数据中心的挑战日益艰巨，高密度的发展势必将会持续，而基础设施也就成为企业推展创新应用服务的重要后盾。

对于数据中心管理人员而言，高密度数据中心的发展势必将带来更多维护与管理难题，在此同时数据中心的可用性也会受到挑战，还得同时降低成本，提高效率。运用模块化的设计与相关的设施，包含空间模块化、热通道封闭技术、冰水型机柜式空调以及更高效的UPS系统，将能为数据中心带来高可靠度架构以及更灵活的部署弹性。