IDC机房高可用性双总线供电结构的技术研究

　　 
　　近年来，由于UPS系统的冗余不一定全部解决配电系统的单电源瓶颈，追求数据中心机房（IDC）的供配电系统高可用性越来越被人们重视。然而，随着供配电器件的安全系数和参数定义发生翻天覆地的变化，让建设下一代高可用性IDC机房的供电系统成为可能。本文就上海电信某投产近10年的IDC机房配电系统改造实例，谈谈单电源回路系统实现在线改造为双总线供电结构的方案，以研究旧配电系统合理改造的有效途径，从而为高可用IDC机房的供电方案做有益的探索。 
　　 
　　二.实例分析 
　　 
　　1. 上海电信A机房作为IDC数据中心始建于2001年初，其机房基础设施概况见下表1：

　2. 业务概况：该机房主要业务为大型游戏网站及其计费系统、教育及政府性的信息网站。 　　
    3. 原UPS设备及负载参数的情况见下表2： 
　　

　　对电池总体情况评价：电池运行超过8年后，其温升、漏液、内阻增大或开路、短路等现象时有出现，所以，将电池全面淘汰更新势在必行！ 
　　 
　　5. 故障分析：该机房自2001年投入运行到2007年，未发生过具有重大影响的电力事故，但08年以来，以UPS为主的电力事故不断。其事故的表面原因，多为UPS设备及电池老化、性能下降、输配电器件误动作等引起的故障，但究其实质还是单电源、单回路的配电结构没有对负载形成真正的冗余回路所致，并由此使小故障升级为大事故。 
　　 
　　三.旧系统的结构及缺陷 
　　 
　　1. 旧系统的配电回路结构简图（图1）：

　　 
　　图1

　　2. 单路径的缺陷分析：从上图1可看出，该机房UPS的整个供配电回路结构上存在着严重的单点故障隐患，分析如下： 
　　 
　　1) ATS1的单点性：从市电输入侧看，虽然市电1、2形成了双路输入，但ATS1就是一个单点故障点，一旦其故障，油机能支撑的时间和可靠性便让人担忧； 
　　 
　　2) ATS2的单点性：虽然由ATS1转换后的两路市电与柴油机组通过ATS2形成了有效的回路备份，但ATS2的单点故障性将使3路电源的备份形同虚设； 
　　 
　　3) UPS总输出开关柜的单点性：虽然在UPS输入柜中的各分机主输入和旁路输入端都都设置了分路开关，看上去与2+1的UPS设备已经形成了有效分路备份，但却在总输出开关柜中将所有UPS的输出通过母排并接在一个总容量为1250A的电子开关（K1）的上桩头，无疑是一个致命的单点故障点，如果该开关故障或者误动作，将会使整个的后端负载失电（08年其中一次大的断电事故便是由此开关受谐波干扰后误动作引起的）； 
　　 
　　4) 下游的单点性：从UPS总输出柜K1的下端直至机房内的配电尾端——机架，可以看出所有的路径均是单路径的单点配电结构，其中任何一个中间器件故障都会影响其下级设备的正常运行，只是不同点位的故障影响范围有所区别罢了（一般情况下，开关故障需要更换时，还影响其上级配电，否则就必须带电操作）； 
　　 
　　3. UPS设备老化的缺陷分析：从表2数据输入功率因数0.77，输入输出效率73%可知，其UPS的运行参数已远远偏离了其高效节能的合理区间。该UPS设备在日常运行中，时常出现误告警、实际运行参数和显示参数不一致、误转或拒转旁路、逆变器IGBT击穿、交直流电容泄露等严重的故障现象，所以更新该套UPS设备也属必然！ 
　　 
　　4. 下走线的缺陷：该机房服务器装置在机架内，采用活动地板下走线、下送风、上回风的送风方式，线缆严重制约了空调的制冷和送风效果，致使空调系统的能效占比高、效率低（表2数据中，空调能耗与UPS有功输出比为0.89），从节能减排的角度出发，对本系统改造下走线为上走线，避免空调送风与线缆冲突也是迫切需要的。 

　　四.改造方案解析 
　　 
　　1. 改造目标： 
　　 
　　 将低效能的旧UPS及蓄电池系统在线更新； 
　　 
　　 将单回路供电模式改造为双总线结构的供电模式； 
　　 
　　 地板下综合布线的走线方式改为上走线方式； 
　　 
　　2. 改造原则：改造全过程不能中断或影响业务的正常运行，尽量利用原系统的输入输出配电柜和可用线路，节约投资； 
　　 
　　3. 高可用双总线结构的UPS供电系统： 
　　 
　　目前，业内比较流行和公认的“高可用双总线UPS供电系统”结构由三部分组成： 
　　 
　　 前级输入：两路以上的市电（AC）、油机（M）及适当数量的ATS组成的输入配电系统，系统组成为（2*AC+M）*ATS； 
　　 
　　 不间断电源设备：采用2*N或2*（N+1）UPS+电池系统，组成不间断供电系统； 
　　 
　　 后级输出：由若干数量的静态开关组成的不间断自动切换装置，内容为K*STS。　　 
　　对于不同的机房系统，其三级组成结构会稍有差异，系统的冗余度、冗余结构和冗余形式也各不一样，不同的冗余方式会直接影响系统的投资和系统的可用性。但其基本的结构形式示意图大致如下图2：

图2

　　4. 改造方案（备注：红色线代表市电1、绿色线代表市电2、黑色线代表柴油机电力）： [page]
　　 
　　针对该机房现况和改造要求，拟定几种方案比较如下： 
　　 
　　 方案A：实现“双UPS系统的双总线”结构的供配电模式，其示意图见图3，该方式是将容量相等、组合方式相同的两套UPS系统，相互线路独立、全容量互备的供电方式直到机架：

　　 
　　图3

　　 方案B：实现“单UPS系统+AC+集中式STS的双总线”结构的供配电模式，其示意图见图4；

图4

　　 方案C：实现“单UPS系统+AC+机架模块化STS的双总线”结构的供配电模式，其示意图见图5；

图5

5. 三种方案的优缺点比较（见下表4）：

　　6. 双电源互切间隔的技术要求： 
　　 
　　1) 对于服务器等计算机类的负载设备，其电性能的指标要求并不高，但为屏蔽单点故障，其对双电源之间的互切时间间隔有着严格要求，具体参数要求见下表5： 
　　

　　2) IT设备输入电压与时间关系的参数曲线见下图6（IEC-62040-3标准）：

　　
　　 
　　图6

　　可见切换时间有严格规定。电力自动转换开关的切换时间与该开关容量、开关切换瞬间两路电力的相位差、幅值差有着密切关系。为确保用电安全，其原则是先断后通，其时间间隔在满足设备运行（不断电的）不受影响的前提下（小于图7中IEC标准的10ms），尽可能小。 [page]

　　7.本改造中STS数量和逻辑位置的选择与比较： 
　　 
　　在机房配电中，实现双电源自动切换的常用装置主要有ATS和STS两种，ATS的切换时间比较长（10ms甚至1min以上，与单体容量和实际环境有关），通常用在UPS的输入侧，用于可瞬断的大容量双电源自动切换。从上表4中数据可知，为满足计算机设备用电切换时间的需求，通常选择STS（静态开关，类似于UPS的静态旁路）作为计算机负载端的双电源切换装置。 
　　 
　　在本项目中，STS所处的逻辑位置不同，其单体容量和数量也不同，其容量和数量的逻辑关系图如下（以三个STS柜为例，见图7）：

                                                                                               图7

　　从上图的逻辑结构可知，将两套电力系统进行自动无中断转换时，转换开关安装的逻辑位置越靠近源头，使用的数量越少，其单器件容量也越大，单器件后级所带的负载也越多，后级的单点故障点也越多； 
　　 
　　所以，在使用STS的方案选择时，将STS的逻辑安装位置尽量靠后，如方案C所示，再结合表5中优缺点比较，本改造选择了机架式STS模块，使单点故障点尽量后移至机架（逻辑安装位置见图5）。 
　　 
　　8. 小容量机架式STS和ATS模块的介绍与比较： 
　　 
　　目前，比较成熟的机架式自动切换模块产品主要有STS和ATS两种，其具体比较如下： 
　　 
　　1) 机架式STS模块： 
　　 
　　 该模块可实现两路16A冗余供电（UPS、市电），A、B两路可自由设定主、辅回路，即是两路UPS、或两路AC、或一路UPS与一路AC。 
　　 
　　 其电压范围为：180VAC到265VAC，实测切换时间小于8ms； 
　　 
　　 8*4A输出插座（总和为16A），带总输入、各分路输出的过载保护功能； 
　　 
　　 机架式安装：2u*19’’*360mm； 
　　 
　　 可自由编程在不同电源时每路负载是否输出，带网卡，具备丰富的监控功能。采用基于SNMP标准协议的远程监控软件（Web/WapServer），支持window、linux等常用操作系统，并具备地图索引功能； 
　　 
　　 设备外形图及面板LED监视图下图（图8、9）;电气原理图（见图10、11）

　　  图10、11

 监控界面及内部电气结构原理图（见下图12、13）

　　 
　　图12、13

　　2) 机架式ATS模块： 
　　 
　　 该模块可实现两路16A冗余供电（UPS、市电），A、B两路可自由设定主、辅回路，即可是两路UPS、或两路AC、或一路UPS、一路AC。 [page]
　　 
　　 其电压范围为：180VAC到265VAC， 实测切换时间小于18ms； 
　　 
　　 8输出插座（总和为16A），无总输入和各分路输出的过载保护功能； 
　　 
　　 机架式安装：1u*19’’*180mm； 
　　 
　　 带网卡，无标准监控软件； 
　　 
　　 设备外形图（见下图14）：

　　 
　　图14

　　3) 两种模块性能参数的测试比较表： 
　　 
　　我们对机架式STS和ATS两种模块在带载和不带载两种状态下，输入电源在：同相位（相差0°）、相差120°、反相位（相差180°）、完全不同电源等四种情况时进行比较，测试过程参数（见表6）： 
　　

　　 
　　通过上述情况分析，在各种可能的条件下，机架式STS的性能参数明显优于机架式ATS。 

　　五.可靠性分析 
　　 
　　不同方案的性能参数差异比较表7： 
　　

　　从系统的安全性上考虑，方案C实现“单UPS系统+AC+机架模块化STS的双总线”结构的供配电模式是最优选择。 
　　 
　　六.在线割接的实施 
　　 
　　在割接前首先告示用户，并在规定时间内要求做好相应的配合工作,这是做好割接工作的基本保证。 
　　 
　　同时,根据机房现况，结合方案C的结构特性，本改造工程在线割接的内容主要有两部分组成：一是下走线方式在线改造为上走线方式的割接方案；二是UPS设备和电池的在线更新改造割接方案。现简述如下： 
　　 
　　1. 下走线方式在线改造为上走线方式的割接： 
　　 
　　由于本项目采用机架式STS，把原来下走线改为上走线成为可能。系统改造后所形成的机架内线路布局结构示意图见图15（图线说明：红色线为新增的UPS上走线路、蓝色线为新增的AC上走线路、黑色为原UPS的下走线路）。待工程割接后将下走线逐步拆除,为下送风开道。

                                                                                               图15

　　割接过程的安全性说明：该割接过程中，只有单电源设备在自左插座移至右插座的瞬间影响该设备的运行（有计划性），其他过程均不影响业务。同时，当对应的开关完成割接后，该机架内的所有设备将保持在UPS+AC的双电源保护之下，整个的割接过程安全可靠，且即便出现意外，其影响面也仅仅局限在一个机架内！ [page]

　　2. UPS设备和电池的在线更新改造割接： 
　　 
　　完成上述机架内部割接和机房内上下走线的割接后，所有的服务器负载均受UPS和AC的双重保护，而后再进行UPS设备的在线改造和割接工作，系统将受到足够冗余的保护，即便出现偏差，对业务影响的风险也可降至最低。 
　　 
　　此时，将机房内的所有列头柜参照图15所示的方法逐步割接主开关的输入电缆。割接方法：断开对应头柜的主开关及原前级UPS输入，将新UPS输入电缆和旧电缆上桩头对调（如图15中的红色线和黑色线）。每个列头柜分别单独进行，由于机架端设备受STS模块保护，每个列头柜割接时间持续约10min，其间该列头柜所带负载均靠AC运行，理论上不影响业务正常运行，即便其间市电AC中断，影响范围也局限在一定的范围）。割接过程中的新ups的负载率由0+2逐步上升至2+0，旧ups系统的负载率逐步由2+0下降至0+2，其负载对比变化曲线见下图16。 
　　 
　　在线改造工程目前已全部完工并正常运行。本工程前后持续了近一年，施工改造过程虽然复杂、割接中也困难重重，但总体上完全达到了在线改造和割接的预定目标，全过程未出现过影响业务的意外故障或事故。

　　图16（横轴为时间min、纵轴为负载容量KVA）

　　七.经济效益比较 
　　 
　　经测算,方案A的投资为方案C的1.5倍,而且方案A性能不理想；方案b与方案c比较投资相近,但方案b可靠性差；本改造项目根据方案C实施后系统可靠性参数和效率有明显提升,已经产生的经济效益见表8：（按现负载容量情况，一年度为计算单位） 
　　表8 
　　

　　八.小结 
　　 
　　本文介绍了将早期IDC机房单电源回路系统实现在线改造为高可用性双总线供电回路结构供电系统的一个成功案例。 
　　 
　　目前，国内建设的早期IDC机房基本上陆续到了设备更新的寿命周期，原有的单路供电结构，用电效率低、设备故障频发、安全系数不高等缺陷都或多或少地制约了业务的发展，本工程的有效尝试，为类似的机房的改造提供了可借鉴的经验，同时也为“低成本”和“在线”的实现途径进行了有益的探索。 

　　总结本工程，有几个问题需要进一步思考：
　　 
　　1. 传统的UPS供电系统方案已经走过了50年，为保障系统的高可用性，IDC供电系统设计建造的现状和趋势是：系统不断复杂化，造成设备堆积、结构臃肿，从而导致IDC机房的建设成本不断攀升。但高成本和高投资并不等同于高可用性，所以在旧系统改造和新系统建设时，迫切需要我们去探索和优化新的建设设计方案； 
　　 
　　2. 复杂的配电结构和设备堆积致使设备效率难以再有效提高，在能源紧张和国家积极倡导节能减排的今天，需要在高可用性的基础上探索有效的节能减排方案； 
　　 
　　3. 虽然，不同的机房建设和发展历史不同，从而造成现有的IDC机房的供电结构五花八门，难以标准化的现状给系统的维护和改造带来很大的难题，但是探索新的供电结构、配电方式等行之有效的改革措施仍然是刻不容缓的！