要：本文结合鲁西南大数据中心运维环境实例，介绍了空调与新风、供配电、防雷与接地、消防与安全保障、信息网络与布线、系统监控、给水排水等基础设施对IT设备环境的影响，并分析供配电系统、制冷系统、集中控制系统等关键基础设施对大数据中心运维环境的重要性，确保了数据中心IT设备能安全、可靠、连续正常的运营。
人类社会正在快速迈入数字化时代，数据中心作为新时代的基础设施，承担着越来越重要的使命。数据中心技术和规模的快速发展，使数据中心基础设施运维越来越具有挑战性。数据中心基础设施关联到供配电、空调、消防、安防以及弱电监控等诸多子系统，不同子系统之间构建了紧凑的相关性和互为作用。本文结合鲁西南大数据中心基础设施建设及运维方面的研究，分析各基础设施相互之间的联系，从而保证各子系统综合运行状态达到最优化水平，进一步保障数据中心运维的可靠性。
鲁西南大数据中心项目位于菏泽市牡丹区广州路东侧、闽江路北侧，项目包含A1#数据机房楼和B1#柴发楼。A1#数据机房楼地上4层，建筑高度26.8m，其中1层主要为配电系统和制冷系统中枢；2~4层为机房模块和低压配电机房，是IT数据处理中心。B1#柴发楼地上3层，建筑高度22.50m，是柴油发电系统存储中心，主要为A1#数据机房提供电力保障。鲁西南大数据中心获得CQC国家最高A级数据中心认证，入选山东省省级新型数据中心建设试点，成为菏泽和菏泽周边智慧城市的有力支撑。
数据中心基础设施系统组成见表1，其中供配电系统、暖通空调系统、集中控制系统是数据中心起到重要作用的关键，也是数据中心保证PUE指标维持在1.3以下的关键。而消防系统的作用是保护关键设备及重要数据免于火灾受损。不同于一般公共建筑，数据中心主机房、配电间、电池室采用气体灭火管网系统设计并配备推车式二氧化碳灭火器，另外主机房、配电间、电池室等关键房间设置日常排风兼灾后排风系统，事故排风口设置在防护区的下部，平时关闭防火阀，事故后自动打开防火阀和排风机，进行事故后通风换气。内部装修则根据数据中心的特点满足各机电系统正常运营的条件即可。
一个成功的数据中心应满足数据中心IT设备的核心需求，IT机房必须远离产生粉尘、油烟、有害气体的场所，防盗设施齐全，避开强磁场的干扰，选择设在建筑物的中间层，方便管理和布线。避免设在最高层、地下室和用水设备下层。数据中心组成分为4个功能区，即主机房、辅助区、支持区和行政区。主机房是IT服务器、网络设备、机柜等重要设备的专用房间；辅助区是满足运维要求的一些维修室、备品备件存放室、测试机房等；支持区是满足IT设备运营状态的供配电、空调、消防、安防以及弱电监控系统的功能房间；行政区是供运维人员日常办公的值班室、门厅等。
对于数据中心而言，供配电系统最重要的是保障IT设备的用电需求（电力中断不得大于10ms）。数据中心供配电系统主要面临4种常见故障场景：电力中断、设备故障、人为故障、自然灾害。而数据中心供配电系统如果发生故障，无疑会影响到整个数据中心的稳定运行，也会带来巨大的社会影响。因此数据中心供配电系统在设计时本身已经包含大量的冗余能力与不间断供电的设备。如：双路市电引入、柴油发电机、UPS、HVDC（高压直流供电系统）等。为保证供电稳定，通常采用双回路加柴油发电机系统，柴油发电机通过并机馈电柜接入高压配电柜，作为电力备份。在高压段和低压段均设置母联，由电力控制系统统一控制。精密列头柜采用双路UPS，机柜内设置双PDU（Power Distribution Unit电源分配单元），两路PDU区分颜色（见图1）。
数据中心设备用电需求较高，要求设备24h连续运行，数据机房的供配电系统的稳定持续运行是数据中心能够正常运营的关键，能够确保其发挥作用。关于数据中心供配电系统架构，根据GB 50174—2017《数据中心设计规范》：A级数据中心应满足容错要求，可采用2N系统，也可采用其他避免单点故障的系统配置，数据中心的IT设备、为IT设备服务的空调、制冷机组、水泵、消防、安防、弱电设备均按一级负荷中的特别重要负荷考虑，一级负荷满足双电源供电。当一路电源断电时，另一路电源应立即发挥作用。鲁西南大数据中心由园区引来4路10kV市电电源，两路一组，一组中的两路10kV电源互为备用，互为备用的两路电源分别引自园区的110kV变电所内2个不同的10kV母线kV电源同时工作，互为备用，母联开关可自动或手动投入。自动状态下，当一路电源失电，自动断开失电侧开关、母联开关自动投入，由第二路电源向两条母线供电，每路电源均可带起全部负荷。市电来电时，恢复至正常状态。当两路10kV市电电源均断电，延时几秒钟后（0~30s可调）启动柴油发电机组，完成并机后，由发电机母线向两段母线供电，并通过自动负载分配器进行负载分配。市电来电时，恢复至正常状态。
暖通空调系统是保证数据中心IT设备及供配电设备在合适的环境条件下正常运营的保障。数据中心空调系统设计、运行情况直接影响机房内的温湿度，进而影响IT数据设备的能耗与稳定性。因此，制冷空调系统方案的确定，制冷机组、水泵、末端设备等主要设备的选型，气流组织形式的选择与数据中心内设备的故障率、运行情况、能耗情况息息相关，是数据中心能正常运行的必要条件。另据统计，暖通空调系统的能耗在数据中心能耗中占30%～45%的比例[1]，因此，在数据中心的暖通空调系统方案规划中采取节能措施直接影响到PUE数值（数据中心总能耗与IT设备能耗的比值）和运行阶段的维护成本，对整个数据中心的节能有着十分重要的意义。
根据菏泽当地湿球温度以及鲁西南大数据中心设计温度和相对湿度值，设计连续供冷系统，采用4台1300RT的快速启动变频离心式冷水机组，3+1冗余设置。根据季节及室外湿球温度变化并通过三种模式制冷转换持续得到15℃/21℃冷冻水，并通过冷冻水系统输送至精密空调。按照冷热通道设计并封闭冷通道，将精密空调产生的冷送风由架空地板送入冷通道，冷却IT服务器，经热交换产生的热风由热通道送至精密空调机组上端，循环往复，保证IT机房温度维持在23℃。设置2台专用湿膜式加湿机，放置于IT机房及运营商接入间空调间内，与精密空调回风混合，由房间温度敏感元件控制加湿器的加湿量，使湿度维持在60%。同时新风系统产生的新风输送至IT机房以维持正压状态，防止室外含尘、含湿空气渗入，并调节室内湿度，防止产生静电和凝结水，保证机房空调100%显冷冷却。制冷设备均采用变频控制，IT机房采用冷通道封闭的送风形式，以及三种模式制冷转换可以有效节约能耗降低成本，使本数据中心的PUE指标达到1.3，节能效果大大提高。
数据中心的集中控制系统主要对机房的环境及设备进行监控和管理，主要包括UPS、供配电设备、蓄电池、柴油发电机、新风系统、精密空调系统的运行状况和温湿度、压差、漏水检测等机房环境参数。根据各个子系统参数判断是否出现异常，以便运维人员做出积极准确的判断，因此监控系统对于数据中心机房尤为重要。鲁西南大数据中心项目采用嵌入式服务器（或相关功能产品）采集各个末端智能设备的数据，再通过动环专网将所有数据汇总到动环监控服务器。动环监控服务器位于弱电设备间，可以对整个机房楼相关区域的动环监控数据进行集中监视，并通过数据中心综合管理平台实时显示所监控系统的动态参数和运行状况。
通过完善的监控系统可以避免很多故障。若监控系统没有在发生故障时给出告警，在事后告警故障分析中，通过监控系统的各种技术参数和记录依然可以找出告警的原因。
数据中心运维工作主要是对数据中心各项系统的监督和管理，数据中心连续不间断运行意味着数据中心出现突发状况，产生断电现象，将产生不可挽回的信息以及经济损失。除了运维工程师在日常的运维工作中记录好设备的各项运行信息，熟悉DCIM综合管理平台的使用，能够从平台信息中及时有效地判断并记录有价值的信息，快速地处理数据机房存在的安全隐患以外，数据中心基础设施的建设也起到至关重要的作用。只要把各关键系统所需的材料、设备能高标准的建设完成并投入运营，在以后的日常运维管理中就能大大延长设备的使用期限，从而实现高效、安全、可靠且绿色的新型数据中心。（文/程占龙、施志领、谢忠信、赵振朋、张志军、邵娜、吕彦雷、侯立敏）
[1] 苏荣欣.数据中心制冷空调方案选择技术要点[J].建材发展导向（上），2019，17（3）：1-2.