数据中心验证测试是数据中心建设中不可或缺的一个环节,是检验数据中心基础设施安全性、可靠性、冗余能力和承载能力的一个十分重要的手段。本文以深圳某数据中心为例,通过数据中心验证测试的过程,探索数据中心单机测试、单系统测试、综合系统测试的方法,论述数据中心验证测试的重要性。
严格意义上的数据中心基础设施验证测试是指从“设计图纸验证、工厂验证测试、安装检查及见证调试、单机测试(预检查、功能测试)、单系统测试、综合系统测试”等一个完整的验证测试过程。目前,很多项目由于前期时间紧张,部分建设单位重视程度不够等原因,往往忽视了“设计图纸审查、工厂验证测试、安装检查及见证调试”这三个阶段,而更侧重于“单机测试、单系统测试、联合系统测试”等环节。实际上,以上各个步骤完整的执行对项目的顺利交付及后续稳定运行是有非常大的意义。
一般来说,验证测试是由建设单位聘请经验丰富的第三方专业测试机构主导,项目的各参建方,包括设计单位、施工单位、监理单位、设备供应商等各单位配合执行的一项系统工程。第三方专业测试机构通常提供测试所需要的各种仪器、仪表、工具、测试用假负载、测试方案、测试流程等,并主导具体的测试过程。各施工单位、供应商对自己承担的施工安装、设备性能、调试质量负责,在执行测试时由其提供设备专用工具并进行具体的设备及系统操作,在发现安装问题、设备质量问题、调试等其他问题时及时进行整改,以便支持后续验证测试计划。设计单位对设计意图、设计图纸负责,遇到问题时需参与解决。项目建设单位、监理单位需见证测试过程,并召集各方参与测试,及时协调解决测试过程中发现的问题。验证测试的核心是通过假负载模拟“数据中心正常运行时、故障运行时”的各种状态是否与设计意图符合,包括验证施工质量、设备质量、调试质量、各种逻辑功能等。
深圳某数据中心(扩建)项目总用地面积约1727㎡,总建筑面积 11200㎡,主要功能为数据中心机房、配电房及其相应配套附属用房,该项目为一类高层公共建筑,数据机房按数据中心机房A级标准设计,共设置九个数据机房,机柜总数926个,单机柜功率为5kW。
电气系统:设置6台2500KVA变压器及2台2000KVA变压器,变压器总装设容量为19000KVA,分别设置在6层及2层;设置6台10kV的柴油发电机,单机功率为2200kw,设置在一层柴发室。
智能化系统:综合布线系统、电力监控系统、动环监控系统、冷源群控系统、建筑设备管理系统(BA)、计算机网络系统、视频监控系统、入侵报警系统、出入口控制系统、访客系统、DCIM(数据中心集成管理系统)。
制冷系统:空调冷源采用3台650冷吨的磁悬浮冷水机组,设置于地下一层制冷机房,设置2台蓄水量有效容积为70立方米的闭式蓄冷罐,配置7套制冷量300kW的蒸发冷却机组,电池间、通信间、柴发并机室采用多联式空调。
消防系统:机房楼的模块机房、电力室、电池室及高压配电室消防自动灭火系统采用气体灭火系统;采用预作用喷淋系统。
该数据中心基础设施建设期间,建设单位委托第三方测试单位进行验证测试及等级认证。第三方测试单位按设计图纸验证、现场踏勘、预检查及单机功能测试、单系统测试、综合系统测试五个阶段对数据中心场地基础设施进行全方位“质量检验”。
(2)对数据中心相关设计文件进行可测试性评审,以确保为数据中心的关键设备与系统具备测试所需的接口和条件,主要设计参数可以被验证;
依据CQC1324-2018 《数据中心场地基础设施认证技术规范》进行设计图纸符合性审查,出具《数据中心场地基础设施现场审核记录表》。
在验证测试进场前对数据中心的施工现场进行一次详细的勘察,了解项目的实际施工进度,项目实体工程施工界面是否符合验证测试要求,实体工程是否与设计图纸相一致,是否存在较大的设计变更,了解项目供电计划,并收集数据中心基础设施相关的设备资料及BA控制逻辑、电气系统的切换逻辑,判断现实体工程现状是否满足验证测试的实施条件。关键设备开机调试见证。
验证测试预检查的工作方式以目视检查方式为主,结合仪器检测对实体工程的安装及工艺符合验证测试进行检查。
在对数据中心实施单系统验证测试工作之前,第三方测试单位将对数据中心各基础设施单系统进行验证测试预检查工作,核查单系统验证测试的相关要求、数据,提出验证测试意见与建议,包括:设备的随机资料、设备及系统的调试资料、设备及系统的设置及状态、静态配置要求。
(2)抽检、复核相关性能、功能指标的真实性与确定性,核对设备规格、型号、数量及安装、施工工艺是否与竣工图纸相符、是否满足国家相关标准及规范要求;
(4)核查数据中心各子系统设备、系统设计要求及工程实施的规范性是否符合设备招标要求及标准规范的规定、是否满足可靠性验证及测试服务验收的要求;
(7)在预检查阶段发现项目工程尚未满足验证测试前置条件时,第三方测试单位将书面向建设单位说明情况,由建设单位督促施工单位完成相关工作达到验证测试前置条件后,方可进行本项目的验证测试工作。
单机功能测试是单系统测试前的一项重要工作,单机功能测试依据设计文件、技术要求、产品手册等相关资料,在供货商技术人员的配合下,完成供配电设备、空调设备、智能化系统设备及消防设备的基本功能测试、保护告警功能测试、冗余功能测试、控制功能测试及其他功能测试。
(1)暖通设备(含冷冻机组、循环水泵、板式换热器、冷却塔、定压补水装置、自动加药装置、蓄冷罐、精密空调、列间空调、蒸发冷却背板空调、新风机组、恒湿机等)的基本功能、运行功能、保护告警功能等。
(2)电气设备及系统(含柴油发电机、供油系统、变压器、高低压柜、各控制箱、UPS、电池组,PDU等)基本功能、保护告警功能、冗余功能、运行功能等。
(3)智能化系统(含视频监控、门禁、电力监控、动环、入侵报警系统等)显示功能、基本功能、告警功能、数据一致性、状态一致性等。
预检查和单机功能测试是在设备空载运行的情况下,对数据中心基础设施的施工安装质量、设备质量、设计质量的验证测试,通过设备厂商的操作、功能展示、告警模拟,验证设备的安装质量、基本功能、保护告警功能是否符合设计和标准规范的要求。
在深圳某数据中心预检查和单机功能测试阶段,第三方测试团队发现的一些施工质量和设备质量的问题,例如:
在完成现场验证测试的预检查,并就预检查发现的问题由施工单位完成整改后,将进入现场单系统验证测试阶段的工作。
单系统的测试方法主要是通过假负载模拟单系统真实运行时的各种状态及故障模式时的各种状态,通过一定时间的运行,验证系统是否合格。主要的单系统测试包括:高压系统、低压系统、不间断电源系统、发电机系统、冷却系统、冷冻系统、控制系统等的测试。具体测试包括 25%带载、50%带载、75%带载、100%带载,突发加减载,关闭冗余设备等。在单机测试、单系统测试完成后,经整改合格后方可进行联合测试。
(9)智能化系统:包括BA控制系统、动力环境监控系统、蓄电池监控系统、安全防范系统(视频监控、门禁、入侵)等。
在单系统测试阶段,通过房带载运行真实状态,验证数据中心基础设施的承载能力和安全冗余能力,发现了一些设备运行性能的问题,例如:
综合系统验证测试数据中心基础设施综合联动测试的一个重要节点,通过模拟市电供电中断,设备故障等场景来检验数据中心应对突发状况的冗余备份,安全保护能力。
本数据中心市电与旧楼共用三路进线,考虑到旧楼业务的安全,根据CQC1324-2018《数据中心场地基础设施认证技术规范》要求,进行了以下场景演练:
场景1:1#、2#市电正常供电,3#市电备用正常情况下,2#市电中断的系统切换3#备用测试
数据中心的建设是一个系统工程,实施过程应该把规划、设计、施工和运维紧密联系起来。一个高可靠,高标准的数据中心从规划、设计、施工到运营,各个环节的统筹管理变得相当重要,而第三方验证测试可以在其中起到桥梁纽带的作用,对不合理、不符合规范的问题在过程当中进行纠偏,以确保工程项目的最终落地满足规划设计以及规范要求,有效降低在运营阶段的隐患风险,提高数据中心的安全可靠性。
验证测试出现的问题大多数是设计和施工的问题,这些问题如果不被发现,就会给数据中心运行带来较大的安全隐患,只有通过验证测试才能更深入的从设备外观、功能和性能各方面进行检测,才能发现传统施工过程验收发现不了的问题,确保数据中心安全可靠运行。
验证测试过程中,第三方测试单位通过预检查、单系统测试、综合系统测试各阶段的验证测试,发现并记录问题,形成问题清单。根据对数据机房使用功能影响的严重程度,将问题划分高、中、低三个风险等级;每个风险等级中又按照专业进行划分。高风险问题一般是指与技术要求、合同、图纸或规范存在严重不符或严重质量问题,影响机房正常的功能使。