假負載測試在數據中心關鍵設施建設中的應用

上海郵電設計咨詢研究院有限公司 上海 200092

引言

隨著國民經濟的發展以及4G時代的到來，互聯網服務需求進一步得到釋放，中國通信產業正邁向新的歷史階段。業務應用多元化為數據中心的未來帶來更廣闊的前景，大數據、云計算、物聯網等新興技術的不斷創新，推進數據中心市場不斷發展。根據工業和信息化部在2014年7月發布的通報[1]，2011年到2013年上半年，全國共規劃建設數據中心255個，已投入使用173個，總用地面積約713.2萬平方米，總機房面積約400萬平方米。2014年，中國數據中心市場仍在快速發展中，大型互聯網企業、通信運營商以及政府部門都在積極推進數據中心以及數據中心基地的建設。

隨著數據中心的大規模建設和運行，數據中心的關鍵質量——安全可靠性，正受到普遍關注。數據中心承擔著各企事業單位的核心業務運營，尤其是通信運營商、金融行業、大型互聯網企業的數據中心，如果發生突發性故障，不僅會造成重大的經濟損失，還會使企業信譽受損。

數據中心的建設通常只關注規劃、設計、施工等方面，施工完畢后經過施工驗收就投入運行。其施工驗收往往都是參照土建類項目進行，一般都是孤立、靜態的，有些甚至是關鍵設施存在的問題，也無法被檢驗出來，造成數據中心投入運行后，不斷發生故障，甚至引起數據中心癱瘓，帶來重大經濟損失和社會影響。為避免該情況的發生，近年來在施工完畢后，對數據中心有針對性地進行測試已經逐步成為共識。

1 數據中心測試的發展情況

數據中心的建設是一項復雜的系統工程，它涉及到建筑、結構、裝修、電源、空調、通信、消防等多個專業。且數據中心的建設具有施工時間集中、施工工藝復雜、施工專業能力要求比較高等特點，數據中心建設質量將直接影響其運行的安全可靠性。尤其是電源、空調系統作為數據中心的關鍵設施，一旦出現故障往往都是災難性的，將直接導致數據中心癱瘓，影響巨大，所以要求更高，必須全年7×24小時不間斷運行。

數據中心可靠性是數據中心的關鍵指標，是數據中心評級的重要標準。對于高等級數據中心，在其建設的規劃、設計、施工各環節中都在追求高可靠性，而在施工驗收環節卻并未真正做好高可靠性的檢驗。目前，國內的數據中心施工驗收規范常用的有國家標準“電子信息系統機房施工及驗收規范”[2]、通信行業標準“互聯網數據中心(數據中心)工程驗收規范”[3]以及各企業的數據中心施工驗收規范等。數據中心的施工驗收一般都參照這些驗收規范進行，對數據中心建筑、結構、裝修、電源、空調、通信、消防等多個專業分別進行驗收。驗收時只是針對施工選用的設備、材料、施工工藝與設計進行核對和測量。對于設備也只是對單臺設備分別開啟，觀察是否運行正常，沒有一個系統的、有針對性的數據中心測試方案，因此，會導致很多數據中心在正式上線運行后問題不斷發生。這個現象已經引起了數據中心建設和使用單位的高度重視。為解決這一問題，目前社會上逐漸涌現出一批數據中心測試和驗證機構，其作為專業的第三方機構對建成后的數據中心做全面“體檢”，查出問題預先整改，整改通過后再投入正式運行，使數據中心在正式運行時能夠更好地實現設計所要求的高可靠性指標。在數據中心測試中，對電源、空調系統的測試尤為關鍵。

由于數據中心建設時往往只針對基礎配套設施，并沒有部署IT設備，在數據中心交付使用后才逐步進行安裝，這樣就會造成施工驗收時數據中心沒有負載，無法真正檢驗所建設的基礎配套設施能否長時間安全可靠地運行；而對于數據中心的關鍵設施如電源、空調系統，因為有很多問題在空載狀態下無法暴露出來，所以單個測試電源、空調設備無法測試出正式上線后它們是否能夠滿足長時間運行的高可靠性要求；因此，采用假負載模擬數據中心的實際運行情況，對電源、空調系統的各個環節進行細致且系統的測試，是一個理想的測試方案。

2 數據中心假負載測試

數據中心假負載測試是指數據中心建設工程完工后，在機房機架內安裝假負載設備并上電運行，模擬用戶在機房啟用服務器等設備后實際運行、發熱的情況，用以測試所有的配套系統。對機房范圍內所涉及的設備設施、電氣連接點(含電源頭柜、工業連接器等全部電氣設備設施)進行假負載測試，以杜絕安全隱患的發生；對數據中心發電機系統、變配電系統、不間斷電源系統、機房配電系統、空調系統等進行滿載測試，以確保整體系統的安全性和可靠性。

2.1 假負載測試的種類及內容

數據中心假負載測試根據測試對象的不同，可分為數據中心機房機架假負載測試與數據中心(機房)滿載測試，可根據用戶需求的不同分別進行或者同時進行。數據中心機房機架假負載測試主要針對機房內配電設備及前級配電屏，測試各配電屏狀態及各具體連接點的狀態；數據中心滿載測試主要用于測試數據中心的各系統工作情況及其應對突發故障時的處置情況。兩類的測試具體內容詳見表1。

表1 假負載測試各項內容

2.2 數據中心假負載測試過程

針對數據中心進行假負載測試的主要工作包括：前期現場查勘、制定測試方案、測試方案論證、測試設備及工具籌集、測試人員培訓、現場測試、測試數據分析、現場問題整改、問題點復測、出具測試結論及報告等，以下將進行詳細敘述。

2.2.1 數據中心假負載測試的設備工具選用

1) 測試設備：機架式假負載箱，如圖1所示。技術要求，如表2所示。

圖1 機架式假負載箱示例

表2 假負載箱技術要求

負載性質：要求測試用機架式假負載為純阻性負載，其目的是確保功率、電流穩定，使得計算更加便捷、測試結果具有可比性。

設備功率：多檔可調的設備功率更能適應不同額定功率的機架需求。

加載方式：手動加載便于控制，以防止同時開啟較多假負載時因電流過大超過電源頭柜的額定電流引起斷路器動作。

工作電壓：數據中心機房機架的不間斷電源系統可能為UPS系統或者高壓直流系統。選擇兼容不同工作電壓的假負載箱可以適應不同條件的機房。

自動保護：要求機架式假負載具有自動保護功能，包含負載過流及短路保護，另需具有風機故障保護。當假負載的風機發生故障時，其內部電阻絲持續發熱，負載箱喪失風冷功能。在此情況下，極易造成負載箱內部線路、元器件損壞，產生煙霧，甚至發生火災，嚴重時可能觸動機房消防系統，造成不必要的損失；因此，要求機架式假負載箱具有風機故障保護十分必要，即當負載箱內的風機不啟動，或者風扇未轉動時，電阻絲停止通電。亦可根據負載箱內溫度設置該故障保護，即當負載箱內部環境溫度升高至一定溫度時，切斷電阻絲電源。

2) 測試工具，如表3所示。測試工具的數量應根據數據中心規模、機房內機架數量、測試人員數量、測試進度等綜合考慮。

2.2.2 數據中心機房機架假負載測試方案

數據中心機房機架假負載測試旨在測試機房內配電系統及前級配電屏的各電氣連接點狀態。數據中心配電系統中最難檢測的即電氣連接點狀態，該狀態無法直接觀測出，電氣連接點的狀態往往以溫升的形式反應，故數據中心機房機架假負載測試的主要工作是測量各電氣連接點的溫升情況。

數據中心機房機架假負載測試前，需根據機房內機架總數量、機架額定功率、每套不間斷電源系統對應的機架數量以及機房空調系統的制冷量、測試人員和工具的多少，來綜合確定測試方案，確保每臺機架的每路回路都完成測試。一般數據中心機房的測試步驟如下。

1) 根據機房實際情況制定測試方案。

2) 準備測試設備、工具、安排測試人員(包括設備廠家技術支持人員)。

3) 明確測試參數，包括假負載功率、電流、每列頭柜允許的最大電流、不間斷電源系統的容量及允許最大負載率、機房空調系統允許的最大負載等。

4) 明確測試點，一般數據中心機房機架假負載測試的溫升測試點包括以下幾方面。①電源頭柜：電源頭柜總開關輸入輸出端金屬表面；電源頭柜金屬母排；電源頭柜分路開關輸入輸出端金屬表面。②機架：機柜接線柱輸入輸出端金屬表面；機柜PDU外殼表面；機柜PDU插孔。③電源頭柜前級配電屏：配電屏內斷路器或者熔斷器輸入輸出端金屬表面。

5) 確定測試周期。經驗表明，機架式假負載在上電運行半小時后，各電氣連接點的溫升情況即可基本穩定，故障點的發熱速度則相對要快很多，基本在上電后的15分鐘內就會明顯發熱，因此，將溫度測試周期定為上電半小時之后。

6) 測試步驟。

①準備工作：將假負載搬運入架，置于機柜層板上，螺絲不固定；檢查不間斷電源系統狀態；檢查假負載及電源頭柜開關，全部置為關閉檔；連接假負載電源線，保證每機架假負載電源插頭在PDU上的位置相同并且負載功率盡量均分；在測試記錄表上記錄環境溫度、機柜編號、A/B路信息等。

②上電步驟：先開啟電源頭柜輸入總開關，再開啟電源頭柜分路開關；開啟假負載開關(假負載開啟后電流可能會短暫升高，為確保每列機架總電流不超過額定電流，開啟假負載時應逐臺開啟并注意電流是否穩定)；用鉗形表測量電源頭柜每分路電流值并記錄，確保分路電流正常，記錄實際電壓值和電流總值；觀察電源頭柜及前級輸出配電屏的參數、狀態等。

③溫度測量：假負載正常運行30分鐘后，用紅外線熱成像儀分別測量電源頭柜總開關輸入輸出端金屬表面、電源頭柜母排、電源頭柜分路開關輸入輸出端金屬表面、機柜中接線柱輸入輸出端金屬表面、機柜PDU外殼表面、機柜PDU插孔的溫度，并將數據記錄在測試記錄表上；測量該電源頭柜對應的前級輸出屏分路斷路器或者熔斷器輸入輸出端金屬表面溫度，并將數據記錄在測試記錄表上。

④結束測試：關閉假負載開關；先關閉電源頭柜分路開關，再關閉電源頭柜輸入總開關；測試人員檢查確認測試結果并簽字；將假負載電源線斷開；將假負載搬離機架。

注意事項：確保機房空調系統制冷量能滿足同時開啟的假負載功耗；確保一套不間斷電源系統所帶負載不超過運維允許最大負載；不能帶載開啟、關閉電源頭柜的開關；機房內需配備消防工具。

7) 對測試數據進行統計分析，統計問題點。

8) 由設備廠家或施工單位對問題及故障進行整改維修，并進行復測。

9) 完成測試，出具測試報告。

數據中心機房機架假負載測試能夠有效地對數據中心機房配電系統進行檢測，通過測試能夠發現配電設備可能存在的電氣連接點問題，如接觸不良、假焊、虛焊等，也能夠測試配電屏等設備的告警、顯示、測量功能等，從而在機房正式投入使用前對隱患問題進行整改。

2.2.3 數據中心假負載滿載測試方案

數據中心假負載滿載測試即模擬數據中心中每個機房均按照設計負荷滿負荷運行，在此情況下對數據中心的發電機系統、變配電系統、不間斷電源系統、空調系統等進行檢測調試。在交付用戶前對隱患進行整改，避免后續安全事故的發生。

滿載測試前也應根據數據中心各系統的實際情況，結合運維要求及客戶需求制定詳細的測試方案。測試時，應遵照數據中心機房機架假負載測試的要求安裝開啟各機房的假負載設備，在數據中心各機房滿載運行的情況下，檢查各設備的運行狀態，繼而進行系統測試與系統聯調等。

數據中心假負載滿載電源系統測試方法如表4所示。以水冷空調系統為例，數據中心假負載滿載水冷系統測試方法如表5所示。數據中心假負載滿載測試可使整個數據中心的發電機系統、變配電系統、不間斷電源系統、空調系統等故障應急響應系統的可靠性得到保障。

表4 數據中心假負載滿載電源系統測試聯調

表5 數據中心假負載滿載水冷空調系統測試

2.3 機架假負載測試結果分析

在數據中心電源系統中，電氣連接點往往是電路中的薄弱環節，是發生過熱的一個重點部位。不可拆卸的接頭連接不牢、焊接不良或接頭處混有雜質，都會增加接觸電阻而導致接頭過熱。可拆卸的接頭連接不緊密或由于震動而松動也會導致接頭發熱。活動觸頭，如刀開關的觸頭、接觸器的觸頭、插式熔斷器的觸頭等，如果沒有足夠的接觸壓力或接觸表面粗糙不平，亦會導致接頭過熱。

如因連接點接觸不良導致打火、短路、漏電等，會很容易引起系統跳電、設備宕機。如漏電電流集中在某一點，發熱量將非常大，很容易造成火災。判斷以上這些故障的重要依據就是假負載測試時的測試點溫升情況。

《中華人民共和國國家標準GB 7251.1—2005 低壓成套開關設備和控制設備》[4]及《中華人民共和國國家標準GBT 25840-2010 規定電氣設備部件(特別是接線端子)允許溫升的導則》[5]中對機房中各設備不同材質的溫升提出了要求。

國家標準提出：用于連接外部絕緣導線的端子允許最大溫升為70K，可接近的外殼和覆板——絕緣表面允許最大溫升為40K。

實際測試中，當我們假定機房、電力室環境溫度為25℃左右，按照國家標準規定，數據中心機房電源頭柜內總開關與分路開關的接線柱、機柜內接線柱與電源系統配電屏內開關接線柱或熔絲連接端可允許的最高溫度為95℃。機房機柜PDU表面可允許的最高溫度為65℃。

結合實際測試結果，我們發現，國家標準中規定的允許最大溫升對數據中心機房機架假負載測試結果的指導意義并不大。實際測試時，各電氣連接點溫度達到50℃以上的，如經重新緊固整改，復測溫度均能獲得明顯下降。而連接點溫度在60℃以上時，一般都不同程度存在連接點接觸不良的問題，經整改復測后溫度均降至50℃以下。

綜合幾次實際測試的數據分析，本文認為，一般將數據中心機房電氣連接點允許最大溫升定為25K，絕緣表面允許最大溫升定為20K較為合理。

3 數據中心假負載測試應用實例

數據中心假負載測試在近兩年已經逐步應用到數據中心的建設中，以下以某通信運營商數據中心假負載測試為例，對數據中心假負載測試的應用情況進行介紹。

通過對某通信運營商數據中心進行機房機架假負載測試，發現并整改的機房隱患問題如表6所示。圖2、圖3為數據中心機房機架假負載測試發現隱患圖示。

表6 數據中心機架假負載測試發現問題及整改方案

圖2顯示為在機架假負載測試中，發現前級高壓直流系統直流輸出屏內熔斷器連接處溫度異常，高于正常溫度值。推測原因為熔斷器未安裝到位或者接觸面存在異物。經過拆卸熔斷器并重新檢查安裝后，復測溫度恢復正常。圖3顯示為同一測試點復測溫度。

圖3 高壓直流系統直流配電屏內熔斷器連接點更改后溫度

通過對數據中心進行機房機架假負載測試，基本上將機房內存在的隱患盡數發現并進行了整改，使得用戶設備得以安全運行。

4 結束語

隨著數據中心的發展，用戶對數據中心機房安全可靠性日益重視，在數據中心交付使用前進行數據中心測試驗證已經逐漸成為一種趨勢。尤其是對于數據中心關鍵設施如電源、空調系統，只有通過假負載測試才能發現數據中心的潛在問題和隱患，從而進行整改，最大難度降低數據中心運行時的風險。假負載測試不僅能夠在數據中心建設完成后通過測試、整改提高數據中心的可靠性，而且能夠對數據中心實際運行時的事故處理預案進行評估和優化，進一步提高數據中心的可靠性、可用性。隨著數據中心的不斷發展，數據中心假負載測試必將成為數據中心建設驗收的重要組成部分，并且會成為數據中心配套業務的又一新興市場。

參考文獻

[1]工信部通函〔2014〕225號.工業和信息化部關于2011年以來我國數據中心規劃建設情況的通報[R]

[2]中華人民共和國國家標準GB 50462-2008.電子信息系統機房施工及驗收規范[S]

[3]中華人民共和國通信行業標準YD 5194-2014.互聯網數據中心(數據中心)工程驗收規范[S]

[4]中華人民共和國國家標準GB 7251.1-2005.低壓成套開關設備和控制設備[S]

[5]中華人民共和國國家標準GBT 25840-2010.規定電氣設備部件(特別是接線端子)允許溫升的導則[S]