集裝箱式邊緣數據中心震后功能概率評價方法

左浩朋，尚慶學，毛晨曦，張學斌，李 震，孫國良，王 濤

(1.中國地震局工程力學研究所，中國地震局地震工程與工程振動部門重點實驗室，黑龍江，哈爾濱 150080；2.地震災害防治應急管理部重點實驗室，黑龍江，哈爾濱 150080；3.清華大學土木工程系，北京 100084；4.中國移動通信集團設計院有限公司，北京 100080；5.信通院(保定)科技創新研究院有限公司，河北，保定 071051)

邊緣數據中心是5G 網絡中的一類重要節點。隨著5G 時代的到來，為更好地支撐高密度、大帶寬和低延時的業務場景(如5G 通信、物聯網、無人駕駛等)，從“核心計算模式”轉化為“邊緣計算模式”的必要性被提出，即在用戶側就近解決網絡傳輸問題，而邊緣數據中心就是“邊緣計算模式”得以實現所依賴的基礎設施[1-2]。集裝箱式邊緣數據中心(Containerized edge data center, CEDC)通過將邊緣數據中心設置在大的集裝箱內，從而實現數據中心建設的標準化、模塊化。作為5G 時代網絡架構中的重要組成部分，其震后功能評價是整個5G 網絡震后功能評價的基礎，對抗震韌性評價也具有重要意義[3-4]。

CEDC 是一個小型的復雜系統，其震后功能的維持有賴于數據中心內各子系統的功能狀態及各子系統間的功能邏輯關系，因而對其進行功能評價需要采用合適的系統分析方法。通過模擬系統運行邏輯進而評價系統性能狀態，最常用的方法是故障樹分析方法。故障樹在19 世紀60 年代由貝爾實驗室提出，最早用于導彈發射控制系統的可靠性分析[5-6]。故障樹分析[7]的基本概念是，將物理系統轉化為結構化的邏輯關系圖，通過規定的事件和邏輯符號來描述造成頂事件故障的各種原因，因此頂事件的發生概率可以由一系列基本事件的發生概率構成的布爾邏輯值表達。故障樹方法已在核電廠[8-9]、單體建筑[10]、電力系統[11]、醫療系統[12]和通信基站[13-14]等的抗震性能評價中得到應用。在系統的抗震性能評價分析中，結構、非結構構件和設備的故障作為故障樹的基本事件，基本事件的的概率由部件抗震能力概率或易損性計算得到；其后根據物理關系將基本事件集成為故障樹；進而根據故障樹的運算法則，各個基本事件的概率可以集成為狀態樹頂事件的概率，即可得到系統的抗震性能。然而采用故障樹分析時需要進行最小割集組合的失效概率運算，對于基本部件較多、組成關系復雜的系統而言有較大的難度。因此，李吉超等[15-16]將故障樹方法與成功路徑方法結合，建立了狀態樹方法。成功路徑方法[17]由美國電力協會提出，其核心是找到一條或多條成功路徑，如果任何一條成功路徑中的所有部件保持正常工作，則系統功能正常。狀態樹方法考慮系統所有成功路徑進行系統性能分析，其頂事件由系統的全部成功路徑組成，可用于表示系統的功能運行情況。相比于故障樹方法，狀態樹方法將系統分層分塊獨立評估，而后集成為狀態樹，進而評估系統的狀態，充分考慮了與系統功能相關的所有部件之間的相互依存性，以及各個部件對系統整體功能的影響。目前狀態樹方法已在變電站[15-16]和醫療系統[18-19]的抗震性能評價中得到了應用。

本文在對多個數據中心進行實地調研的基礎上建立了典型CEDC 的狀態樹模型，并研究建立了CEDC 的震后功能狀態評估方法框架，從而為整個5G 網絡系統的震后功能評價建立基礎。文中首先研究了典型CEDC 內部各子系統、各基礎部件之間的功能邏輯關系，然后基于此建立了CEDC的狀態樹模型，并定義了CEDC 的震后功能損失水平；其次，通過數值模擬和引用已有文獻結果，給出了數據中心內各基礎部件的地震易損性參數；最后，提出了基于狀態樹和蒙特卡洛模擬的CEDC震后功能概率評價方法，并對CEDC 的薄弱環節進行了識別。

1 CEDC 各子系統的故障樹模型

圖1 給出了一個典型CEDC 的三維模型和照片。進行CEDC 的功能評價，首先要準確理解數據中心內各子系統之間，以及每個子系統內各基本部件之間的功能邏輯關系，然后基于此建立各子系統的故障樹模型。針對這個問題，課題組進行了大量實地調研，向數據中心設計和運維人員進行咨詢。從維持數據中心通信功能的角度，本文將CEDC 分解為建筑結構子系統、供配電子系統、空調子系統、通信子系統、狀態監控子系統共5 個子系統。

圖1 典型CEDCFig.1 Typical CEDC

在故障樹中，頂事件表示故障結果，模型內每一個方塊代表一個基本部件，部件之間采用邏輯門連接：“OR”門表示位于其下方的任意部件故障都會導致其上方故障事件發生，“AND”門表示其下方全部部件失效才會導致其上方故障事件發生。

1) 建筑結構子系統

建筑結構子系統包括安放數據中心的外部集裝箱，以及集裝箱內部固定密閉冷通道的鋼框架，如圖2(a)所示。通常CEDC 由2 個標準集裝箱拼接而成，集裝箱上部有安裝空調外機的安裝架，集裝箱內部的密閉冷通道框架則用于固定全部柜體設備。建筑結構子系統的故障樹如圖2(b)所示，集裝箱框架和密閉冷通道框架其中任何一個嚴重損傷都會影響數據中心正常使用。

圖2 建筑結構子系統及其故障樹模型Fig.2 Structure subsystem and its fault tree

2) 供配電子系統

供配電子系統由為數據中心全部設備(通信設備、空調設備、監控設備)供電的一系列變電、配電設備構成，具體包括：柴油發電機、自動轉換開關柜(Automatic transfer switch, ATS)、不間斷電源柜(Uninterruptible power supply, UPS)、蓄電池柜和配電柜。柴油發電機放置于集裝箱外，除柴油發電機外的其余供配電設備均布置在密閉冷通道鋼框架內。各供配電設備在密閉冷通道內的位置、供配電流程分別如圖3(a)、圖3(b)所示。供配電子系統的故障樹如圖3(c)所示。供配電子系統由常時供電和應急供電兩套系統組成，任何一套系統正常工作，供配電系統均能正常運行。常時供電由市電進線、ATS 開關柜、UPS 電源柜和配電柜組成，四者缺一不可。應急供電要求不間斷電源與柴油發電配合才能完成，其中任何一個故障都會導致供電中斷。不間斷電源由UPS 電源、蓄電池柜和配電柜組成，柴油電源由柴油發電機、ATS 開關柜、UPS 電源柜及配電柜組成。

圖3 供配電子系統及其故障樹模型Fig.3 Power supply subsystem and its fault tree

3) 空調子系統

空調子系統由若干空調外機和對應的空調內機構成。空調外機位于集裝箱頂部，空調內機位于密閉冷通道上部，圖4(a)中的示例為3 組空調外機和對應的空調內機。空調系統在設計時會考慮冗余，如圖4(a)中的三組空調，通常有一套滿負荷工作，即可滿足數據中心的全部供冷需求。空調子系統的故障樹如圖4(b)所示。

圖4 空調子系統及其故障樹模型Fig.4 Air conditioning subsystem and its fault tree

4) 通信子系統

通信子系統由承載數據中心通信業務的全部設備構成。通信子系統內各設備之間的功能邏輯關系與數據中心承載的業務內容相關。本文的CEDC由9 臺服務器機柜承載業務(布置位置如圖3(a)所示)。機柜1 內放置核心層和接入層交換機，負責與數據中心外部網絡通信；機柜2 和機柜3 分別放置讀服務器和寫服務器；機柜4～機柜9(共6 個機柜)則全部放置計算服務器，分別承擔數據中心轄區內不同區域的數據業務，因而6 個計算服務器機柜為平行邏輯關系，即其中1 個計算服務器機柜出現故障，僅影響其承擔區域的業務，不會對其他計算服務器機柜及其承擔的業務造成影響。基于上述架構，從功能邏輯關系上可以將通信子系統看作由6 個平行的計算子系統構成，每個計算子系統又由交換機機柜(機柜1)、讀寫服務器機柜(機柜2 和(機柜3)和1 個計算服務器機柜(機柜4～機柜9 中任意1 個機柜)構成。圖5 給出了計算子系統的故障樹。

圖5 計算子系統的故障樹模型Fig.5 Fault tree of the computing subsystem

5) 狀態監控子系統

狀態監控子系統只包括1 臺管控柜，其在密閉冷通道中的位置如圖3(a)所示。CEDC 長期無人值守，管控柜相當于數據中心的中樞，監控溫度、濕度、服務器運轉等各類狀況，對空調、柴油發電機進行控制，并將相關監控數據經通信子系統傳至遠端監控中心。當狀態監控子系統出現故障時，由于無法監控數據中心內部環境，此時其內部的設備將被完全關閉。

2 CEDC 狀態樹模型

2.1 成功路徑

基于前面對CEDC 各子系統的功能解構，可以看出數據中心內各個子系統間的功能邏輯關系為：1) 6 個計算子系統是相互并行的，任意一個計算子系統維持工作，數據中心即具有部分功能；2)任意1 個計算子系統維持工作，都需要建筑結構子系統、供配電子系統、空調子系統、狀態監控子系統正常工作；3) 空調子系統和狀態監控子系統維持正常工作也需要供配電子系統和建筑結構子系統正常工作。即數據中心維持正常運行共包含6 條成功路徑(即6 個計算子系統)，圖6 給出了成功路徑示意圖。

圖6 數據中心成功路徑Fig.6 Success path of the data center

2.2 狀態樹模型

將圖1～圖5 中各子系統的故障樹模型按照圖6的成功路徑組合，即得到CEDC 的狀態樹模型，如圖7 所示。數據中心作為整個5G 通信系統的一類重要節點，其各個功能水平的失效概率均是整個通信系統震后功能分析的必要數據基礎。因而狀態樹模型的頂事件選擇為輸出“數據中心的功能損失水平”，即數據中心在震后發生故障成功路徑數與總成功路徑數的比值，如式(1)所示：

圖7 CEDC 的狀態樹模型Fig.7 State tree of the CEDC

本文CEDC 在地震作用下可能發生共7 個水平的功能損失，即L0,L1, ···,L6，分別對應0 條、1 條，直至全部6 條成功路徑全部故障，也即0 個、1 個···直至全部6 個計算服務器機柜不能向外界提供計算服務。圖7 僅展開表達了數據中心狀態樹的一條成功路徑，其他成功路徑中各部件及部件間的邏輯關系均與此相同。為使表達更簡潔，圖7 引入了虛構事件FE1 和FE2，分別表示計算子系統和空調子系統。此外，圖7 中也僅對一處供配電子系統給出了展開表達。

3 CEDC 各基本部件的地震易損性

部件的地震易損性用于描述部件的抗震性能[20-23]。基于狀態樹模型分析CEDC 的震后功能時，需要先判斷狀態樹中的每一個基本部件的功能狀態(正常工作或功能失效)。首先需獲得數據中心每個基本部件的地震易損性，并確定損傷狀態與功能失效的關聯關系，進而采用隨機采樣的方法對部件功能狀態進行判斷。

工程結構的地震易損性表示其在給定的地震動強度下達到或超過某一損傷狀態的概率，如式(2)所示：

式中：P[·] 為概率； Φ[·]為標準正態累積分布函數；IM 為 地震動強度參數；mD|IM和 βD|IM分別為結構地震需求D的中位值和對數標準差；mC和 βC分別為結構抗震能力C的中位值和對數標準差。

根據式(2)，地震易損性分析可分為概率地震需求分析和概率抗震能力分析，其原理和分析方法，可參考文獻[24 - 27]。

概率地震需求模型表征了結構反應與地震動強度之間的概率關系。地震需求的中位值mD|IM與地震動強度 IM之間一般服從式(3)的冪指數回歸關系[27]：

式(3)兩邊取對數可得：

式中， lna、b為擬合系數，可通過擬合獲得。地震需求的對數標準差 βD|IM可由式(5)計算：

式中：Di為某一次分析中結構的地震需求；N為分析次數(即地震需求樣本點總數)。

將式(4)代入式(2)，可得：

CEDC 基本部件的易損性參數如表1 所示。地震動參數全部為峰值地面加速度 PGA(peak ground acceleration)。表1 中部件1～部 件4(ATS、UPS、配電柜、柴油發電機)的概率抗震能力模型參數來源于FEMA P58[28]，其地震需求參數為部件基底的峰值加速度，而在CEDC 內這四種部件均放置在集裝箱地面，因而其地震需求參數亦為 PGA。部件5～部件9，其地震易損性模型參數來源于課題組前期進行的相關通信設備的振動臺試驗[14,29-30]。

表1 基本部件的易損性參數Table 1 Fragility parameters of basic components

表1 內“損傷水平”表示與各部件功能失效對應的損傷水平。對于各部件的功能狀態，本文僅考慮了“完好”和“功能失效”兩種狀態，對于部件存在多個功能水平的情況，課題組也進行了相關研究，具體可參考文獻[31]。

部件10 和部件11 即空調外機和空調內機，地震需求參數為設備基底處的峰值加速度，其概率抗震能力模型參數來源于FEMA P58[28]。CEDC內，空調外機安裝在集裝箱頂部，空調內機則在密閉冷通道頂部(圖4)，因而這兩種部件的地震需求參數分別為集裝箱頂部的峰值加速度和密閉冷通道頂部的峰值加速度。部件12 和部件13 即集裝箱框架和密閉冷通道，其概率抗震能力模型參數來源于FEMA 273[32]，地震需求參數分別為集裝箱頂部和冷通道頂部相對基底的峰值位移角。

為獲得部件10～部件13 的概率地震需求模型參數 lna、b和 βD|IM，本文采用ABAQUS 建立了集裝箱和密閉冷通道的有限元模型(圖8)，單元類型均采用了B31 兩節點線性空間梁單元，材料為Q235 鋼，采用隨動硬化本構，彈性模量取為2.1×105MPa，屈服強度235 MPa，極限強度470 MPa，屈服后剛度比為0.01，采用瑞利阻尼，前兩階阻尼比取為3%。各類設備的質量以質量點形式添加在有限元模型中。集裝箱框架和密閉冷通道框架的抗震弱方向均為Y方向(圖8)，其在該方向的自振周期TJ和TT分別為0.114 s 和0.269 s。CEDC可以在全國布設，因而并沒有具體的場地要求，從FEMA P695[33]建議的地震動中選取12 條強震記錄(表2)進行增量動力分析，歸一化的加速度反應譜如圖9 所示。參考ASCE/SEI 7-10 的要求，所選擇的地震動反應譜在0.2 倍～1.5 倍的TJ和TT范圍內，能量集中，適合作為增量動力分析的地震動[34]。分析時在Y向施加地震動， PGA從0.1g逐漸增幅直到發生塑性損傷。圖10 為增量動力分析得到的空調外機、空調內機、集裝箱框架和密閉冷通道的概率地震需求模型，也即地震動參數 PGA與集裝箱頂部峰值加速度 PFAJ、密閉冷通道頂部峰值加速度 PFAT、集裝箱頂部相對基底位移角 θJ、密閉冷通道頂部相對基底位移角 θT之間的概率關系和擬合結果，擬合參數也在表1 中給出。圖10 中，PGA 和 PFA 的 單位為g，R2代表擬合優度。依據式(6)即可計算得到表1 中部件10 至部件13 的地震易損性參數mS和 βS，也列在表1 內。

表2 12 條地震動記錄Table 2 12 ground motion records

圖8 集裝箱和密閉冷通道框架結構有限元模型Fig.8 Finite element models of the frame structures of the container and closed cold aisle

圖9 加速度反應譜Fig.9 Acceleration response spectra

圖10 概率地震需求分析Fig.10 Probabilistic seismic demand analysis

4 CEDC 震后功能的概率評價

4.1 地震功能易損性

數據中心是通信網絡中的重要節點，為了評價地震發生后整個通信網絡的功能水平，需要預先知道網絡中各節點在不同強度地震下發生不同水平功能損失的概率。參考“地震易損性”的概念，本文定義數據中心的“地震功能易損性”如下：在任意給定的地震動水平下，數據中心達到或超過某個功能損失水平Li的概率，如式(7)所示，并假設其超越概率與地震動強度之間符合對數正態分布。

式中，mi和 βi分別為地震功能易損性水平Fi對應的中位值和對數標準差。需要說明的是，在任意給定的地震動水平下，數據中心達到或超過功能損失水平L0的事件屬于必然事件，即P[F0]=1，因此在后續工作中不對P[F0]進行討論。

4.2 基于狀態樹和蒙特卡洛模擬的評價方法

基于狀態樹模型，結合蒙特卡洛模擬，對CEDC 進行震后功能損失水平的評價流程如圖11所示。首先將關注的地震動強度 IM的范圍等分，確定m個 離散的 IM值；對于每一個離散的地震動強度值，均采用狀態樹模型對數據中心的震后功能進行n次蒙特卡洛模擬；統計n次蒙特卡洛模擬中數據中心達到和超過每一個功能損失水平的比例，作為該功能損失水平的超越概率；將m個離散的 IM值對應的各功能損失水平超越概率采用對數正態分布函數擬合，即可獲得不同功能損失水平的地震易損性曲線。

圖11 地震功能易損性評價流程Fig.11 Flow chart of getting seismic fragility

在上述每一個離散的地震動強度下對數據中心進行的n次蒙特卡洛估計中，首先為數據中每一個基本部件生成一個隨機數(0～1 之間均勻分布)；然后將該隨機數與該部件發生功能失效的概率(從該部件發生功能失效對應的地震易損性曲線上確定)相比較，如果隨機數小于或等于其失效概率，該部件判定為失效，否則判定其為正常工作；最終，基于各部件的功能狀態，采用狀態樹模型從最底層逐層推出最頂層事件的輸出結果(數據中心的功能損失水平)。

4.3 典型CEDC 的地震功能易損性

采用4.2 節的方法對本文中的典型CEDC 地震功能易損性進行評價。選取 PGA作為地震動強度指標，將 PGA范圍確定為0.01g～1.2g，間隔為0.01g(即m=120 ) ，取n=2000。假設接入數據中心的運營商網絡完好，考慮市電正常供電和市電故障兩種情況確定數據中心的地震功能易損性曲線，如圖12 所示，對應的易損性曲線參數如表3所示，不同功能損失水平的發生概率如圖13 所示。從圖12 可以看出，六個功能水平的超越概率相差很小，說明在地震動強度逐步增大的過程中，地震功能易損性水平F1和F6幾乎接續出現，也即從6 條成功路徑全部正常很快轉為全部失效，處于中間狀態的功能水平L2和L5出現的概率非常小，這一點從圖13 中看得更為清晰。出現這種現象主要是由于數據中心內存在明顯的薄弱環節(見4.4 的分析)，且該薄弱環節直接影響數據中心的整體功能，不待各功能水平逐步出現就發生了數據中心的整體功能失效。

表3 典型CEDC 的地震功能易損性參數Table 3 Parameters of the seismic functional fragility of the typical CEDC

圖12 地震功能易損性曲線Fig.12 Seismic functional fragility curves

圖13 不同功能損失水平的發生概率Fig.13 Probability of different functional loss levels

此外，從圖12 和表3 中還可以看出，CEDC在市電完好情況下，功能完全喪失對應的地震易損性中位值為0.4694g，在市電故障情況下功能完全喪失對應的地震易損性中位值為0.3979g。這表明，本文CEDC 在8 度大震下有較高的概率喪失其使用功能，其抗震性能仍然有待進一步提高。市電故障情況下，數據中心的功能失效概率大于市電完好的情況，這主要是由于市電故障時需要蓄電池柜和柴油發電機參與工作，此時數據中心的震后功能與這兩種基本部件直接相關。

4.4 抗震薄弱部件識別

CEDC 的地震功能易損性與各個部件的地震易損性、部件的位置和部件間的功能邏輯關系息息相關。為了識別數據中心內的抗震薄弱部件，可以通過系統敏感性分析：即逐一提升每個部件的地震易損性參數，考察其對整個數據中心功能易損性中位值的影響，從而識別對數據中心震后功能影響最大的基本部件。基于此，這里選擇市電故障的情況作為分析案例。依次將各個基本部件的地震易損性中位值提升20%，其他參數保持不變，計算出易損性水平F3的中位值變化率，如圖14 所示，圖中各部件的編號與表1 一致。從圖中可以看出，空調內機的易損性中位值提升20%，系統功能易損性水平F3的中位值提升9.8%；電池柜的易損性中位值提升20%，系統功能易損性水平F3的中位值提升4.3%；空調外機的易損性中位值提升20%，系統功能易損性水平F3的中位值提升2.6%；其他部件對系統功能易損性水平F3中位值的影響較小，變化率均在1%以下。基于上述結果可初步判定，系統的抗震薄弱部件為空調內機、蓄電池柜和空調外機。

圖14 地震功能易損性水平F3中位值的變化率Fig.14 Change rate of the median of the seismic fragility of levelF3

4.5 空調內機位置建議

從4.4 節可以看出，系統的抗震最薄弱部件為空調內機。然而空調內機具有冗余設置，且從表1可以看出，空調內機的概率抗震能力中位值為1.54g，并非為所有部件中的最小值。但由于空調內機放置在密閉冷通道頂上，其底部加速度被放大。空調內機的概率抗震能力模型與對應的概率地震需求模型結合后，空調內機與功能失效對應的地震易損性曲線中位值變為0.31g。假設空調內機放置于集裝箱地板后對數據中心進行重新分析，則其地震功能易損性水平F3中位值將提升47.1%。因此本文不推薦將空調內機放置于密閉冷通道上部，這會對系統的功能易損性造成顯著影響，建議將空調內機放置于集裝箱地板以減輕其地震損傷及其對數據中心功能的影響。

5 結論

本文以典型CEDC 為研究對象，首先分析了數據中心5 個子系統的基本部件構成和各基本部件間的功能邏輯關系，建立了子系統故障樹模型和數據中心狀態樹模型，采用蒙特卡洛模擬給出了典型CEDC 的震后功能易損性曲線和參數，建立了CEDC 震后功能的概率評價方法。本文主要得到以下結論：

(1) 空調內機是影響CEDC 維持震后功能的最薄弱環節。但若將空調內機的安裝位置改為地面安裝，則可將數據中心地震功能易損性曲線中位值提升47%，顯著提升數據中心震后維持正常運行的能力。

(2) 除了空調外機，蓄電池柜和空調外機也是影響CEDC 維持震后功能的薄弱環節，改善這些薄弱環節可進一步提升數據中心維持震后功能的能力。

(3) 采用本文方法對典型CEDC 進行震后功能概率評價，其在市電完好情況下功能完全喪失對應的地震易損性中位值為0.4694g，在市電故障情況下功能完全喪失對應的地震易損性中位值為0.3979g。這表明，本文CEDC 在8 度大震有較高的概率喪失其使用功能，其抗震性能仍然有待進一步提高。