集團(tuán)化醫(yī)院多數(shù)據(jù)中心的建設(shè)思考

◆章俊 曹磊 涂志煒

集團(tuán)化醫(yī)院多數(shù)據(jù)中心的建設(shè)思考

◆章俊 曹磊 涂志煒

（南昌大學(xué)第一附屬醫(yī)院信息處 江西 330000）

隨著大型醫(yī)院集團(tuán)化發(fā)展，多活數(shù)據(jù)中心成為多院區(qū)協(xié)同醫(yī)療的基石。本文思考建立跨院區(qū)雙冗余的傳輸架構(gòu)，采用SDN控制器弱控組網(wǎng)方案，通過VxLAN技術(shù)打通跨院區(qū)大二層網(wǎng)絡(luò)，利用MP-BGP EVPN完成控制面的自動學(xué)習(xí)，實(shí)現(xiàn)虛擬服務(wù)動態(tài)漂移，確保醫(yī)療業(yè)務(wù)的連續(xù)性。SDN控制器負(fù)責(zé)服務(wù)策略下發(fā)，安全資源靈活分配等。此外，本文思考建立一套針對醫(yī)院業(yè)務(wù)，可跨院區(qū)管理的監(jiān)控平臺，提升數(shù)據(jù)中心運(yùn)維效率。

數(shù)據(jù)中心；VxLAN；弱控制；監(jiān)控平臺

為了使集團(tuán)化醫(yī)院各院區(qū)統(tǒng)一管理，多院區(qū)實(shí)現(xiàn)協(xié)同抗擊疫情，就必須建設(shè)一套跨院區(qū)的多活數(shù)據(jù)中心。多活數(shù)據(jù)中心可以使臨床產(chǎn)生的每一條數(shù)據(jù)實(shí)時同步到各院區(qū)的數(shù)據(jù)庫，保證信息的完整性、統(tǒng)一性。

近年來，隨著虛擬化技術(shù)的發(fā)展與完善，醫(yī)院將各信息系統(tǒng)部署在虛擬服務(wù)器上。為實(shí)現(xiàn)數(shù)據(jù)中心跨院區(qū)負(fù)載均衡與容災(zāi)，虛擬機(jī)須能跨院區(qū)漂移。本文思考以SDN（Software Defined Network，SDN）控制器弱控制組網(wǎng)方案為核心，裸光纖為傳輸載體，采用雙冗余傳輸架構(gòu)實(shí)現(xiàn)多院區(qū)數(shù)據(jù)同步互通。通過虛擬擴(kuò)展局域網(wǎng)（Virtual eXtensible Local Area Network，VxLAN）可實(shí)現(xiàn)虛擬機(jī)在不改變MAC和IP的情況下跨院區(qū)自動漂移，充分利用空閑資源進(jìn)行負(fù)載分擔(dān)，保證業(yè)務(wù)連續(xù)性。弱控制組網(wǎng)方案不僅避免了因SDN控制器的不穩(wěn)定造成的網(wǎng)絡(luò)故障，還可以通過MP-BGP（MPLS-Based BGP）EVPN（Ethernet Virtual Private Network，EVPN）實(shí)現(xiàn)地址自動學(xué)習(xí)，隧道自動建立。同時，醫(yī)院建立一套安全資源池，由SDN控制器根據(jù)業(yè)務(wù)需要靈活分配安全資源。此外，為了提升跨院區(qū)的網(wǎng)絡(luò)協(xié)同運(yùn)維，本文探索建立一套不僅包含網(wǎng)絡(luò)服務(wù)告警還可以針對醫(yī)院業(yè)務(wù)挖掘潛在問題的統(tǒng)一運(yùn)維監(jiān)控平臺。

1 多數(shù)據(jù)中心傳輸架構(gòu)

為實(shí)現(xiàn)多院區(qū)異地之間的互聯(lián)互通，可租用運(yùn)營商的傳輸資源，采用裸光纖的方式進(jìn)行數(shù)據(jù)傳輸。一般而言，醫(yī)院的外網(wǎng)與內(nèi)網(wǎng)區(qū)域在邊界上都必須嚴(yán)格的隔離。即便是跨院區(qū)互通時，也僅僅外網(wǎng)之間、內(nèi)網(wǎng)之間分別互通。然而，如果內(nèi)外網(wǎng)分別由兩根裸光纖互聯(lián)，這勢必將增加傳輸成本。為此，可在每個院區(qū)配置一臺波分復(fù)用設(shè)備，將內(nèi)、外網(wǎng)的數(shù)據(jù)信號通過不同波長的光載波復(fù)用在一根物理光纖上傳輸。由此，既節(jié)省了傳輸資源開銷，又保證了內(nèi)外網(wǎng)絡(luò)的隔離。

為加強(qiáng)數(shù)據(jù)中心的健壯性，建議多個數(shù)據(jù)中心采用雙冗余傳輸架構(gòu)，如圖1所示。所謂雙冗余，其一、采用環(huán)形互聯(lián)；其二、租用兩根不同運(yùn)營商的裸光纖線路。采用環(huán)形傳輸可增加網(wǎng)絡(luò)的健壯性。當(dāng)任意兩個數(shù)據(jù)中心之間的傳輸線路意外中斷、閃斷或者吊死等現(xiàn)象，可采取應(yīng)急措施，由另外半邊環(huán)的傳輸轉(zhuǎn)發(fā)可達(dá)。此外，醫(yī)院租用兩個不同運(yùn)營商的裸光纖進(jìn)行數(shù)據(jù)傳輸，當(dāng)某一運(yùn)營商的傳輸設(shè)備發(fā)生災(zāi)難級故障時，可切換由另一運(yùn)營商的傳輸線路承載。避免因第三方故障導(dǎo)致院區(qū)間通信中斷。

圖1 多數(shù)據(jù)中心傳輸架構(gòu)

跨院區(qū)的傳輸線路在使用前，應(yīng)該進(jìn)行充分的壓力測試。在兩個院區(qū)的數(shù)據(jù)中心分別模擬一定數(shù)量的患者進(jìn)行跨院區(qū)掛號、就診，打印影像圖文報告等，測試裸光纖的最大并發(fā)數(shù)、傳輸時延和速度。此外，還需考慮到，當(dāng)虛擬機(jī)（Virtual Machine，VM）突發(fā)性發(fā)生大規(guī)模跨院區(qū)漂移時將產(chǎn)生巨大的東西向流量，此時的裸光纖是否能承受瞬間的高流量。

2 基于SDN弱控制組網(wǎng)的多數(shù)據(jù)中心

為了滿足集團(tuán)化醫(yī)院的發(fā)展需要，實(shí)現(xiàn)跨院區(qū)的數(shù)據(jù)中心網(wǎng)絡(luò)和超融合服務(wù)器融為一體，在IP可達(dá)的范圍內(nèi)廣播二層以太網(wǎng)幀（MAC）信息，首先考慮將VxLAN技術(shù)引入數(shù)據(jù)中心建設(shè)。其高擴(kuò)展性可在傳統(tǒng)數(shù)據(jù)中心上進(jìn)行小范圍的改造后實(shí)現(xiàn)互聯(lián)。其最關(guān)鍵的一步是將傳統(tǒng)的二層MAC疊加在UDP數(shù)據(jù)包頭部。該數(shù)據(jù)格式可用以實(shí)現(xiàn)多數(shù)據(jù)中心的大二層互通，虛擬機(jī)在不用改變原有MAC地址與IP地址的情況下跨數(shù)據(jù)中心進(jìn)行任意漂移，保證醫(yī)院業(yè)務(wù)的連續(xù)性。引入SDN控制器實(shí)現(xiàn)軟件配置下發(fā)，不僅可以簡化網(wǎng)絡(luò)配置工作，還能按需分配安全資源。筆者建議醫(yī)院數(shù)據(jù)中心采用SDN控制器弱控制組網(wǎng)，SDN控制器不執(zhí)行流表下發(fā)等控制動作，避免因SDN的bug或者故障導(dǎo)致全院數(shù)據(jù)中心網(wǎng)絡(luò)癱瘓。

圖2 跨院區(qū)的兩個數(shù)據(jù)中心組網(wǎng)

以兩個院區(qū)為例，基于VxLAN的跨院區(qū)數(shù)據(jù)中心可規(guī)劃為如圖2所示，每個院區(qū)都為脊葉架構(gòu)（Spine-Leaf）。超融合服務(wù)器上聯(lián)的接入層交換機(jī)可看作Leaf，核心交換機(jī)作為Spine。

（1）虛擬交換機(jī)（Virtual Switch，vSwitch），由超融合服務(wù)器節(jié)點(diǎn)上經(jīng)配置虛擬產(chǎn)生，VM通過vSwitch實(shí)現(xiàn)在傳統(tǒng)的VLAN下交互。

（2）在Leaf交換機(jī)上配置虛擬隧道終點(diǎn)（VXLAN Tunnel End Point，VTEP），將二層的數(shù)據(jù)包封裝并將VLAN ID映射為VxLAN標(biāo)識號（VXLAN Network Identifier，VNI）。因此，二層ARP請求便可在IP可達(dá)的網(wǎng)絡(luò)中廣播VM的MAC地址。

（3）核心交換機(jī)上配置MP-BGP EVPN和路由反射器（Route Reflector，RR）。EVPN作為VxLAN的控制平面承擔(dān)跨數(shù)據(jù)中心的路由發(fā)布，RR負(fù)責(zé)將接收到的EVPN路由發(fā)布到其他節(jié)點(diǎn)。

（4）SDN控制器不承擔(dān)嚴(yán)格意義上的VxLAN控制平面，僅用于服務(wù)策略等下發(fā)。因?yàn)榫湍壳艾F(xiàn)狀而言，SDN控制器的穩(wěn)定性遠(yuǎn)不如已經(jīng)發(fā)展多年的傳統(tǒng)網(wǎng)絡(luò)設(shè)備，處于頂層的SDN一旦癱瘓，將影響全局。

圖3 整體協(xié)議架構(gòu)

如圖3所示，通過底層至頂層的整體協(xié)議架構(gòu)，VM的MAC地址可由大二層廣播至醫(yī)院所有的數(shù)據(jù)中心節(jié)點(diǎn)。當(dāng)某一物理機(jī)節(jié)點(diǎn)負(fù)荷較高或者因故障無法承載業(yè)務(wù)時，VM自動漂移至其他空閑節(jié)點(diǎn)，而VM上業(yè)務(wù)的使用者無任何感知，增加了醫(yī)院各個數(shù)據(jù)中心的冗余性和可靠性。此外，SDN控制器的引入使得業(yè)務(wù)部署更加靈活便捷。由于醫(yī)院涉及的業(yè)務(wù)系統(tǒng)特別多，而網(wǎng)絡(luò)運(yùn)維的人又特別少，每增加一個業(yè)務(wù)需要逐臺配置網(wǎng)絡(luò)設(shè)備。而業(yè)務(wù)系統(tǒng)對應(yīng)的VLAN、IP等又常常缺乏統(tǒng)一的規(guī)劃，導(dǎo)致網(wǎng)絡(luò)經(jīng)常被錯誤配置。SDN能統(tǒng)一管理配置網(wǎng)絡(luò)，簡化配置過程。不僅如此，SDN控制器還可以按照業(yè)務(wù)需求，根據(jù)IP網(wǎng)段從資源池中分配相應(yīng)的安全資源，如圖2所示，確保安全防護(hù)緊跟業(yè)務(wù)，無論VM飄到那個物理節(jié)點(diǎn)，虛擬安全資源都能為其提供防護(hù)。

3 統(tǒng)一運(yùn)維監(jiān)控平臺

由于醫(yī)院網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大，設(shè)備數(shù)量增多，網(wǎng)絡(luò)協(xié)議的多樣化，跨區(qū)域協(xié)作難度大，這給醫(yī)院網(wǎng)絡(luò)運(yùn)維人員的日常工作帶來了巨大挑戰(zhàn)。為了有效提升醫(yī)院網(wǎng)絡(luò)運(yùn)維監(jiān)控工作，極大程度地幫助運(yùn)維人員發(fā)現(xiàn)問題，定位問題，解決問題和問題溯源，需要建設(shè)一套跨多個數(shù)據(jù)中心的統(tǒng)一運(yùn)維監(jiān)控平臺，方便運(yùn)維人員在一個院區(qū)監(jiān)控整個醫(yī)院的網(wǎng)絡(luò)運(yùn)行情況。此外，在傳統(tǒng)的數(shù)據(jù)中心的模式下，數(shù)據(jù)流量主要是由終端通過接入、匯聚、核心至服務(wù)器進(jìn)行數(shù)據(jù)交互的南北方向。而集團(tuán)化醫(yī)院的多數(shù)據(jù)中心，不僅有南北流量，還將產(chǎn)生虛擬機(jī)之間、數(shù)據(jù)中心之間的東西向流量。因此，多數(shù)據(jù)中心的管理平臺還需要重點(diǎn)關(guān)注東西向的帶寬利用率，并發(fā)數(shù)等。

統(tǒng)一的網(wǎng)管監(jiān)控平臺的建設(shè)規(guī)劃不僅要實(shí)現(xiàn)傳統(tǒng)的網(wǎng)絡(luò)監(jiān)控，還需要針對臨床醫(yī)療的業(yè)務(wù)特點(diǎn)，統(tǒng)計(jì)、分析臨床使用的業(yè)務(wù)波動，深挖網(wǎng)絡(luò)與服務(wù)的潛在問題。監(jiān)控平臺主要涵蓋動環(huán)監(jiān)控、網(wǎng)絡(luò)與服務(wù)、網(wǎng)絡(luò)性能、虛擬機(jī)性能和業(yè)務(wù)監(jiān)控等五大內(nèi)容，如圖4所示。

圖4 統(tǒng)一運(yùn)維監(jiān)控平臺的指標(biāo)體系

網(wǎng)絡(luò)性能需要制定相應(yīng)指標(biāo)的閾值。例如，當(dāng)帶寬利用率超過80%時，可能發(fā)生數(shù)據(jù)包擁塞的情況，存在丟包重傳的隱患；當(dāng)跨院區(qū)傳輸時延大于5毫秒時，將會影響數(shù)據(jù)中心間的同步，需考慮切換備用線路。

虛擬機(jī)性能不僅僅需要觀察CPU利用率，內(nèi)存利用率，更需要關(guān)注IOPS（Input/Output Operations Per Second，IOPS），讀寫延遲，吞吐量等。服務(wù)器節(jié)點(diǎn)的讀寫速度將直接影響到醫(yī)生查詢報告，護(hù)士刷系統(tǒng)領(lǐng)藥單等查詢響應(yīng)時長，關(guān)系到臨床對信息系統(tǒng)使用的滿意度。對于IOPS量較大的虛擬機(jī)可遷移至全閃存節(jié)點(diǎn)提高讀寫效率；對于吞吐量較高的虛擬機(jī)可增加CPU、帶寬等資源。

由于在醫(yī)院運(yùn)行過程中，常常出現(xiàn)收費(fèi)處支付異常情況，醫(yī)院信息系統(tǒng)（Hospital Information System， HIS）調(diào)用第三方接口失敗等情況。為此，筆者認(rèn)為醫(yī)院今后的監(jiān)控平臺不僅要關(guān)注網(wǎng)絡(luò)、服務(wù)器等基礎(chǔ)設(shè)備，更需要關(guān)注上層業(yè)務(wù)應(yīng)用情況。通過讀取系統(tǒng)日志，統(tǒng)計(jì)醫(yī)保、銀聯(lián)支付失敗或“單邊賬”的錯誤值（error code）或原因值（cause code）；統(tǒng)計(jì)HIS與影像系統(tǒng)（Picture Archiving and Communication Systems，PACS）等接口調(diào)用時系統(tǒng)響應(yīng)異常的原因等。通過平臺搜集、統(tǒng)計(jì)和分析醫(yī)院業(yè)務(wù)使用層面的異常情況，幫助運(yùn)維人員挖掘網(wǎng)絡(luò)和服務(wù)的潛在問題。

4 結(jié)語

本文思考通過環(huán)形的雙冗余傳輸架構(gòu)構(gòu)建多區(qū)域數(shù)據(jù)中心，增加通信穩(wěn)定性。采用VxLAN技術(shù)實(shí)現(xiàn)跨院區(qū)的大二層網(wǎng)絡(luò)互通，保證醫(yī)療業(yè)務(wù)的連續(xù)性。建設(shè)統(tǒng)一的運(yùn)維監(jiān)控平臺，提升多數(shù)據(jù)中心的運(yùn)維效率。

集團(tuán)化醫(yī)院下，多院區(qū)數(shù)據(jù)中心將融為一張整體的網(wǎng)絡(luò)。在方便醫(yī)院統(tǒng)一運(yùn)營和管理的同時，也給醫(yī)院的網(wǎng)絡(luò)安全埋下了潛在的隱患。一旦單個院區(qū)遭受安全威脅，勢必將影響整個醫(yī)院下多個院區(qū)的網(wǎng)絡(luò)安全態(tài)勢。此外，動態(tài)的業(yè)務(wù)均衡也使得醫(yī)院安全防護(hù)邊界日漸模糊。在多數(shù)據(jù)中心建設(shè)過程中，如何同步地部署安全防護(hù)，安全策略將成為另一大難題。

[1]張屆新，吳志明.基于VxLAN組網(wǎng)的云數(shù)據(jù)中心互聯(lián)方案[J].電信科學(xué)，2016.

[2]曾珊，陳剛，齊法制.高性能云數(shù)據(jù)中心彈性網(wǎng)絡(luò)研究[J].計(jì)算機(jī)工程與應(yīng)用，2018.

[3]黃偉，趙峰，陳剛, 等.基于VxLAN的醫(yī)院多網(wǎng)融合架構(gòu)研究與應(yīng)用[J].醫(yī)學(xué)信息學(xué)雜志，2019.

[4]李民，曹陽，郭益鋒.基于EVPN技術(shù)的醫(yī)院網(wǎng)絡(luò)設(shè)計(jì)與改造[J].中國數(shù)字醫(yī)學(xué)，2018.