醫(yī)院數(shù)據(jù)中心存儲雙活實踐與探討

沈凱華 王彩杰 趙曉嫻 許懷俊

摘要：存儲系統(tǒng)與其自身的高可靠性，在數(shù)據(jù)中心建設(shè)中占有重要地位，但在實際運行過程中會出現(xiàn)，因存儲單點故障造成系統(tǒng)停機、數(shù)據(jù)丟失等風(fēng)險。因此，該文以大型綜合醫(yī)院為例，通過EMC VPLEX構(gòu)建雙活數(shù)據(jù)中心，最大限度滿足Oracle RAC、VMware等系統(tǒng)運行的連續(xù)性和高可用性，實現(xiàn)數(shù)據(jù)中心容災(zāi)，避免因存儲單點故障造成系統(tǒng)運行風(fēng)險。

關(guān)鍵詞：VPLEX;Oracle RAC;存儲雙活;存儲虛擬化;數(shù)據(jù)中心雙活

中圖分類號：TP302? ? ?文獻標識碼：A

文章編號：1009-3044（2020）16-0053-02

Abstract：The storage system and its own high reliability， in the data center construction occupies an important position， but in the actual operation process will appear， due to storage single point of failure caused by system downtime， data loss and other risks. Therefore， this paper takes the large general hospital as an example， builds dual-active data center through EMC VPLEX， maximizes the continuity and high availability of Oracle RAC， VMware and other systems， realizes the data center disaster， and avoids the risk of system operation caused by storage point failure.

Key words： VPLEX; Oracle RAC; storage dual-active; Storage virtualization; data center dual-active

與服務(wù)器本地磁盤相比，專用存儲設(shè)備在可靠性、連續(xù)性、磁盤讀寫性能上均有顯著提高。但面對當(dāng)下大型綜合醫(yī)院的業(yè)務(wù)流轉(zhuǎn)，高度依賴于信息系統(tǒng)的支撐，手工紙質(zhì)流程難以適應(yīng)醫(yī)療業(yè)務(wù)流轉(zhuǎn)要求，醫(yī)院信息系統(tǒng)一旦出現(xiàn)停機，將會造成醫(yī)療信息無法及時傳遞，使醫(yī)療業(yè)務(wù)無法正常開展。單套或主備式存儲系統(tǒng)無法滿足核心業(yè)務(wù)系統(tǒng)對RPO（Recovery Point Object：是指當(dāng)災(zāi)難或緊急事件發(fā)生時，數(shù)據(jù)可以恢復(fù)到的一個過去的時間點，是衡量業(yè)務(wù)系統(tǒng)所能容忍的數(shù)據(jù)丟失量）和RTO（Recovery Time Objective：是指在故障或災(zāi)難發(fā)生后，業(yè)務(wù)系統(tǒng)重新恢復(fù)運行所需要的時間長度）為零的要求。為適應(yīng)醫(yī)療業(yè)務(wù)對醫(yī)院信息系統(tǒng)的連續(xù)性要求，雙活數(shù)據(jù)中心架構(gòu)解決方案，可實現(xiàn)存儲故障自動切換，當(dāng)其中一個存儲系統(tǒng)發(fā)生故障時，數(shù)據(jù)會自動讀寫到另一存儲，整個過程自動運行，無須人工干預(yù)主備切換，保持數(shù)據(jù)和應(yīng)用程序持續(xù)在線可用。該文通過大型綜合醫(yī)院中Oracle RAC、VMware虛擬化集群在雙活存儲架構(gòu)下的應(yīng)用，探討雙活存儲的實踐和運維經(jīng)驗。

1 存儲雙活應(yīng)用

1.1 業(yè)務(wù)系統(tǒng)部署介紹

以大型綜合醫(yī)院為例，醫(yī)院信息系統(tǒng)（HIS）、電子病歷系統(tǒng)（EMR）通過Oracle RAC集群實現(xiàn)業(yè)務(wù)高可用，影像歸檔和通信系統(tǒng) （PACS）、實驗室信息管理系統(tǒng) （LIS）等其他業(yè)務(wù)通過VMware虛擬化集群實現(xiàn)業(yè)務(wù)高可用。具體配置如下：

1）HIS系統(tǒng)基本情況：醫(yī)院信息系統(tǒng)（HIS）通過兩臺聯(lián)想System X3850 X6服務(wù)器，安裝RedHat 6.9操作系統(tǒng)和Oracle 11.2.0.4數(shù)據(jù)庫，搭建Oracle RAC集群。Oracle RAC雙活架構(gòu)與傳統(tǒng)數(shù)據(jù)庫雙機熱備方式截然不同，傳統(tǒng)的數(shù)據(jù)庫主備模式始終只有一臺服務(wù)器在工作，當(dāng)主服務(wù)器出現(xiàn)故障時備服務(wù)器才接管主服務(wù)器的工作，此時故障主服務(wù)器處于空閑狀態(tài)。而Oracle RAC是一種雙活模式，也就是說，集群中的服務(wù)器是并行運行狀態(tài)，可同時接受業(yè)務(wù)處理請求，因此，Oracle RAC技術(shù)既能達到業(yè)務(wù)高可用目的，又能充分利用計算資源。當(dāng)集群中一臺數(shù)據(jù)庫服務(wù)器出現(xiàn)故障時，Oracle RAC通過浮動IP技術(shù)，將請求自動轉(zhuǎn)發(fā)到其他服務(wù)器節(jié)點運行，保證業(yè)務(wù)連續(xù)性。同時，傳統(tǒng)的雙機熱備架構(gòu)出現(xiàn)故障時，常常需要手動或更長的切換時間，而Oracle RAC集群在出現(xiàn)故障時，可自動快速切換，切換后部分客戶端只要重發(fā)連接請求即可恢復(fù)業(yè)務(wù)。此外，一臺聯(lián)想System X3850 X6服務(wù)器，安裝RedHat 6.9操作系統(tǒng)和Oracle 11.2.0.4數(shù)據(jù)庫，搭建Oracle ADG服務(wù)。通過使用Oracle RAC+ADG架構(gòu)實現(xiàn)物理級備份和災(zāi)備解決方案。Oracle RAC數(shù)據(jù)庫架構(gòu)實現(xiàn)了高可用性、高并發(fā)的訪問要求，計算資源得到冗余，但源數(shù)據(jù)庫還是同一個，當(dāng)源數(shù)據(jù)庫出現(xiàn)損壞或異常時，便不能提供數(shù)據(jù)訪問服務(wù)，通過使用Oracle RAC+ADG架構(gòu)，來保障數(shù)據(jù)層面的冗余性。三臺HIS服務(wù)器主要配置如下（CPU：2*E7-4850v4;內(nèi)存：128GB;硬盤：3*600GB 10K 2.5英寸SAS;網(wǎng)卡：1Gb網(wǎng)口*4 、10Gb網(wǎng)口*2;HBA卡：雙口16Gb HBA卡*2;RAID卡：12Gbps帶寬支持0、1、5 緩存≥1GB;電源：80+冗余電源）。

2）EMR系統(tǒng)基本情況：電子病歷系統(tǒng)（EMR）通過兩臺惠普DL580 GEN9服務(wù)器， 安裝RedHat 6.9操作系統(tǒng)和Oracle 11.2.0.4數(shù)據(jù)庫，搭建Oracle RAC集群。EMR服務(wù)器主要配置如下（CPU：4*E7-4850v4;內(nèi)存：256GB;硬盤：3*600GB 10K 2.5英寸SAS;網(wǎng)卡：1Gb網(wǎng)口*4 、10Gb網(wǎng)口*2;HBA卡：雙口16Gb HBA卡*2;磁盤控制器：內(nèi)置smart array P830i/2GB陣列控制器;電源：配置4個冗余電源）。與HIS系統(tǒng)一樣，通過Oracle RAC+ADG架構(gòu)實現(xiàn)業(yè)務(wù)系統(tǒng)的高可用性、連續(xù)性，保證數(shù)據(jù)實時備份，有效災(zāi)備。

3）WMware虛擬化集群基本情況：虛擬化集群通過10臺聯(lián)想SR650機架式服務(wù)器和8把思科UCS B200 M4刀片服務(wù)器，安裝ESXI6.0 U3版本系統(tǒng)，組成VMware虛擬化集群。使用虛擬化集群能有效整合服務(wù)器資源，平衡服務(wù)器資源利用率，降低信息化設(shè)備投入。VMware虛擬化集群的高可用技術(shù)更是為醫(yī)療信息業(yè)務(wù)發(fā)揮重大作用。用18臺物理服務(wù)器組成的虛擬化集群，將集群內(nèi)的虛擬服務(wù)器分布到多臺物理服務(wù)器上運行，通過vmotion技術(shù)可實現(xiàn)虛擬服務(wù)器在線遷移，即將虛擬機服務(wù)器在不關(guān)閉電源的情況下從一臺物理服務(wù)器實時遷移到另一臺物理服務(wù)器，從而可以更加方便地維護硬件、減少停機時間。集群HA（High Availability）技術(shù)，可實現(xiàn)當(dāng)集群內(nèi)物理服務(wù)器出現(xiàn)意外宕機時，故障主機上面的虛擬服務(wù)器自動在本集群內(nèi)其他物理服務(wù)器上開機運行，保障業(yè)務(wù)快速恢復(fù)。

1.2 基于EMC VPLEX的雙活存儲建設(shè)

存儲集群主要為VM虛擬化集群、數(shù)據(jù)庫等提供統(tǒng)一的存儲環(huán)境。為提升系統(tǒng)可靠性，基于EMC VPLEX的存儲高可用和雙活數(shù)據(jù)中心解決方案，不僅可以幫助醫(yī)院實現(xiàn)數(shù)據(jù)中心間，在線透明遷移數(shù)據(jù)，同時能融合管理不同型號、不同品牌的異構(gòu)存儲，有效利用現(xiàn)有資源，降低投入成本。

2 存在的問題

2.1 VPLEX系統(tǒng)升級對高可用影響

通過系統(tǒng)高可用，存儲高可用，網(wǎng)絡(luò)高可用，從雙活架構(gòu)規(guī)劃上看，已經(jīng)滿足數(shù)據(jù)中心雙活設(shè)計要求。但在實際應(yīng)用中， VPLEX升級重啟系統(tǒng)會導(dǎo)致部分ORACLE RAC節(jié)點出現(xiàn)重啟現(xiàn)象，對此，進行細致分析，定位故障原因。通過對比發(fā)現(xiàn)，只有HIS系統(tǒng)的ORACLE RAC節(jié)點出現(xiàn)系統(tǒng)重啟現(xiàn)象，同樣是ORACLE RAC架構(gòu)的EMR系統(tǒng)在VPLEX升級重啟過程中運行正常，未出現(xiàn)重啟，同時VMware虛擬化集群內(nèi)的虛擬服務(wù)器也運行正常，說明數(shù)據(jù)中心雙活架構(gòu)對EMR和VMware虛擬化集群的雙活保護是有效的。從VPLEX和HIS主機的日志分析來看，每個主機上的VPLEX LUN都有8條路徑，在NDU（無中斷升級）中VPLEX director A先發(fā)生重啟，在director A重啟成功后，director B再發(fā)生重啟。而對應(yīng)的主機上發(fā)生的變化就是每個LUN的8條路徑中的4條，在director重啟時會dead，這是預(yù)期中的，不會影響I/O訪問。但是，主機HIS_RAC1和HIS_RAC2在VPLEX director A重啟時發(fā)生了重啟，而HIS_RAC2在director B重啟時又發(fā)生了重啟，分析可能與RAC的配置有關(guān)，縮小故障定位范圍，對比HIS、EMR的ORACLE RAC配置情況，發(fā)現(xiàn)EMR主機HBA卡的IO超時dev_loss_tmo值為15，HIS主機HBA卡的IO超時dev_loss_tmo值為30。HIS主機HBA卡的IO超時時間未小于RAC心跳仲裁時間，最終導(dǎo)致仲裁失敗，HIS主機重啟。

3 解決方法

經(jīng)過分析把故障定位于，因主機HBA卡的IO超時時間未小于ORACLE RAC仲裁時間，而引起仲裁失敗，發(fā)生主機重啟事件。通過修改HIS主機HBA卡的IO超時dev_loss_tmo值為15，避免再發(fā)生類似故障。

4 總結(jié)

實現(xiàn)數(shù)據(jù)中心雙活，不僅依賴于應(yīng)用程序、操作系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)、存儲系統(tǒng)的全方位雙活架構(gòu)設(shè)計，也要關(guān)注各系統(tǒng)模塊之間的整體協(xié)同性，當(dāng)設(shè)備故障需要自動切換時，各系統(tǒng)之間仲裁時間的設(shè)定將直接影響，雙活數(shù)據(jù)中心架構(gòu)遇到故障時能否正常切換。面對復(fù)雜的數(shù)據(jù)中心雙活架構(gòu)，設(shè)計時應(yīng)充分考慮細節(jié)，實踐時需多維度測試，以保證數(shù)據(jù)中心雙活架構(gòu)的有效性。

參考文獻：

[1] 張俊茸.基于存儲雙活技術(shù)的數(shù)據(jù)中心設(shè)計和應(yīng)用[J].信息與電腦（理論版），2019（15）：147-148.

[2] 胡榜洪.醫(yī)院雙活數(shù)據(jù)中心容災(zāi)模式建設(shè)的探索與實踐[J].信息與電腦（理論版），2019（15）：183-185.

[3] 季貝貝.關(guān)于服務(wù)器虛擬化在醫(yī)院信息化系統(tǒng)中的研究與應(yīng)用[J].科學(xué)與信息化，2019（13）：148-150.

[4] 孫國強，金劍，李寧.基于存儲虛擬化技術(shù)的數(shù)據(jù)容災(zāi)平臺設(shè)計與實現(xiàn)[J].信息系統(tǒng)工程，2019（4）：139.

[5] 周錦.基于服務(wù)器虛擬化技術(shù)和存儲虛擬化技術(shù)的醫(yī)院雙活數(shù)據(jù)中心的建立[J].科技風(fēng)，2018（32）：95，99.

[6] 陳曉亮.虛擬化技術(shù)在醫(yī)院信息化建設(shè)中的應(yīng)用探究[J].電腦知識與技術(shù)，2018，14（13）：202-203，207.

【通聯(lián)編輯：梁書】