超融合架構(gòu)在本院醫(yī)院信息系統(tǒng)中的部署和應(yīng)用

葉俊，劉琴，李立，劉松林

江蘇省泰興市人民醫(yī)院 信息科，江蘇 泰州 225400

引言

隨著互聯(lián)網(wǎng)+醫(yī)療技術(shù)的日新月異，醫(yī)療業(yè)務(wù)系統(tǒng)的數(shù)據(jù)共享、互聯(lián)互通的需求日益增加，對數(shù)據(jù)中心的運營、維護(hù)一體化管理提出更高要求[1]，對底層信息系統(tǒng)架構(gòu)的安全性、容災(zāi)性、穩(wěn)定性也提出了更高的要求。在超融合技術(shù)的發(fā)展上，國外產(chǎn)品包括Nutanix和VMware的VSAN在內(nèi)，都以自主產(chǎn)品為主，有成熟穩(wěn)定的優(yōu)勢，但部署了以后，只能按照各自的技術(shù)路線進(jìn)行相應(yīng)擴(kuò)展。國內(nèi)基本都是以深度優(yōu)化和整合開源技術(shù)為主，優(yōu)勢是比較開放，用戶選擇空間較大，可以支持多種虛擬化平臺，這方面要根據(jù)各醫(yī)院實際情況來進(jìn)行選擇。

本院以VMware vSphere6.5超融合架構(gòu)搭建服務(wù)器群，對各個子系統(tǒng)進(jìn)行高度設(shè)備集成，在滿足本院各類應(yīng)用軟件上線要求同時，保證了醫(yī)院信息系統(tǒng)的高可用性、業(yè)務(wù)的不間斷性、服務(wù)器部署能力和一體化管理能力的提高，利用超融合技術(shù)突破了原有刀片虛擬服務(wù)器給信息化發(fā)展瓶頸，具有更彈性的橫向擴(kuò)展能力。從本院實踐來看，本院選擇超融合虛擬化和云計算技術(shù)的解決方案，體現(xiàn)了更強的IT資源管理和容災(zāi)性能，顯著降低運營成本，提高管理靈活性[2]。

本院在2015年實施部署了一套基于EMC存儲的雙活數(shù)據(jù)中心，一套設(shè)備部署在核心機房，另一套設(shè)備部署在住院大樓，同時各部署了1套IBM FLEX刀片服務(wù)器，由虛擬機和多個節(jié)點分布式存儲資源池相結(jié)合組成一個虛擬化系統(tǒng)，由8臺高性能服務(wù)器和2臺EMC VPLEX網(wǎng)及EMC VNX存儲組成。隨著醫(yī)院業(yè)務(wù)規(guī)模和種類不斷擴(kuò)大，雖然逐漸感受到服務(wù)器虛擬化帶來的便利和高效，但每當(dāng)新業(yè)務(wù)需要存儲空間時，分配各項資源需要進(jìn)行反復(fù)核算，無法隨服務(wù)器計算能力的擴(kuò)展實現(xiàn)存儲容量的存儲水平或垂直擴(kuò)展 ，存儲資源利用率低 ，安全性差。圖1為我院基于EMC存儲的雙活數(shù)據(jù)中心示意圖。

圖1 我院基于EMC存儲的雙活數(shù)據(jù)中心示意圖

1 虛擬化平臺基礎(chǔ)架構(gòu)建設(shè)部署

1.1 需求分析

本次信息集成平臺方案核心就是將應(yīng)用系統(tǒng)如：HIS、PACS、RIS、LIS、EMR等數(shù)據(jù)庫進(jìn)行集成融合，便于醫(yī)院決策分析平臺，后臺運維管理系統(tǒng)，OA辦公自動化、數(shù)據(jù)上報平臺等順利應(yīng)用。在醫(yī)療技術(shù)和計算機技術(shù)日新月異的今天，信息系統(tǒng)需要簡單、高效、安全、易于擴(kuò)展、易于管理，利用超融合技術(shù)對硬件資源統(tǒng)一整合管理是迎合了這種發(fā)展趨勢[3]。

1.2 系統(tǒng)集成的內(nèi)容

HIS、EMR、集成平臺等應(yīng)用是醫(yī)院最核心的應(yīng)用之一，核心HIS的數(shù)據(jù)每天提供大量用戶訪問的計算資源和存儲資源及網(wǎng)絡(luò)資源，其特點為需要大量的CPU和內(nèi)存及需要大量的存儲IOPS性能，其他門戶和應(yīng)用前置機等應(yīng)用則是大并發(fā)，需要提供大量用戶訪問，然后將用戶需要的數(shù)據(jù)從數(shù)據(jù)庫中讀取，因此不需要非常大的CPU和內(nèi)存，但是需要保障應(yīng)用穩(wěn)定，前置機等應(yīng)用支持負(fù)載均衡技術(shù)，可通過負(fù)載均衡將用戶訪問分擔(dān)到不同的前置機服務(wù)器[4]。

基于此，醫(yī)院信息系統(tǒng)數(shù)據(jù)中心集成平臺的建立，對各個子系統(tǒng)進(jìn)行設(shè)備集成，滿足醫(yī)院各類應(yīng)用軟件上線要求；超融合具有更彈性的橫向擴(kuò)展能力，可以為數(shù)據(jù)中心帶來最優(yōu)的效率、靈活性、規(guī)模、成本和數(shù)據(jù)保護(hù)，系統(tǒng)整合及數(shù)據(jù)遷移，實現(xiàn)原有系統(tǒng)設(shè)備利用、數(shù)據(jù)遷移及重新部署。

1.3 系統(tǒng)部署

1.3.1 硬件網(wǎng)絡(luò)部署

鑒于醫(yī)院核心應(yīng)用系統(tǒng)為醫(yī)院信息集成平臺、電子病歷等應(yīng)用，經(jīng)多次論證，決定采用軟件定義的超融合模式進(jìn)行環(huán)境部署，基于軟件定義的平臺以超融合打造的分布式IT架構(gòu)，進(jìn)行系統(tǒng)集中監(jiān)管，實現(xiàn)平臺特性的可編程化，建立從底層數(shù)據(jù)到上層應(yīng)用的高可靠性、高可用性、負(fù)載均衡的網(wǎng)絡(luò)硬件平臺[5]。

為保障核心醫(yī)院決策分析平臺對數(shù)據(jù)存儲的大量讀寫能夠降低延遲，采用3副本，新區(qū)大樓異地部署7臺DELL R740超融合服務(wù)器，2顆Intel Xeon X5118 CPU，16顆 32 G DDR4內(nèi) 存，2塊 800 GB SATA 2.5” MLC G3HS EnterpriseSSD，12塊 1.2 TB 10 K 12 Gbps SAS 2. 5” SAS，1 塊 陣 列 卡 Controller，2 塊 Intel X710‐DA2 ML22xlOGbE SFP+ Adapter，2塊 SD Media， 以 及 數(shù) 據(jù)中心部署3臺DELL R740超融合服務(wù)器，2顆Intel Xeon X5118 CPU，16顆32 G DDR4內(nèi) 存，2塊800 GB SATA 2.5”MLC Enterprise SSD，8塊 960 GB SATA 2.5”MLC Enterprise SSD，1塊 陣 列 卡 Controller，2塊 Intel X710‐DA2 ML22xlOGbE SFP+ dapter，2塊SD Media，提供數(shù)據(jù)存儲空間，通過華為CE6850萬兆裸光纖將兩地數(shù)據(jù)中心連通最終實現(xiàn)雙活數(shù)據(jù)中心（可提供大量的計算資源），通過VMware VSAN企業(yè)級軟件定義存儲軟件將服務(wù)器虛擬化，分別提供給核心應(yīng)用使用。

新的超融合基礎(chǔ)架構(gòu)下的應(yīng)用虛擬化平臺建設(shè)好后，它完全兼容現(xiàn)有的虛擬化平臺，并且原有的傳統(tǒng)架構(gòu)下的虛擬機可以實現(xiàn)在線的數(shù)據(jù)遷移。同時對老的虛擬機版本統(tǒng)一升級到6.5版本。圖2為超融合服務(wù)器架構(gòu)圖。

圖2 超融合服務(wù)器架構(gòu)圖

1.3.2 網(wǎng)絡(luò)負(fù)載均衡

在醫(yī)院兩層架構(gòu)的核心業(yè)務(wù)具有數(shù)據(jù)量大、高并發(fā)等特點，采用負(fù)載均衡機制，采用F5 均衡負(fù)載F5‐BIG‐LTM‐I2600根據(jù)設(shè)定的負(fù)載策略，每秒L7 請求數(shù)350 K,把請求分發(fā)到集群中的每一臺服務(wù)器上，每秒L4 連接數(shù)125 K，讓整個服務(wù)器群來處理業(yè)務(wù)請求，從而達(dá)到提升性能的作用。

1.3.3 防火墻

服務(wù)器部分屬于醫(yī)院整個數(shù)據(jù)中心最核心的部分，與其他網(wǎng)絡(luò)互聯(lián)時必須通過防火墻進(jìn)行隔離，外部用戶只能訪問服務(wù)器端固定開放的端口，其他端口禁止掃描及使用，最大限度地保護(hù)服務(wù)器部分的安全。外網(wǎng)出口部分需要使用防火墻進(jìn)行保護(hù)，主要功能為NAT功能，將內(nèi)網(wǎng)地址翻譯為外網(wǎng)IP，內(nèi)部PC可以訪問外部Internet網(wǎng)絡(luò)，同時也對外部網(wǎng)絡(luò)的攻擊進(jìn)行防護(hù)。通過 VMware NSX 平臺提供的擴(kuò)展服務(wù)插入和服連接口，將安全業(yè)務(wù)虛擬機透明的部署在每臺 ESXi主機上。SG‐6000‐CloudHive安全策略能夠跟隨虛擬應(yīng)用的變更而動態(tài)的變化。在VMware NSX的流量重定向能力的配合下，將可能產(chǎn)生的漏洞端口堵住，減少攻擊，能夠?qū)崿F(xiàn)微隔離、可視化操作[6]。

2 虛擬化技術(shù)的應(yīng)用

2.1 數(shù)據(jù)庫備份與恢復(fù)

針對關(guān)鍵業(yè)務(wù)以及虛擬機本身在距離數(shù)據(jù)中心5 km處建立影子虛擬機保護(hù)，核心數(shù)據(jù)基本存放與虛擬化平臺上，采用DELL R740備份一體機，配置2顆intel Xeon 4110 CPU，32 G內(nèi)存，6塊8 T NL_SAS磁盤，提供Veer備份軟件功能。

重復(fù)數(shù)據(jù)消除技術(shù)不再需要在每臺服務(wù)器中安裝備份agent軟件，將文件分解成多個子段以確定哪些子段具有唯一性，從而最大限度地減少備份存儲需求，可對全虛擬化平臺業(yè)務(wù)進(jìn)行自動化備份以及業(yè)務(wù)連續(xù)性保護(hù)，通過基于中文client端的直觀用戶界面，可以輕松恢復(fù)完整虛擬機或單個文件，并采用快速磁盤備份，能夠?qū)崿F(xiàn)可靠的恢復(fù)[7]。

2.2 安全資源池規(guī)劃

資源池劃分為計算、存儲、安全、網(wǎng)絡(luò)和管理5個子系統(tǒng)，服務(wù)器虛擬化將硬件、操作系統(tǒng)和應(yīng)用程序一同裝入一個可遷移的虛擬機檔案文件中，能夠?qū)崿F(xiàn)設(shè)備資源池化，每臺機器上有多個負(fù)載，對資源進(jìn)行共享，軟件相對于硬件獨立，采用軟件定義的數(shù)據(jù)中心，改變了傳統(tǒng)數(shù)據(jù)中心的運行和管理模式，數(shù)據(jù)中心已經(jīng)轉(zhuǎn)有運行在基于x86服務(wù)器的虛擬化軟件所管理。存儲池采用橫向擴(kuò)展及縱向擴(kuò)展，本部采用三節(jié)點全閃設(shè)備，異地采用7節(jié)點磁盤和閃存設(shè)備節(jié)點之間的延時可以在100 ms以內(nèi)，延時小于5 ms；邏輯交換運行于三層網(wǎng)絡(luò)之上的二層網(wǎng)絡(luò)，與物理網(wǎng)絡(luò)解耦；邏輯路由在虛擬網(wǎng)絡(luò)之間以及虛擬網(wǎng)絡(luò)和物理網(wǎng)絡(luò)之間路由；邏輯防火墻為分布式防火墻，內(nèi)核集成。

這種轉(zhuǎn)變提供了極大的靈活性和可控性，同時提高了效率，也大大降低了成本，提高現(xiàn)有醫(yī)院數(shù)據(jù)資源利用率，系統(tǒng)擴(kuò)展能力強，可根據(jù)業(yè)務(wù)量彈性擴(kuò)容，適應(yīng)業(yè)務(wù)系統(tǒng)突發(fā)需求。資源能夠自動分配，縮短系統(tǒng)部署周期，加快業(yè)務(wù)上線速度，當(dāng)集群資源不足時，可對集群增加計算或存儲資源，方便醫(yī)院數(shù)據(jù)自動化、合理化分配及應(yīng)用[8]。

2.3 安全配置

通過VMware NSX 平臺提供的擴(kuò)展服務(wù)插入和服務(wù)連接口，第三方公司vSOM組件能夠從VMware NSX平臺同步配置信息，通過SG‐6000‐CloudHive將安全業(yè)務(wù)虛擬機透明的部署在每臺ESXi主機上。可按照醫(yī)院系統(tǒng)應(yīng)用情況，創(chuàng)建和變更快速的制定安全策略，能夠跟隨虛擬應(yīng)用場景的變更而動態(tài)的變化[9]。

3 應(yīng)用效果評價

VMware vSphere6.5虛擬化技術(shù)搭建服務(wù)器群底層平臺運行近1年，陸續(xù)將之前IBM FLEX刀片服務(wù)器上EMR、PACS、移動護(hù)理等重要系統(tǒng)，遷移到虛擬化平臺，其應(yīng)用效果明顯，主要體現(xiàn)在以下幾方面。

3.1 服務(wù)器替換整合

醫(yī)院的HIS、LIS、RIS業(yè)務(wù)服務(wù)器使用時間都超過8年，EMR、PACS業(yè)務(wù)服務(wù)器超過5年，內(nèi)存、CPU、網(wǎng)絡(luò)、I/O存儲等硬件都不能滿足現(xiàn)有業(yè)務(wù)的需求，且由于各性能不能協(xié)調(diào)運作，造成瓶頸。將實體機原有操作系統(tǒng)、應(yīng)用程序和數(shù)據(jù)制作成鏡像，將IBM FLEX刀片服務(wù)器添加到VMware vSphere Client控制臺，對其克隆，部分系統(tǒng)遷移到新虛擬化平臺，通過網(wǎng)絡(luò)從原有環(huán)境遷移到虛擬化所搭建的光纖通道陣列中，可以在不影響生產(chǎn)業(yè)務(wù)的情況下，用較快的時間將這些系統(tǒng)遷移到虛擬服務(wù)器上[10]。上線1年來，整合部署虛擬服務(wù)器36臺，虛擬化技術(shù)將多個系統(tǒng)整合到一臺服務(wù)器上，系統(tǒng)的兼容性問題得到解決，部署時間短，統(tǒng)一管理平臺，服務(wù)器的資源得到充有效的利用，可以實現(xiàn)零宕機的硬件維護(hù)和升級等資源得到合理利用。表1為刀片機與超融合服務(wù)器資源整合、資源部署、設(shè)備利用率等方面情況比較，差異有統(tǒng)計學(xué)意義（P<0.05），表明超融合具有明顯優(yōu)勢。

表1 刀片機與超融合服務(wù)器硬件資源整合、部署、利用率等方面情況比較（%）

3.2 應(yīng)用系統(tǒng)快速部署

利用虛擬化平臺預(yù)置的虛擬機模板及虛擬機的導(dǎo)入、導(dǎo)出和復(fù)制功能，可以主動地提前規(guī)劃配置資源，快速部署了數(shù)據(jù)庫、中間件等，同時支持在線擴(kuò)展內(nèi)存、存儲等熱添加方式，服務(wù)器部署時間從數(shù)小時安裝系統(tǒng)、安全設(shè)置、打補丁等壓縮至幾分鐘，數(shù)據(jù)庫配置、應(yīng)用加載、中間件部署等時間也縮減到幾分鐘，從根本上改變了新應(yīng)用上線部署周期長的局面[11]。近一年來，利用虛擬化平臺部署虛擬服務(wù)器62臺，特別值得一提的是，在疫情防控期間，時間緊任務(wù)重，加上春節(jié)期間，無法購買到物理服務(wù)器，因為部署虛擬化服務(wù)器，大大節(jié)省購買和部署服務(wù)器時間，成功部署了疫情上報服務(wù)器、云影像服務(wù)器、預(yù)約診療服務(wù)器、分診叫號服務(wù)器、自助機服務(wù)器等，解決了大量實際困難。圖3是超融合架構(gòu)在醫(yī)院信息系統(tǒng)中應(yīng)用VSAN群集。

圖3 超融合架構(gòu)在醫(yī)院信息系統(tǒng)中應(yīng)用VSAN群集

3.3 集中統(tǒng)一管理平臺

醫(yī)院數(shù)據(jù)中心資源呈幾何級增加，且數(shù)據(jù)重要性不言而喻，機房服務(wù)器和存儲設(shè)備的運行管理日益重要復(fù)雜。信息工作人員登錄vSphere Web Client端在統(tǒng)一管理平臺里，以實現(xiàn)虛擬化高可用性功能，就可以對所有主機和虛擬機以及山石云格進(jìn)行統(tǒng)一管理，全面監(jiān)管，自動通知和報警，主要包括：虛擬機模板建設(shè)及備份；虛擬機快照實現(xiàn)實時系統(tǒng)恢復(fù)；虛擬機實時監(jiān)控，在線遷移。統(tǒng)一管理平臺高可靠性保證不停機和數(shù)據(jù)不丟失，實現(xiàn)服務(wù)不中斷[12]。

4 討論

超融合虛擬化和云計算技術(shù)在我院的成功部署，滿足醫(yī)院信息集成平臺和各類應(yīng)用軟件上線要求，保證醫(yī)院信息系統(tǒng)的高可用性，業(yè)務(wù)的不間斷，提高服務(wù)器部署能力和一體化管理能力。目前，在超融合平臺上安裝運行了近120臺各類虛擬化服務(wù)器，除HIS業(yè)務(wù)以外，還包括PACS、RIS、LIS、CIS、移動護(hù)理等所有的醫(yī)院業(yè)務(wù)辦公系統(tǒng)。原有刀片服務(wù)器沒有足夠的硬盤插槽，且受冷卻條件和緊湊機箱的限制，刀片服務(wù)器CPU性能較低，電源功率和機箱空間也限制了可安裝的DRAM內(nèi)存容量。利用超融合技術(shù)突破了原有刀片虛擬服務(wù)器給信息化發(fā)展瓶頸[13]，能擁有更多的驅(qū)動器用于實現(xiàn)數(shù)據(jù)冗余和網(wǎng)絡(luò)共享，具有更彈性的橫向擴(kuò)展能力，多節(jié)點可以通過網(wǎng)絡(luò)聚合起來，形成統(tǒng)一的資源池，可以為數(shù)據(jù)中心帶來最優(yōu)的效率、靈活性、規(guī)模、成本和數(shù)據(jù)保護(hù)[14]，有效地整合了醫(yī)院信息系統(tǒng)的服務(wù)器資源，減少服務(wù)器數(shù)量，降低運維成本，資源共享和容災(zāi)備份，節(jié)省機房空間，減輕UPS、精密空調(diào)壓力，實現(xiàn)節(jié)能減排，消除了因服務(wù)器硬件故障造成的系統(tǒng)停機隱患。虛擬化技術(shù)在架構(gòu)設(shè)計中將變得更為流行，將為醫(yī)院數(shù)字化建設(shè)提供了強有力的支撐和保障，為互聯(lián)網(wǎng)醫(yī)療奠定基礎(chǔ)。但是由于系統(tǒng)部署簡單，帶來虛擬機數(shù)量過多，虛擬服務(wù)器散亂現(xiàn)象，導(dǎo)致管理難度大幅提高。通過虛擬化技術(shù)，可以成功地實現(xiàn)服務(wù)器替換和整合，盡可能將物理服務(wù)器數(shù)量減到最少，實現(xiàn)軟件與硬件相對分離目標(biāo)，加速應(yīng)用業(yè)務(wù)和測試環(huán)境的部署，同時，借助虛擬化架構(gòu)統(tǒng)一管理平臺，自動通知和報警，自動化容錯糾錯，降低了風(fēng)險管理的難度，顯著提高各模塊可用性和可靠性，為醫(yī)院信息系統(tǒng)的業(yè)務(wù)連續(xù)性和節(jié)能減排做出貢獻(xiàn)，取得較好的經(jīng)濟(jì)效益和社會效益[15]。