青島:政務(wù)云與災(zāi)備的一樣化實(shí)踐

在電子政務(wù)集中統(tǒng)一建設(shè)中取得顯著成績(jī)的青島，正著手電子政務(wù)云計(jì)算中心和災(zāi)備中心的一體化規(guī)劃建設(shè)。借助云計(jì)算，青島的關(guān)鍵業(yè)務(wù)利用虛擬化技術(shù)對(duì)現(xiàn)有服務(wù)器、存儲(chǔ)進(jìn)行統(tǒng)一管理和兩地?cái)?shù)據(jù)同步，并實(shí)現(xiàn)應(yīng)用雙活容災(zāi)。按此規(guī)則設(shè)計(jì)，既提高了災(zāi)備系統(tǒng)等級(jí)，又使各種技術(shù)資源得到充分利用，整體投資效益顯著提高。

青島電子政務(wù)以集中統(tǒng)一的集約

化發(fā)展模式在全國(guó)著稱(chēng)。盡管這種集中統(tǒng)一的建設(shè)收到了低投入建設(shè)、大規(guī)模應(yīng)用，低成本運(yùn)行、高水平服務(wù)的成效，但仍然存在一些影響發(fā)展的突出問(wèn)題。比如：基礎(chǔ)設(shè)施按照物理方式部署，造成了資源利用率低、運(yùn)維成本高、運(yùn)行風(fēng)險(xiǎn)高等問(wèn)題；隨著電子政務(wù)應(yīng)用的深化和應(yīng)用范圍的擴(kuò)大，電子政務(wù)共享技術(shù)支撐平臺(tái)面臨升級(jí)和擴(kuò)容的需求；各個(gè)政府部門(mén)電子政務(wù)異地容災(zāi)備份需求越來(lái)越大等。

要解決這些問(wèn)題，亟需統(tǒng)籌規(guī)劃建設(shè)電子政務(wù)資源中心和全市統(tǒng)一的災(zāi)備中心。于是，青島市決定統(tǒng)籌規(guī)劃建設(shè)以云計(jì)算技術(shù)為支撐的資源中心和災(zāi)備中心，擴(kuò)大現(xiàn)有共享平臺(tái)的承載能力，滿(mǎn)足“十二五”電子政務(wù)發(fā)展的需求和部門(mén)業(yè)務(wù)系統(tǒng)、數(shù)據(jù)容災(zāi)備份的需求。

首先，對(duì)現(xiàn)有數(shù)據(jù)中心升級(jí)擴(kuò)容，物理資源通過(guò)虛擬化的方式被組織起來(lái)統(tǒng)一調(diào)配和供應(yīng)，為各部門(mén)提供軟件、硬件、應(yīng)用等服務(wù)資源，能夠承載70%以上部門(mén)電子政務(wù)項(xiàng)目的建設(shè)運(yùn)行維護(hù)。同時(shí)，堅(jiān)持“平戰(zhàn)結(jié)合、等級(jí)容災(zāi)”的原則建設(shè)容災(zāi)備份中心，滿(mǎn)足電子政務(wù)核心應(yīng)用和部門(mén)業(yè)務(wù)應(yīng)用的災(zāi)備需求，對(duì)于核心業(yè)務(wù)，確保實(shí)現(xiàn)RPO接近于0，即數(shù)據(jù)不丟失，確保核心業(yè)務(wù)RTO目標(biāo)≤4小時(shí)，提供應(yīng)用雙活容災(zāi)。對(duì)于其他非關(guān)鍵性業(yè)務(wù)，實(shí)現(xiàn)數(shù)據(jù)級(jí)容災(zāi)保護(hù)。

此外，新增電子政務(wù)項(xiàng)目納入電子政務(wù)云計(jì)算中心統(tǒng)一規(guī)劃建設(shè)，部門(mén)原有建設(shè)項(xiàng)目逐步遷移到電子政務(wù)云計(jì)算中心統(tǒng)一運(yùn)行維護(hù)，降低電子政務(wù)成本，提高各部門(mén)系統(tǒng)建設(shè)運(yùn)行管理專(zhuān)業(yè)化水平，實(shí)現(xiàn)部門(mén)間業(yè)務(wù)高度互聯(lián)協(xié)同和資源共享。通過(guò)技術(shù)資源整合共享，進(jìn)一步強(qiáng)化核心技術(shù)體系的保障和服務(wù)能力，鞏固集約化發(fā)展模式。

“兩地三中心”的架構(gòu)設(shè)計(jì)

青島市電子政務(wù)云計(jì)算和災(zāi)備中心一體化平臺(tái)搭建，采用“兩地三中心”的模式實(shí)現(xiàn)：在原有電子政務(wù)共享平臺(tái)的基礎(chǔ)上擴(kuò)容服務(wù)器及存儲(chǔ)容量，建立青島本級(jí)的物理資源中心；在萊西改造機(jī)房（距離青島物理資源中心120公里），新購(gòu)網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)等設(shè)備及基礎(chǔ)軟件，建設(shè)第二物理資源中心；另在市級(jí)機(jī)關(guān)２號(hào)樓機(jī)房（距離青島物理資源中心400米）建設(shè)云計(jì)算資源管理中心，部署云資源管理平臺(tái)、虛擬化管理軟件等，實(shí)現(xiàn)對(duì)兩資源中心的資源調(diào)度。

此種建設(shè)方式的優(yōu)點(diǎn)在于：

統(tǒng)一的資源管理平臺(tái)，實(shí)現(xiàn)青島、萊西物理資源的統(tǒng)一管理和調(diào)配，提高資源的有效利用，降低維護(hù)成本；

相對(duì)獨(dú)立的兩個(gè)物理資源中心，各自?xún)?nèi)部利用虛擬化技術(shù)建立各個(gè)等級(jí)的虛擬資源應(yīng)用池，實(shí)現(xiàn)應(yīng)用的動(dòng)態(tài)遷移、故障恢復(fù)等活動(dòng)，既可以提高資源利用率，又可以確保應(yīng)用的高可用性、安全性；

核心業(yè)務(wù)在兩地資源中心同時(shí)部署，通過(guò)應(yīng)用負(fù)載均衡技術(shù)實(shí)現(xiàn)雙活，有效提升容災(zāi)等級(jí)，在保障網(wǎng)絡(luò)穩(wěn)定運(yùn)行的前提下任意一地基礎(chǔ)設(shè)施如服務(wù)器、存儲(chǔ)等出現(xiàn)故障都能保證業(yè)務(wù)不中斷；

對(duì)非關(guān)鍵性業(yè)務(wù)，可以只部署在一個(gè)資源中心，另一資源中心做備用，當(dāng)出現(xiàn)災(zāi)難的時(shí)候根據(jù)剩有資源的情況進(jìn)行手工遷移操作；

新建的萊西物理資源中心平時(shí)也承擔(dān)業(yè)務(wù)訪問(wèn)，可有效提高災(zāi)備中心基礎(chǔ)設(shè)施的利用率。

從整體規(guī)劃設(shè)計(jì)看：

網(wǎng)絡(luò)層上兩資源中心通過(guò)裸光纖互聯(lián)，利用波分復(fù)用技術(shù)建設(shè)多條傳輸通道。每條通道都是由聯(lián)通、電信雙路組成，提高數(shù)據(jù)傳輸?shù)目煽啃浴?/p>

業(yè)務(wù)網(wǎng)利用其中的一條通道進(jìn)行數(shù)據(jù)通信和業(yè)務(wù)訪問(wèn)，保證IP數(shù)據(jù)高速穩(wěn)定交互；云計(jì)算資源管理中心與兩地物理資源中心通過(guò)光纖鏈路，管理青島、萊西兩地物理資源。

存儲(chǔ)網(wǎng)同樣使用鏈路捆綁技術(shù)，利用幾條通道進(jìn)行存儲(chǔ)數(shù)據(jù)同步復(fù)制。

虛擬化的資源整合設(shè)計(jì)

平臺(tái)建設(shè)第一步是要對(duì)資源的整合。通過(guò)組建虛擬化資源池為業(yè)務(wù)系統(tǒng)提供各類(lèi)資源服務(wù)。這里重點(diǎn)介紹網(wǎng)絡(luò)虛擬化、服務(wù)器虛擬化和存儲(chǔ)虛擬化。

(一)網(wǎng)絡(luò)虛擬化。網(wǎng)絡(luò)虛擬化可以提供快速配置和擴(kuò)展的靈活性，部署新業(yè)務(wù)不必再和傳統(tǒng)服務(wù)器連接網(wǎng)絡(luò)那樣需要進(jìn)行大量的電纜連接并進(jìn)行配置等工作，因而可以節(jié)省大量的時(shí)間。通過(guò)虛擬防火墻，還可以快速構(gòu)建一個(gè)新的網(wǎng)絡(luò)安全域。

考慮到部署軟件虛擬防火墻需要消耗額外的計(jì)算資源，所以虛擬交換機(jī)、虛擬防火墻必須和實(shí)體交換機(jī)、實(shí)體防火墻配合使用，提高云平臺(tái)計(jì)算的效能。

平臺(tái)核心網(wǎng)絡(luò)全部采用高可靠的數(shù)據(jù)中心級(jí)交換機(jī)，將青島資源中心兩臺(tái)核心交換機(jī)虛擬成一臺(tái)交換機(jī)，為青島資源中心及資源管理中心、萊西資源管理中心提供冗余接入。交換機(jī)虛擬化可以簡(jiǎn)化日常維護(hù)及配置，同時(shí)虛擬后的交換機(jī)可以支持跨機(jī)箱的鏈路捆綁技術(shù)，下級(jí)交換機(jī)上聯(lián)至核心交換機(jī)時(shí)，可以提高冗余能力和鏈路帶寬，大大降低了因生成樹(shù)收斂導(dǎo)致的網(wǎng)絡(luò)抖動(dòng)時(shí)間。

(二)服務(wù)器虛擬化。即將服務(wù)器物理資源抽象成邏輯資源，讓一臺(tái)服務(wù)器變成多臺(tái)相互隔離的虛擬服務(wù)器，讓CPU、內(nèi)存、磁盤(pán)、I/O等硬件變成可以動(dòng)態(tài)管理的“資源池”，從而提高資源的利用率，簡(jiǎn)化系統(tǒng)管理，讓計(jì)算資源對(duì)業(yè)務(wù)的變化更具適應(yīng)力。

服務(wù)器的設(shè)計(jì)原則考慮如下：

1.在充分調(diào)研和設(shè)備利舊基礎(chǔ)上合理規(guī)劃資源需求。通過(guò)對(duì)全市電子政務(wù)核心應(yīng)用現(xiàn)狀和需求逐一進(jìn)行分析，并對(duì)部門(mén)進(jìn)行業(yè)務(wù)系統(tǒng)技術(shù)支撐平臺(tái)需求調(diào)研，最終按照不同應(yīng)用的性能需求，在合理利舊的基礎(chǔ)上，計(jì)算出所需的CPU核數(shù)。

2.合理劃分資源池。構(gòu)建的云平臺(tái)，根據(jù)服務(wù)器性能及應(yīng)用需要，合理劃分不同級(jí)別、不同功能的資源池。一是按服務(wù)器性能劃分，分為高性能服務(wù)器區(qū)、中性能服務(wù)器區(qū)。高性能服務(wù)器用來(lái)承載核心業(yè)務(wù)，中性能服務(wù)器用來(lái)承擔(dān)非關(guān)鍵業(yè)務(wù)。二是按功能劃分，分為數(shù)據(jù)庫(kù)資源池、web資源池、中間件資源池、應(yīng)用資源池。在同一個(gè)資源池中虛擬機(jī)可以根據(jù)性能需要和預(yù)設(shè)的策略進(jìn)行動(dòng)態(tài)的遷移和資源調(diào)度。

3.按需進(jìn)行分級(jí)容災(zāi)。根據(jù)應(yīng)用的重要程度，同時(shí)也是為了保證現(xiàn)有帶寬滿(mǎn)足核心應(yīng)用兩地雙活的需求，把應(yīng)用分級(jí)容災(zāi)。一是核心應(yīng)用和有實(shí)時(shí)性要求的非關(guān)鍵應(yīng)用，兩地部署雙活，兩地?cái)?shù)據(jù)同步容災(zāi)。二是其他非關(guān)鍵應(yīng)用，分散部署，只在一機(jī)房部署，另一地機(jī)房做冷備，一旦發(fā)生故障，另一地機(jī)房應(yīng)用啟動(dòng)。三是容災(zāi)級(jí)別要求較低、數(shù)據(jù)變化量較小的應(yīng)用在一地部署，在本地做備份，減少網(wǎng)絡(luò)帶寬的占用。

4.數(shù)據(jù)庫(kù)集中部署。改變現(xiàn)有一個(gè)應(yīng)用一套數(shù)據(jù)庫(kù)的設(shè)計(jì)。除已有部分核心業(yè)務(wù)數(shù)據(jù)庫(kù)外，構(gòu)建幾組高性能數(shù)據(jù)庫(kù)服務(wù)區(qū)，集中提供服務(wù)。

5.統(tǒng)一調(diào)度。針對(duì)小型機(jī)和x86架構(gòu)下的服務(wù)器虛擬化差別，構(gòu)建不同的虛擬資源池，分別利用各自計(jì)算資源，使用云門(mén)戶(hù)實(shí)現(xiàn)統(tǒng)一調(diào)度。

(三)存儲(chǔ)虛擬化。即將底層存儲(chǔ)設(shè)備進(jìn)行抽象化統(tǒng)一管理，向服務(wù)器層屏蔽存儲(chǔ)設(shè)備硬件的特殊性，而只保留其統(tǒng)一的邏輯特性，從而實(shí)現(xiàn)了對(duì)不同廠家和類(lèi)型存儲(chǔ)系統(tǒng)的集中、統(tǒng)一、方便的管理。

通過(guò)存儲(chǔ)虛擬化設(shè)備統(tǒng)一管理可共享的存儲(chǔ)資源。新增或利舊使用的存儲(chǔ)通過(guò)支持異構(gòu)存儲(chǔ)虛擬化的設(shè)備實(shí)現(xiàn)存儲(chǔ)資源的大整合，通過(guò)建立云存儲(chǔ)資源池，統(tǒng)一為業(yè)務(wù)提供存儲(chǔ)空間服務(wù)。此部分存儲(chǔ)的數(shù)據(jù)容災(zāi)備份可以直接通過(guò)存儲(chǔ)虛擬化設(shè)備進(jìn)行端對(duì)端的數(shù)據(jù)復(fù)制。業(yè)務(wù)前端建立雙活模式，當(dāng)一端存儲(chǔ)設(shè)備出現(xiàn)故障，業(yè)務(wù)能保持不中斷，繼續(xù)提供服務(wù)。

災(zāi)備整合設(shè)計(jì)

根據(jù)“兩地三中心”方案設(shè)計(jì)，青島、萊西兩地資源中心，都需要對(duì)外提供服務(wù)。采用異構(gòu)存儲(chǔ)虛擬化設(shè)備實(shí)現(xiàn)雙活技術(shù)，同時(shí)實(shí)現(xiàn)數(shù)據(jù)復(fù)制，如上圖：

在兩地同時(shí)部署異構(gòu)存儲(chǔ)虛擬化設(shè)備，實(shí)現(xiàn)原有和新增存儲(chǔ)資源統(tǒng)一的虛擬化管理；

兩地SAN網(wǎng)絡(luò)之間通過(guò)波分復(fù)用通道互連；實(shí)現(xiàn)兩地資源中心存儲(chǔ)網(wǎng)互連；

對(duì)于云中的應(yīng)用和數(shù)據(jù)，通過(guò)存儲(chǔ)虛擬化設(shè)備進(jìn)行兩地?cái)?shù)據(jù)同步，業(yè)務(wù)系統(tǒng)可以通過(guò)任意一地進(jìn)行數(shù)據(jù)讀寫(xiě)，實(shí)現(xiàn)應(yīng)用雙活容災(zāi)；

對(duì)原數(shù)據(jù)中心里未遷至云平臺(tái)的托管業(yè)務(wù)，兩地部署數(shù)據(jù)復(fù)制設(shè)備進(jìn)行數(shù)據(jù)復(fù)制，實(shí)現(xiàn)異地容災(zāi)；

對(duì)于異地接入但有容災(zāi)需求的數(shù)據(jù)，可以采用軟件方式進(jìn)行數(shù)據(jù)復(fù)制備份。

出于對(duì)數(shù)據(jù)的安全考慮，我們?cè)谇鄭u資源中心和萊西資源中心分別部署離線備份系統(tǒng)，為業(yè)務(wù)系統(tǒng)數(shù)據(jù)保留多個(gè)副本，保證數(shù)據(jù)的安全性。

云安全設(shè)計(jì)

電子政務(wù)網(wǎng)內(nèi)有大量的應(yīng)用系統(tǒng)，分屬不同的業(yè)務(wù)部門(mén)管理，將系統(tǒng)遷移到私有云中以后，必須提供支持云計(jì)算環(huán)境安全保護(hù)解決方案，保證整個(gè)云計(jì)算系統(tǒng)內(nèi)應(yīng)用程序和數(shù)據(jù)的安全性，增強(qiáng)控制。主要針對(duì)以下安全需求，利用網(wǎng)絡(luò)版防病毒系統(tǒng)、終端風(fēng)險(xiǎn)管理系統(tǒng)，漏洞管理、入侵防御、軟硬件防火墻等各類(lèi)安全設(shè)施進(jìn)行安全設(shè)計(jì)：

增強(qiáng)對(duì)虛擬機(jī)之間網(wǎng)絡(luò)通信進(jìn)行控制，針對(duì)應(yīng)用劃分安全域，可以創(chuàng)建基于業(yè)務(wù)的安全策略。

針對(duì)不同的業(yè)務(wù)部門(mén)，需要針對(duì)資源池，虛擬機(jī)等非網(wǎng)絡(luò)元素進(jìn)行分組，并可以針對(duì)該邏輯分域制定防護(hù)策略。

在虛擬機(jī)遷移時(shí)提供動(dòng)態(tài)保護(hù)。

連接控制可以基于網(wǎng)絡(luò)、應(yīng)用程序端口、協(xié)議類(lèi)型和應(yīng)用程序類(lèi)型進(jìn)行。

能夠觀察虛擬機(jī)之間的網(wǎng)絡(luò)活動(dòng)，以幫助定義和優(yōu)化防火墻策略，識(shí)別僵尸網(wǎng)絡(luò)，并通過(guò)詳細(xì)報(bào)告應(yīng)用程序流量來(lái)保證業(yè)務(wù)流程的安全。

采用基于 IP 的狀態(tài)防火墻和應(yīng)用程序?qū)泳W(wǎng)關(guān)，能支持包括 Oracle、Sun 遠(yuǎn)程過(guò)程調(diào)用 (RPC)、Microsoft RPC、LDAP 和 SMTP 在內(nèi)的眾多協(xié)議。

提供詳細(xì)日志審核與記錄功能。

端口組隔離。在虛擬化管理程序?qū)訌?qiáng)制實(shí)施，將虛擬數(shù)據(jù)中心內(nèi)的流量限制為僅通過(guò)指定的端口組傳輸 ，與物理交換機(jī)環(huán)境中的 VLAN 具有同樣的效果。

邊緣流量統(tǒng)計(jì)。信息可以計(jì)量虛擬數(shù)據(jù)中心資源的使用量并確定各個(gè)用戶(hù)的使用量比重，為安全策略調(diào)整及云管理提供數(shù)據(jù)支撐。

WEB應(yīng)用和數(shù)據(jù)庫(kù)應(yīng)用的弱點(diǎn)探測(cè)、掃描。應(yīng)用系統(tǒng)運(yùn)行前以及運(yùn)行過(guò)程中，通過(guò)掃描設(shè)備查找WEB應(yīng)用以及數(shù)據(jù)庫(kù)應(yīng)用存在的安全風(fēng)險(xiǎn)，有針對(duì)性地進(jìn)行加固和維護(hù)，提高應(yīng)用系統(tǒng)的安全性。

應(yīng)用遷移（P2V）

將現(xiàn)有服務(wù)器應(yīng)用業(yè)務(wù)轉(zhuǎn)移到虛擬化平臺(tái)上，是虛擬化整合服務(wù)器的重要一步。根據(jù)業(yè)務(wù)數(shù)據(jù)交換的頻繁程度，業(yè)務(wù)數(shù)據(jù)完整性要求，遷移環(huán)境的復(fù)雜程度以及業(yè)務(wù)系統(tǒng)的關(guān)鍵程度等情況，為物理服務(wù)器遷移到虛擬化平臺(tái)（P2V）的過(guò)程準(zhǔn)備了利用專(zhuān)業(yè)遷移工具的自動(dòng)遷移和手動(dòng)遷移兩套方案：

(一)利用專(zhuān)業(yè)工具自動(dòng)遷移

此方案優(yōu)點(diǎn)是操作簡(jiǎn)單，省去復(fù)雜繁瑣的人工部署操作，缺點(diǎn)是遷移過(guò)程耗費(fèi)較多的網(wǎng)絡(luò)資源。自動(dòng)遷移分為熱克隆和冷克隆兩種方式：

一是對(duì)于數(shù)據(jù)交換不頻繁的服務(wù)器，采用熱克隆技術(shù)進(jìn)行遷移。熱克隆是指源服務(wù)器操作系統(tǒng)在運(yùn)行當(dāng)中進(jìn)行遷移的技術(shù)。對(duì)于數(shù)據(jù)交換相對(duì)不太頻繁的服務(wù)，如Web服務(wù)器、DNS服務(wù)器、打印服務(wù)器，其數(shù)據(jù)多為靜態(tài)數(shù)據(jù)文件，這樣的服務(wù)器遷移適用于熱克隆技術(shù)。

二是數(shù)據(jù)交換較頻繁的應(yīng)用或者對(duì)于數(shù)據(jù)完整性要求比較高的應(yīng)用，采用冷克隆技術(shù)進(jìn)行遷移。冷克隆是指利用光盤(pán)啟動(dòng)，在不運(yùn)行操作系統(tǒng)的情況下進(jìn)行遷移的技術(shù)。對(duì)數(shù)據(jù)完整性要求比較高的服務(wù)器，比如數(shù)據(jù)庫(kù)、電子郵件、域服務(wù)器等，采用冷克隆技術(shù)可以更好地保障克隆過(guò)程的成功。

(二)手動(dòng)遷移

手動(dòng)遷移主要是在源物理服務(wù)器繼續(xù)提供服務(wù)的同時(shí)，在虛擬化平臺(tái)上根據(jù)源物理服務(wù)器的情況安裝操作系統(tǒng)，安裝對(duì)應(yīng)的補(bǔ)丁、病毒防火墻等。然后將應(yīng)用部署在虛擬服務(wù)器上，待測(cè)試正常后，將服務(wù)由源服務(wù)器切換至虛擬機(jī)服務(wù)器。

這種方案的優(yōu)點(diǎn)是:在虛擬機(jī)部署業(yè)務(wù)的同時(shí)，原業(yè)務(wù)系統(tǒng)不會(huì)間斷，這樣遷移過(guò)程對(duì)業(yè)務(wù)使用的連續(xù)性影響小；遷移過(guò)程中，不占用網(wǎng)絡(luò)等資源。缺點(diǎn)是：部署復(fù)雜程度高、耗費(fèi)時(shí)間長(zhǎng)，需要大量人力投入。

對(duì)數(shù)據(jù)完整性要求較高的，部署環(huán)境復(fù)雜的，連續(xù)性服務(wù)要求較高的，建議采用手動(dòng)遷移方式。