央行省級分支行數據中心雙活探索

中國人民銀行福州中心支行科技處 吳楚坤

央行省級分支行數據中心雙活探索

中國人民銀行福州中心支行科技處 吳楚坤

1.背景

當前人民銀行省級分支行數據中心采用“雙中心”模式，即生產中心、同城轉接中心模式提供了完備的災備保障體系，但也存在一些問題。一是設備利用率較低。同城轉接中心設備在日常運行中很難得到充分利用，投資回報率低。二是可用性有限。同城轉接中心一般只作備份使用不能接管應用，且切換時間比較長。三是對于同城轉接中心運維人員而言，參與日常生產較少，不利于技術和業務能力的長期培養。為解決上述問題，人民銀行省級分支行于2015年7月份利用路由動態選路實現雙中心三層互聯“雙活”改造。但在數據中心互聯時，為了實現跨數據中心的資源調度、業務集群和虛擬機遷移，還要求網絡層保證不同數據中心之間VLAN二層互通，即構建一個跨數據中心的大二層網絡。本文從人民銀行省級數據中心與同城轉接中心間二層互聯展開討論。

2.雙活定義

2.1 何為雙活

雙活中心是指兩個數據中心之間并沒有明確的主備之分，每個中心都有生產、互為災備的任務。雙活中心具備4個優勢：一是實現最高級別的可用性。雙活中心可以實現數據零丟失、實時切換。二是提高設備利用率。雙活中心不再設置專用的災備資源，不同中心的資源同時承擔生產和災備。三是保障資源的災備接管能力。由于日常雙活中心的運維資源都在進行生產，當一個中心發生災難時，另一個中心所有流程、職責、設備資源、系統資源都不需做大的改動即可接管，只是運維工作量有所增加。四是雙活中心的技術要求比“兩地三中心”等傳統模式高很多。傳統模式一般只做數據層面的同步、異步復制，在其他技術層面不需要互聯太多，而雙活中心要求在信息系統的各個層面都要緊密互聯、互動。

2.2 互聯方式

雙活數據中心間通常部署三種互聯鏈路，每種互聯鏈路所承載的數據不同，實現的功能不同。一是三層互聯，也稱為數據中心前端網絡互聯，即數據中心與轉接中心的前端網絡通過IP技術實現互聯，業務網與金融網用戶通過前端網絡訪問數據中心，當數據中心發生災難時，前端網絡將實現快速收斂，用戶通過訪問轉接中心以保障業務連續性。二是二層互聯，也稱為數據中心服務器網絡互聯。在數據中心與轉接中心服務器網絡接入層，構建一個跨數據中心的大二層網絡，以滿足服務器集群或虛擬機動態遷移等場景對二層網絡接入的需求。三是SAN互聯，也稱為后端存儲網絡互聯。借助DWDM、SDH等實現主中心與轉接中心磁盤陣列的數據復制。

2.3 二層互聯必要性

服務器高可用集群技術和虛擬服務器動態遷移技術在數據中心容災及計算資源調配方面已在人民銀行得以廣泛應用，在雙活數據中心采用這種方式則要求數據中心與轉接中心間實現大二層互聯擴展。

（1）服務器高可用集群（Cluster）。借助集群軟件將網絡上的多臺服務器關聯一起，提供一致的服務，對外表現為一臺邏輯服務器。多數廠商（HP、IBM、微軟等）的集群軟件需要各服務器間采用二層網絡互聯。要將集群中的服務器部署于不同數據中心，可實現跨數據中心的應用系統容災。

（2）服務器搬遷和虛擬機動態遷移。當服務器由數據中心搬遷至轉接中心，如未構建中心之間二層互聯網絡，則面臨重新規劃新中心服務器IP地址問題，修改DNS或用戶端應用程序配置的服務器IP。因此，構建跨中心二層互聯網絡可保留遷移服務器的IP地址，進而簡化遷移過程。對于虛擬機遷移也是類似的情況。

3.技術方案

本文從實現復雜性、可靠性、前瞻性、經濟性四個方面考慮，制定了3個二層擴展實現方案，現將方案分析如下：

3.1 基于虛擬化技術與VRRP技術

利用虛擬化技術，將數據中心主備核心交換機、同城轉接中心核心交換機分別虛擬成一臺邏輯設備，在同一個數據中心內不再使用VRRP等支持設備冗余和網關備份的協議；利用數據中心與轉接中心之間波分復用設備，實現2套已虛擬化的核心交換機組互聯；對VLAN網關已下沉至匯聚交換機的，需把欲共享給轉接中心使用的VLAN網關上移至核心交換機，在2套核心交換機組之間啟用VRRP協議，實現數據中心與轉接中心的跨二層部署，此時兩個中心可以共用一套IP地址，從而實現虛擬機在轉接中心遷移或單獨部署。

優點：對現有網絡拓撲結構改動較小，實現簡單；VRRP是標準協議，不要求兩中心核心交換機為同一品牌；通過核心網絡設備虛擬化技術大大提高省級數據中心兩節點網絡的可用性、安全性、可靠性、可擴展性，便于生產區、DMZ區應用系統向同城通信轉接中心部署，符合同城災備業務擴展要求。

缺點：當數據中心“活”時，主網關在數據中心核心交換機組上，訪問部署在轉接中心服務器的流量需繞行至數據中心；對已實現匯聚層的中支需將數據中心與轉接中心共用的VLAN網關重新上移至核心交換機，破壞原來核心-匯聚-接入的三層結構。

3.2 基于四框虛擬化技術

兩中心業務網各部署2臺核心交換機形成2個核心交換機組，2核心交換機組通過波分復用設備的4條萬兆鏈路進行全連接，以四框虛擬化方式組成一臺業務網虛擬化核心交換機，MASTER優先級由高往低位分別設置為數據中心主核心、數據中心備核心、轉接中心主核心、轉接中心備核心，并配置以LACP MAD作為虛擬化分裂檢測。

兩中心網絡同時在線運行、互為備份；當數據中心主核心不可用時，四框虛擬化產生分裂，LACP MAD會優先比較分裂后的兩個單元中成員較多的即數據中心備核心、轉接中心主核心、轉接中心備核心一組繼續工作，并選擇數據中心備核心作為MASTER，接管工作，數據中心繼續提供服務；當數據中心主、備核心同時不可用時，轉接中心核心負責接管網絡,虛擬機或備份服務器可以遷移至轉接中心，無需修改網絡配置立即恢復對外服務（需要實現存儲雙活）。

優點：網絡結構簡單、清晰，各區域功能明確，通過核心網絡設備虛擬化技術大大提高省級數據中心兩節點網絡的可用性、安全性、可靠性、可擴展性，便于生產區、DMZ區應用系統向同城通信轉接中心部署，符合同城災備業務擴展要求。

缺點：四框虛擬化對核心交換機各廠商實現協議不同，因此4臺必須為同一品牌，雙中心必須使用4條萬兆波分鏈路才能實現虛擬化，對裸光纖資源占用較大；四框虛擬化實現案例較少，對于四框虛擬化的穩定性尚待評估。

3.3 基于SDN架構

保持原來網絡拓撲結構不變化，保證雙中心網絡IP可達。在雙中心網絡中分別部署2套SDN Controller，將網絡設備的控制平面集中上收到Controller上，通過Controller實現網絡統一部署和網絡自動化。在雙中心部署支持VxLAN三層網關功能的核心交換機，以便VxLAN跨數據中心透傳。升級服務器接入交換機上為支持VxLAN的接入交換機或在虛擬平臺上安裝vSwitch虛擬交換機軟件，以實現VxLAN封裝。目前，還需在轉接中心部署支持VxLAN功能的核心交換機、在雙中心部署SDN控制器及支持二層VxLAN的接入交換機等。

兩中心網絡同時在線運行、互為備份；當數據中心不可用時，轉接中心核心交換機負責接管網絡；轉接中心也可支持服務器部署，并支持虛擬機無縫遷移，無需修改網絡配置立即恢復對外服務（需要實現存儲雙活）。

優點：保持現有網絡結構不變化，通過VxLAN隧道技術連接，促使業務應用與網絡解耦合，實現主備中心的大二層打通；更有效利用轉接中心設備資源，為進一步發展數據中心資源池化打下網絡基礎；只需要在SDN控制上作相關網絡資源配置，大幅減少網絡配置工作量。網絡在可用性、安全性、可靠性、可擴展性均有大的提升，符合同城災備業務擴展要求。

缺點：VxLAN雖為公有協議，但各廠商仍有自定義字段，因此不同廠商設備不能共用實現。需要增加4臺SDN控制器、支持VxLAN的轉接中心核心交換機和相應板卡、支持二層VxLAN的接入交換機等，投入巨大；SDN技術更為前沿，應用案例少。

4.結論

綜合以上對比分析，基于虛擬化技術與VRRP技術實現復雜度小，技術儲備最為成熟，但保留著VRRP單邊流量問題，不能有效利用備中心設備資源；基于四框虛擬化實現復雜度中等，技術儲備較為成熟，可有效利用備中心設備資源，但對波分復用設備依賴較大，需同時升級支持萬兆鏈路的波分復用設備；基于SDN架構實現復雜度高，技術儲備暫不成熟，還需采購SDN控制器、三層VxLAN、二層VxLAN等大量設備，投資較大。從省級數據中心建設和同城災備業務發展目標出發，結合人民銀行省級機構網絡現狀與當前結構兼容性及網絡設備國產化要求，應采用分階段逐步演進的解決思路，短期以虛擬化技術與VRRP技術實現，中期逐漸轉向四款虛擬化技術，遠期以實現全網SDN為最終目標。