解開異地容災帶寬之惑

隨著網絡技術的快速發展和信息化整合力度的不斷加強，企業信息化建設已從單點應用逐步邁向綜合化、集成化、協同化，各類業務數據也趨于集中。在此背景下，用戶對關鍵系統不間斷穩定運行的要求越來越高。雖然可通過硬件冗余、系統集群等傳統技術手段提升本地高可用性，但仍無法抵御地震、水災等自然災難以及斷電、病毒爆發、網絡癱瘓和誤操作等人為災難。災難性事件一旦發生，不僅將導致應用系統服務中斷，甚至危及企業核心數據，造成不可挽回的后果。為有效應對可能的風險，大型企業往往選擇開展容災系統建設，利用資源冗余和地理分散等因素充分確保業務系統和企業數據對災難性事件的抵御能力。

容災按距離劃分可分為同城容災與異地容災。同城容災可防范除地震之外的常見災難，雙中心距離不超過100公里，通過光纖直連實現數據完全同步。而異地容災受距離過長及跨省限制，一般沒有條件鋪設裸光纖，通常租用電信運營商IP線路進行數據傳輸，每月線路租賃費用與其帶寬直接掛鉤，縮減帶寬能顯著降低運維費用。依據國家《信息系統災難恢復規范》(GB/T 20988-2007) ，參照災難恢復第五級(實時數據傳輸及完整設備支持)與第六級(數據零丟失和遠程集群支持)要求建設的異地容災系統必須具備將本地業務數據實時傳輸至異地備份系統的能力，提高數據復制鏈路帶寬能減少潛在的數據丟失。

因此，在異地容災系統建設過程中把握好數據復制鏈路帶寬設計平衡就顯得尤為重要，既要滿足現有需求并適當留有余量，又不盲目擴容，確保投資經濟性。

選擇恰當

數據復制方式

業務數據的遠程實時復制是實現容災的前提，數據復制將生產端數據變化(包括新增、修改、刪除)不斷傳輸至容災端，從而實現數據實時冗余。確保災難發生和生產端系統數據被毀壞時，容災端數據立即可用，且數據丟失量符合設計值。在異地容災建設過程中，備選的數據復制方案有基于智能存儲、基于數據交換設備、基于邏輯磁盤卷、基于數據庫的數據復制。不同的技術方案對容災鏈路帶寬要求存在一定差異。

1. 基于智能存儲的數據復制

由存儲設備內嵌功能實現數據的遠程復制和同步，即生產端存儲設備將記錄了本地寫入操作的日志實時復制到容災端存儲系統并執行，可以保證數據的一致性。目前主流存儲廠商都提供了相應的解決方案，如EMC SRDF、IBM PPRC 、HP BusinessCopy、HDS TrueCopy等。

該方式通過智能存儲上的處理器實現數據復制和一致性控制，不占用生產端主機資源，對生產系統主機性能無影響；支持所有數據類型的容災，無論是數據庫數據還是文件數據；可以不修改應用直接實現容災功能，部署實施較簡便；實現底層數據的透明傳輸，生產端的運維操作全部透明地傳輸到容災中心，容災端無需過多干預，系統整體可靠性和可維護性較高，運維成本較低；可以通過在容災中心存儲陣列上劃分多個磁盤區域的方法，靈活實現多點、多個不同應用系統的復制或鏡像。

該方式不足之處在于最底層的數據透明傳輸對網絡帶寬和穩定性的要求非常高；要求兩端的存儲必須為同一廠家同一檔次的產品，在產品選型時有很大限制；對生產端和容災端存儲容量要求較高，需要增加額外存儲空間來滿足容災需求；還有就是容災端數據不能直接讀寫。

2. 基于數據交換設備的數據復制

利用高端SAN交換機特殊功能，將生產端寫入請求分離出來發送給本地專用設備，并由該設備負責記錄數據變化日志并將日志發送至容災端，容災端部署相應的設備負責接收日志并將數據修改同步到指定的存儲系統。基于該方案的產品有EMC Recover Point等。

該方式與基于智能存儲的數據復制相比有類似之處，只是將原本由存儲負責的遠程復制功能轉移到了SAN交換機與專用設備之上，從而實現了良好的開放性，支持在異構存儲設備之間進行數據復制，便于產品選型；也保留了基于智能存儲的數據復制的優點，能夠在不占用主機資源的情況下實現高效的數據復制，其部署與運維成本也較低，但對網絡帶寬的要求仍較高。

3. 基于邏輯磁盤卷的數據復制

通過每臺主機上安裝獨立的卷(LVM)復制軟件，同時打開生產卷和容災端對應的備份卷，并通過網絡建立數據傳輸通道，生產端主機將每個數據塊寫到生產卷的同時，記錄額外的數據修改日志并將其傳輸到容災端，容災端卷管理軟件負責接收日志并將其同步至備份卷，從而實現兩地業務數據的實時復制。基于該方案的產品有Veritas Volume Replicator等。

該方式通過操作系統邏輯卷管理軟件來實現復制，對存儲進行邏輯虛擬化，支持異構存儲，同時支持所有數據類型的容災。

該方式不足之處在于對帶寬要求較高，容災端邏輯卷的響應速度必須有高速可靠的網絡加以保證；生產端主機承載了額外的數據復制任務，對生產端性能影響較大；要求特殊格式的文件系統；無法對根卷進行容災。

4. 基于數據庫的數據復制

由數據庫系統軟件本身提供的容災功能來實現遠程復制和同步，生產端數據庫將重做日志或歸檔日志發送至遠端，容災端數據庫接收日志后進行前滾操作實現數據同步。相關產品有Oracle DataGuard、IBM DB2 HADR等，第三方軟件廠商也提供了GoldenGate、SharePlex等類似的解決方案。在生產端解析日志，通過網絡把解析出的SQL語句傳輸到容災端回放。

這種方式最大的特點是數據復制鏈路僅傳輸重做日志或SQL語句，網絡資源占用最小；高版本數據庫軟件甚至允許在容災端以只讀方式打開數據庫，方便了報表統計等商業智能應用，有利于容災端硬件資源復用，提升投資經濟性；對存儲容量要求較低且支持異構存儲設備；容災端數據庫時刻處于激活狀態，容災切換時間相對較短。不足之處是生產端主機需要啟動額外進程捕獲、傳輸重做日志，一定程度上影響了生產端數據庫主機性能；只支持數據庫容災，不支持文件系統容災；容災系統的實施部署、管理相對程序復雜。

上述四種數據復制方案在容災應用中具有各自的優勢，也存在各自的不足，在實際應用中完全可根據實際需求擇優使用。基于數據庫的數據復制方案對網絡資源占用最小，以Oracle數據庫DataGuard容災方案為例，當一筆業務交易處理完畢時，只需傳輸該交易涉及的重做日志條目即可確保容災功能實現。而使用另三種方案都需將重做日志，數據表、索引、歸檔日志、控制文件、臨時表、回滾段中所有與該交易相關的數據修改以塊的形式發送至容災端，網絡帶寬占用成倍增長。據統計，在不考慮網絡加速設備的前提下，基于智能存儲、數據交換設備、邏輯磁盤卷的數據復制對帶寬要求大致相當，都約為基于數據庫的數據復制方案的7倍。

考慮到針對智能存儲、光纖交換機、操作系統邏輯卷的寫入長期歷史統計存在較大技術障礙，而數據庫重做日志增量統計手段多樣，簡單易行。在明確各方案帶寬需求換算關系后，可將各類I/O統計需求轉化為各業務系統數據庫重做日志增量，為準確估算鏈路帶寬奠定基礎。

業務現狀統計

生產端業務數據修改量統計一直是異地容災系統設計的難點問題。統計時缺乏有效的技術工具支撐，難以精確的回顧數周前、數月前甚至數年前曾出現的寫入峰值及持續時間，往往只能選擇粗略估算。依據失真的現狀指標建設的異地容災數據復制鏈路要么鏈路帶寬過小無法滿足傳輸需求反復出現數據堵塞，要么安全余量預留過多造成資源閑置。

如常用的以表空間增長量代替數據修改量的方法就缺乏科學依據。插入操作可能帶來表空間的擴張，也可能因留有空閑的數據塊而無需立即分配空間。修改與刪除操作一般不會造成表空間增長，但數據變化仍需同步至容災端。

應將業務現狀統計的重點放在調研現有各數據庫日志增長情況之上，然后不同數據復制方案之間帶寬需求換算關系推導出數周前、數月前甚至數年前生產端寫入操作的峰值及持續時間、均值等關鍵指標。

1.數據變化實時統計

容災需求調研時往往可借助專業的數據庫監控軟件獲得短時期內單個數據庫實時的重做日志增長分布。從實際工作調查可發現，異地容災系統建設重點關注的業務實時數據修改量通常呈不均勻分布，波峰波谷交替出現。實際工作中，某DB2數據庫一周內日志更新高峰值為每分鐘450MB，持續時間為數分鐘，一般發生在凌晨，其余時間重做日志增長均值為每分鐘30MB。

2.數據變化歷史統計

依據實時統計得出的結論僅建立在較少的樣本之上，是否能夠完全反映真實情況，是否在此之前還出現過更大的數據日志增長高峰，要解答這些疑問必須依靠更長的采樣周期和更多的采集樣本。此時監控工具已無法發揮作用，只能在數據庫歷史備份中尋找線索。以Oracle為例，RMAN目錄的RC_LOG_HISTORY視圖就詳細記錄了每個重做日志的開始時間，可按其切換頻率及日志文件大小間接推導出日志增長分布。DB2也提供了類似命令。

3. 多系統疊加統計

準確掌握單個應用數據庫日志增長情況特別是數據變化峰值、出現頻次(概率)、高峰時段、高峰持續時間可以為容災鏈路網絡帶寬估算提供了基礎數據，之后應將生產端所有應用系統后臺數據庫寫負荷疊加起來綜合統計。

數據變化高峰作為大量試驗樣本中的稀有事件，近似滿足泊松分布。如生產端應用較少或高峰時段相互錯開，可認為各系統同時發生數據修改高峰的機率很小，最終需求為樣本最大值；如生產端應用較多，但各系統應用負荷不平衡，某項應用經常出現特大峰值，可將該值作為最終需求；如生產端應用較多、出現時段不固定，且峰值大致相當，應充分考慮數據修改高峰重合的可能，依據概率擬合最終需求。

鏈路帶寬估算

鏈路帶寬估算需要數據支持，一是容災技術指標，可通過風險分析及業務影響分析科學制定；二是業務數據變化現狀，可通過數據庫日志增量調研及換算獲得。

當RPO設計值較高時(N分鐘級)，通信鏈路必須確保在N分鐘內將波峰量數據傳輸至容災端的能力，允許的數據堆積量很小，帶寬大小取決于波峰時寫入負荷。當RPO設計值適中(N小時級)，可充分利用負荷波谷時鏈路的空閑能力延時傳輸負荷波峰時來不及發送的數據，達到“削峰填谷”的效果，此時帶寬大小可取波峰波谷間的寫入負荷的平均值。

異地容災系統建設是一個復雜的系統工程，技術方案的選擇涉及很多因素，數據復制鏈路帶寬設計作為其中的難點和關鍵環節，需要開展深入調研與合理匡算，不能簡單盲目的就高或就低配置。