基于地址重寫的智能雙IP雙線服務高可用性研究

張文盛

(安徽廣播電視大學 遠程教育技術與圖文信息中心,安徽 合肥 230022)

高可用性是集群系統研究的一個熱點，通過引入冗余設計，使得系統能夠不間斷對外提供服務，這對于重要的企業應用至關重要[1].智能雙IP雙線服務比單線服務具有更好的帶寬和性能，是目前較為流行的系統架構，普遍應用于各中小型企業[2].

智能雙IP雙線服務的工作原理如圖1所示.圖1中服務雙線接入兩個ISP(例如移動和電信)，每條鏈路分別配置ISP提供的IP(例如移動IP和電信IP)；用戶使用域名訪問服務時，智能DNS服務器根據用戶IP所屬的ISP返回對應的服務IP(例如移動用戶返回移動IP，其他用戶返回電信IP)[3-4]；用戶向該IP發送的請求數據包經相應鏈路到達負載均衡器(Load Balancer,LB)；LB根據均衡策略和算法選擇真實服務器(Real Server,RS)[5-6]，將請求數據包轉發給它；RS處理請求，發送應答數據包到達LB；LB執行源策略路由[7]，將應答數據包從源鏈路發送給用戶.

圖1 智能雙IP雙線服務工作原理Fig.1 Operation principle of the intelligent dual-IP dual-line service

智能雙IP雙線技術可明顯減少跨ISP訪問，實現就近獲取服務，極大提高用戶體驗[8].此外智能雙IP雙線服務在一條鏈路發生故障的情況下，另一條鏈路下的用戶不受影響，比單鏈路可靠性有所提高[9].但是智能雙IP雙線服務還存在單點故障，在一條鏈路意外中斷的情況下，將導致部分用戶不能訪問服務，對業務造成很大損失[10].針對這一缺點，提出一種基于地址重寫的智能雙IP雙線服務架構，該架構利用鏈路冗余，在一條鏈路發生故障時，將流量轉移到另外一條鏈路，從而實現不間斷服務，提高服務可靠性.

1 相關研究

針對雙線服務的高可用性研究，目前成熟的技術有光線路自動切換保護(Optical Line Auto-Switching Protection,OLP)[11]和邊界網關協議(Border Gateway Protocol,BGP)雙線[12].

OLP，又名雙路由保護，是一種物理層的保護技術[13].OLP是指當光傳輸線路上光纖意外折斷或損耗變大導致通訊質量下降或通訊中斷時，光線路自動切換保護設備實時檢測，發出警告信息，并能夠自動地將光傳輸線路由主線路切換至備用線路，使通信立即恢復，從而使傳輸系統的故障時間降至最小，保證光傳輸系統的可靠性[14].OLP的最大缺點是需要布設第二條光纜，成本較高，不適合大面積使用[15].

BGP雙線技術是指采用BGP路由器接入兩個自治系統(Autonomous System,AS)[16]，通過BGP協議選擇訪問服務的最佳路徑.BGP雙線技術的缺點是BGP路由器十分昂貴，同時要申請AS號[17].目前只有ISP才能利用這種技術，建立BGP雙線機房，提供托管和租用服務[18].

OLP和BGP都具有很好的鏈路可用性，同時代價都很大，不適合中小型企業使用.智能雙IP雙線服務有線路冗余設計，與OLP、BGP相比，拓撲結構有自己的特點.目前，利用這種線路冗余實現高可用性的相關的研究還不多.本文設計鏈路狀態監控協議，對IP協議進行改造，在一條鏈路發生故障時執行地址重寫，提高智能雙IP雙線服務的可用性.

2 基于地址重寫的智能雙IP雙線服務系統架構

2.1 工作原理

基于地址重寫的智能雙IP雙線服務系統工作原理如圖2所示.

圖2 基于地址重寫的智能雙IP雙線服務系統工作原理Fig.2 Operation principle of address-rewriting-based intelligent dual-IP dual-line service

圖2中，路由器B、路由器C和負載均衡D部署了狀態監測模塊，BD之間的鏈路發生故障時，狀態檢測模塊使系統進入地址重寫模式，此時用戶A訪問D的流量路徑如下：

(1)用戶A的訪問數據包到達路由器B，數據包目的地址是IP1.

(2)路由器B將IP1存入IP選項字段(類型為目的地址重寫)，并重寫數據包的目的地址為IP2，然后將重寫后的數據包發給路由器C.

(3)路由器C將數據包發給負載均衡D.負載均衡D發現數據包含類型為目的地址重寫的IP選項，還原數據包目的地址為IP1，完成遞交RS的工作.

(4)負載均衡D接收RS的應答數據包，數據包源地址是IP1.負載均衡D將IP1存入IP選項字段(類型為源地址重寫)，并重寫源地址為IP2，然后將重寫后的數據包發給路由器C.

(5)路由器C解析IP選項字段，將數據包源地址重寫為IP1，發給用戶A.

2.2 系統結構

基于地址重寫的智能雙IP雙線服務系統結構如圖3所示.

圖3 基于地址重寫的智能雙IP雙線服務系統結構Fig.3 System architecture of address-rewriting-based intelligent dual-IP dual-line service

圖3中，節點可以是路由器，也可以是負載均衡設備.每個節點除了角色不同外，擁有相同的系統結構.該系統結構包括兩個模塊：狀態監控模塊和地址重寫模塊.狀態監控模塊運行在用戶空間；地址重寫模塊建立在Netfilter框架[19]上，運行在內核空間.狀態監控模塊和其他節點的狀態監控模塊通訊，交換彼此維護的狀態信息.狀態監控模塊一旦發現鏈路斷開，立即通知地址重寫模塊開始工作；地址重寫模塊對發往該鏈路的數據包進行重寫，使之重定向到另外一條鏈路.

為了進一步區分發生重寫時兩個路由器的角色，定義連接故障鏈路的路由器為重寫由器，另外一個路由器為中轉路由器.

2.3 狀態監控模塊

鏈路兩端節點不斷探測彼此和交換信息，確定鏈路狀態.定義一次探測事務如下：節點以定時間隔T向對端節點發送狀態請求數據包；對端節點接收到狀態請求數據包后，經過適當處理，立即返回狀態應答數據包給發送端；發送端解析應答數據包，更新對端狀態.狀態監控模塊執行探測事務確定其他節點狀態，同時交換彼此維護的狀態信息，從而獲知系統狀態，并決定本節點是否執行地址重寫.節點的狀態轉換圖如圖4所示.

圖4 節點狀態轉換圖Fig.4 Node state transition

節點狀態包括初始化(INIT)、同步(SYNC)、就緒(READY)、不可達(UNREACHABLE)和恢復(RECOVERY).節點狀態轉換邏輯如下：

(1)節點啟動時設置對端節點狀態為INIT.

(2)節點完成第1個探測事務時，置對端節點狀態為SYNC.

(3)對端節點處于SYNC時，只有連續完成N1個探測事務才能置對端節點為狀態為REDAY，防止鏈路故障率過高對系統運行造成干擾.

(4)在對端節點處于READY時，連續N2個探測事務失敗，置對端節點狀態為UNREACHABLE，此時節點需要根據其他信息判斷是否進入地址重寫模式.

(5)在對端節點處于UNREACHABLE時，完成1個探測事務，則置對端節點狀態為RECOVERY.

(6)在對端節點處于RECOVERY時，連續N1個探測事務成功，則置對端節點狀態為READY，此時節點需要根據其他信息判斷是否退出地址重寫模式.

在鏈路斷開的情況下，已建立的TCP連接會重傳數據[20]，重傳失敗超過規定次數會關閉連接，因此N2*T的時間不能太長，要小于平均的重傳時間.

對端處于UNREACHABLE并不能確定是鏈路出問題(斷開)還是節點出問題(死機)，因此不能據此切換運行模式.為了解決這個問題，通過在探測事務中交換彼此維護的狀態信息進行確認.每個節點維護一個狀態表格，其中包括本節點和其他兩個節點的狀態.狀態表格結構見表1.

狀態表中的每條記錄創建時，固定值字段從配置文件中加載，初始值字段自動初始化，對于可變值字段，本節點設置{直接狀態:READY，間接狀態:READY，運行模式:正常}，其他節點設置{直接狀態:INIT，間接狀態:INIT，運行模式:正常}.

節點執行探測事務時，主要維護直接狀態，同時交換該信息.通過狀態交換，可以獲知對端節點的間接狀態.間接狀態是第三方節點探測到的對端節點的直接狀態，表明經第三方節點能否到達對端節點.

表1 節點狀態表
Tab.1 Node states

字段名稱字段描述字段值屬性節點名稱給節點起的名字固定值節點類型可選值：路由器，負載均衡固定值節點地址IP地址固定值是否自己標識是否是本節點，是TRUE，否FALSE固定值直接狀態通過探測事務確定的節點狀態可變值間接狀態通過交換信息確定的節點狀態可變值運行模式可選值：正常，目的地址重寫，源地址重寫可變值當前事務ID事務需要，初始值0，以后每次加1初始值連續成功事務數用于節點狀態轉換，初始值0初始值連續失敗事務數用于節點狀態轉換，初始值0初始值總成功事務數用于統計，初始值0初始值總失敗事務數用于統計，初始值0初始值切換模式次數用于統計，初始值0初始值最近切換模式時間用于統計，初始值空初始值

有了所有節點的直接狀態和間接狀態，狀態監控模塊就可以決定是否切換運行模式.對于路由器,只有負載均衡的直接狀態為UNREACHABLE而間接狀態為READY，其他節點的直接狀態均為READY時，才可以進入地址重寫模式；對于負載均衡，只有一個路由器的直接狀態為UNREACHABLE而間接狀態為READY,其他節點的直接狀態均為READY時，才可以進入地址重寫模式.

2.4 地址重寫模塊

地址重寫類型包括源地址重寫和目的地址重寫.目的地址重寫發生在重寫路由器上，源地址重寫發生在負載均衡上.除了地址重寫外，還有地址還原，包括源地址還原和目的地址還原.目的地址還原發生在負載均衡上，源地址還原發生在中轉路由器上.為了完成重寫，定義新的IP選項見表2.

表2 地址重寫選項列表
Tab.2 Address rewriting options

重寫類型類型值長度數據源地址重寫1484IP地址目的地址重寫1494IP地址

根據角色的不同和收到的數據包不同，節點執行如下動作：

(1)源路由器收到發往故障鏈路的數據包，執行源地址重寫.

(2)負載均衡收到包含源地址重寫選項的數據包，執行目的地址還原.

(3)負載均衡發送到故障鏈路的數據包，執行源地址重寫.

(4)中間路由器收到目的地址重寫選項的數據包，執行源地址還原.

為了不影響路由和TCP連接的處理，根據動作特點，在Netfilter框架中嵌入重寫鉤子，完成處理任務.重寫鉤子的位置如圖5所示.

圖5 重寫鉤子Fig.5 Rewriting hooks

圖5中，重寫鉤子掛接在PRE_ROUTING和LOCAL_OUT兩個位置.狀態監控模塊在節點初始化時將節點角色、IP1、IP2等屬性設置進行重寫鉤子，并在節點狀態改變時將重寫標志設置進重寫鉤子.重寫鉤子根據節點角色、重寫標志、地址重寫選項和鉤子位置執行對應的動作(見表3).

表3 重寫鉤子執行動作對應表
Tab.3 Map of rewriting hooks and actions

角色重寫標志地址重寫選項鉤子位置執行動作路由器是無PRE＿ROUTING(1)目的地址重寫負載均衡是目的地址重寫PRE＿ROUTING(2)目的地址還原負載均衡是無LOCAL＿OUT(3)源地址重寫路由器否源地址重寫PREROUTING(4)源地址還原

3 實驗

在Linux中實現狀態監測模塊和地址重寫模塊，并搭建如圖6所示的測試網絡拓撲環境檢驗系統性能.

圖6 測試網絡拓撲Fig.6 Network topology for testing

圖6中，所有鏈路最大帶寬均為100M.測試方法是從U訪問B上的WEB服務，下載一個10G大小文件，當下載到一段時間后，手工斷開R2<->B之間鏈路，驗證文件能否正常下載，同時監視B->R2和B->R3兩條鏈路的流量分布情況.設置狀態檢測模塊的T為2s，N1為30，N2為5，結果如圖7所示.

圖7 測試結果Fig.7 The testing result

在圖7中，[0,150]s區間，B->R2的流量很大，表明下載流量從B經R2的鏈路返回給用戶，符合正常的工作模式.在150s處，手動斷開B<->R2之間的鏈路，導致該鏈路流量直接降到0.各節點的狀態監測模塊感知到這種變化，經過10s，切換系統進入地址重寫模式，流量被切換到B<->R3鏈路上，因此B->R3的流量從0開始增長，直至完成后續下載.比對文件的MD5值，服務器上的文件和用戶下載的文件相同，表明基于地址重寫的智能雙IP雙線服務具有較好的可用性.

4 結束語

本文從技術層面探討如何解決智能雙IP雙線服務可用性問題，提出基于地址重寫的智能雙IP雙線服務系統解決方案，通過引入地址重寫技術，描述工作原理，設計新系統的架構，探討狀態監測模塊、地址重寫模塊的功能和運行方式，搭建環境測試系統性能，解決了智能雙IP雙線服務可用性不高的問題.但在具體應用層面上，基于地址重寫的智能雙IP雙線服務系統還存在一些問題，需要增加新的IP選項，需要修改路由器系統軟件和負載均衡系統軟件，操作起來難度很大.

[1]侯興林,王曉云.服務可用性監控系統的設計與實現[J].軟件,2016,37(2):74-76,80.

[2]陳棟.校園網多鏈路接入的負載均衡技術研究[J].哈爾濱師范大學自然科學學報,2014,30(5):48-51.

[3]侯冬青.智能DNS在多出口局域網中的應用研究[J].西昌學院學報(自然科學版),2015,29(1):49-52.

[4]王子榮,胡浩,尹紹鋒,等.基于策略DNS和HTTP Proxy的多宿主網絡服務部署的研究[J].計算機工程與科學,2014,36(2):238-243.

[5]劉芳,吳瓊.基于Web的集群部署管理系統[J].山東理工大學學報(自然科學版),2015,29(2):32-35.

[6]ZHANG Z C. Design and realization of multi-export campus network based on redundancy architecture[J]. Computer Science,2012,39(10):219-222.

[7]幸福,楊峰,燕霄翔,等.Linux服務器下多網口負載均衡算法的研究[J].計算機工程與應用,2013,49(24):93-96.

[8]李曉利.智能DNS解析在校園網中的應用[J].濰坊學院學報,2014,14(2):44-47,55.

[9]JIANG W U.The research and implementation of intelligent DNS system for campus network[J]. Microcomputer Information,2010,26(9):102-104.

[10]王東.智能DNS和NAT技術在多出口高校校園網中的應用[J].重慶科技學院學報(自然科學版),2012,14(3):151-152,176.

[11]李勇超.光線路自動保護系統技術及其實用性探討[D].鄭州:解放軍信息工程大學,2008.

[12]譚欽紅,陳菊,曹懿樂,等.SNMP在OLP系統中的應用[J].電視技術,2012,36(21):99-101,155.

[13]楊雪,劉學升,欒宏之,等.OLP系統在電力光纖通信中的應用研究[J].電力系統通信,2012,33(9):56-60.

[14]卓文合,邵廣賢.光纖線路自動切換保護裝置在安徽電力通信網的應用研究[J].安徽電氣工程職業技術學院學報,2013,18(4):121-125.

[15]鄒朝亮.光線路保護系統OLP在福建電信波分系統中的應用與研究[D].北京:北京郵電大學,2011.

[16]賀聿志,章勇,柳斌.多鏈路BGP接入方法的探討[J].華中科技大學學報(自然科學版),2016,44(1):148-151.

[17]蘇申,方濱興.BGP路由的動態性研究[J].智能計算機與應用,2016,6(5):69-70,73.

[18]黎松,諸葛建偉,李星.BGP安全研究[J].軟件學報,2013,24(1):121-138.

[19]張文盛.源抑制在網絡流量控制中的應用研究[J].微型機與應用,2015,34(17):60-62.

[20]孔金生,任平英.TCP網絡擁塞控制研究[J].計算機技術與發展,2014,24(1):43-46.