廣域網優化在氣象數據傳輸中的應用

楊菊梅　韓瀟影　宋媛

摘要：文中針對各類氣象數據傳輸量大、時效性高的特點，分別分析了數據壓縮、數據緩存和協議優化3種不同優化技術設計了TCP代理，實現了數據壓縮、緩存、協議優化等功能。通過實際運行表明在該加速架構下氣象數據傳輸速率得到了很大提高。

[關鍵詞]廣域網優化網絡優化協議優化數據壓縮

廣域網是一種跨地域的數據通訊網絡，通過跨越一個地區、國家等。其主要特點表現在遠距離信息交換、覆蓋范圍廣、組網成本高、管理難度大、帶寬利用率低等。甘肅省氣象廣域網絡已建成以MSTP線路組成的省-市-縣3級寬帶業務網絡。省局到市（州）局通過電信MSTP100Mb/s專線連接，市州局到縣通過電信MSTP30Mb/s連接。另外，省到市到縣局可通過VPN撥號方式通過互聯網進行數據傳輸，作為專線的備份鏈路。但隨著網絡的發展、業務的擴大，對傳輸系統的要求也日益提高，現有的網絡系統需要升級或者優化。

1氣象系統廣域網業務類型現狀分析

氣象廣域網業務種類比較多樣化，每種業務都有其自身的特點以及對網絡的要求，歸結起來主要有如下幾種：

1.1氣象業務應用系統

支撐氣象業務正常運轉的核心應用，氣象0A辦公系統、NOTES郵件系統、財務系統等，這類系統以數據報文傳輸小包居多，且一個應用需要客戶端和服務器端之間進行多次的交互作業，實現一些應用數據的查詢、數據輸入提交等行為。廣域網的時延對于其客戶端的應用體驗有著最直接的影響。對于C/S模式的應用，客戶端和服務器之間的一次操作需要幾十次的協議握手交互，有時直接導致響應緩慢或者不響應，這是廣域網優化的關鍵問題。

1.2以視頻會商等即時消息為主的通信類業務

氣象會商系統實現上級部門能對下級部門的預報分析和服務進行決策和指導，是天氣預報制作過程中的一個重要環節，也是提高天氣預報準確率提供優質服務的一個重要手段。其數據傳輸以雙向交互為主，報文的長度不確定，大包和小包混合存在，并且實時性比較高，對于網絡帶寬和時延都有較高的要求。

1.3大文件數據傳輸應用

大文件主要包括遠程文件的共享、數據報文的傳輸、省級數據的遠程緩存、數據同步、備份、大數據包的提交等應用。數據傳輸以單項為主，鏈路中以大數據包為主，在這種情況下，廣域網的鏈路帶寬將直接影響傳輸結果，面對大數據量傳輸、頻繁進行數據下載傳輸的應用FTP等，安裝大容量遠程服務器（本地數據緩存），實現對大量常用應用的本地存取，但這成本高，維護管理比較復雜。同時，大容量、多頻次、長時間的數據下載將嚴重影響廣域網的帶寬利用。

1.4Internet業務應用

氣象業務部分基于HTTP的Web瀏覽業務和下載，該業務優先級相對較低一點，即時帶寬不足或者鏈路有較大延時也可以接受，但這類業務類型最重要的就是要防范大量與工作無關的上網行為對于帶寬的濫用。雖然交換機或者路由器的ACL或者QOS技術對帶寬有一些簡單的管理，但是交換機路由器本身對于業務識別能力有限，當帶寬占用情況發生變化時，預先配置的ACL等也無法實現主動的策略調

綜上所述，廣域網優化勢在必行，主要從數據和協議兩方面進行優化。

2氣象系統廣域網絡現狀

國家級及我省兩臺邊界路由器通過動態路由協議及VRRP設計，實現了MSTP和MPLS/VPN線路的相互熱備;同時交換機采用IRF堆疊部署方式，兩臺防火墻通過HA方式也實現雙機熱備。省級到14個市州局節點業務專網電信帶寬為100MMSTP電路作為專線鏈路，市縣MSTP鏈路帶寬為30M，各地市州采用一臺H3CMSR5660路由器做專線出口路由，MSR5040路由器做3G業務和互聯網業務，搭建三條鏈路，實現冗余，默認專線鏈路最優，次之互聯網VPN鏈路，3G鏈路優先級最低，MSR3040做互聯網冷備使用。整個氣象系統廣域網流量可視化程度不足、帶寬管理能力有待增強、帶寬資源利用存在優化空間等等原因導致廣域網氣象數據報文傳輸失敗、視頻會商畫面抖動等情況發生。

3氣象廣域網優化策略研究

與局域網鏈路相比，廣域網鏈路的帶寬更低延時更高，性能相對局域網下降的首要原因是網絡協議的丟包、延時等特性造成。此外，造成廣域網效率低下的另一個重要原因就是重復數據。據相關研究表明，廣域網上至少存在一半以上的冗余數據，氣象廣域網同樣存在更多的冗余數據，大量重復的氣象數據在氣象專網上傳輸，造成帶寬的浪費，影響業務系統使用效率。同時，網絡協議的某些固有特性影響了帶寬的利用率。針對我省氣象廣域網的特征，以及氣象報文數據格式的特殊性，本文將融合廣域網加速技術中的數據優化和協議優化，來提高我省氣象廣域網的性能。

3.1數據優化

數據優化主要從數據壓縮、數據緩存、重復數據消除三方面進行優化。數據壓縮技術主要針對同一個數據傳輸塊，盡可能不重復傳輸內容和針對先后發生的不同數據傳輸塊，只傳輸數據塊中差異化的部分。采用這項技術，將傳輸更少量的數據包，從而降低帶寬損耗，提高廣域網帶寬。

目前氣象廣域網主要采用壓縮技術普遍使用基于數據包的壓縮，路由器、VPN設備等都具備這種功能，壓縮端使用緩沖區緩沖發往對端的數據包，將一個或多個數據包壓縮后經廣域網發送至反向進行該流程的解壓設備。IP報文結構分為包頭和載荷，相應地數據壓縮也包括包頭壓縮和載荷壓縮。包頭壓縮通過減少數據包中重復信息從而提高帶寬利用率。

數據緩存技術主要針對遠程分支需要頻繁訪問總部數據內容效果更好。主要包括分支優化緩存和總部優化緩存兩方面。分支優化當遠程第一次從總部獲取數據文件后，該數據塊將被分支優化設備緩存，如果其他用戶請求同一份數據時，優化設備將之前截獲這個請求，然后直接從本地緩存進行高速調用。總部優化同理總部優化設備緩存分支用戶的訪問數據，其他用戶再次訪問時直接進行廣“域傳輸，減少服務器頻繁進行數據交互的壓力，提升服務器響應速度，縮短交付時延。

重復數據消除是數據壓縮的一種，可以識別文件中重復的數據元素，只保留這些數據的一個副本，刪除其他出現該相同數據的地方，從而減少了需要傳輸和存儲的數據量。重復數據消除使用模糊匹配，比較適合大數據塊，也可對數據包中的數據塊進行操作。此技術主要應用于各種廣域網中，尤其是例如云存儲環境中對于數據存儲和獲取較為敏感的網絡。眾所周知，對于重復消除技術肯定會帶來額外的處理時間和能源消耗的問題，但現在對于數據的存儲都是采用集群，有研究表明使用固態硬盤、集群存儲的設計，提高了數據存儲效率，降低了能源消耗。

3.2協議優化

目前我省氣象領域廣域網傳輸中，使用的網絡協議某些固有的協議特性可能造成數據傳輸不能充分利用帶寬資源。對我省廣域網路由器的流入流出口協議進行監控，主要使用的應用協議及網絡流量趨勢做如下分析。

如圖1、圖2所示是。

從圖中可以看出廣域網半年的傳輸速度數據以及協議的應用情況，具體分析如表1所示。

綜上所述：我省氣象廣域網主要使用的網絡協議是TCP，從上面圖表分析可以看出我省的帶寬利用率不樂觀，廣域網中主要使用TCP協議和一些常用的交互式應用層協議，但其傳輸性能會隨著延時的增加而迅速下降，協議優化技術則是在協議分析的基礎上對協議流程和控制機制進行優化，從而減少丟包和延遲，提高帶寬利用率。

3.3傳輸協議優化

甘肅氣象領域傳輸協議主要是TCP，那么主要研究TCP協議的優化。對于TCP的諸多機制中，滑動窗口機制、擁塞控制算法等機制在廣域網環境中性能不穩定，該協議優化的技術包括TCP擁塞控制機制、慢啟動優化、TCP代理等。

3.3.1TCP擁塞控制機制優化

TCP擁塞就是TCP在連接建立成功后就立即向網絡中發送大量的數據包，那么由于網絡中路由緩存空間的耗盡，會導致網絡擁塞。而TCP的擁塞避免機制就是TCP的發送端探測網絡中的可用帶寬，當網絡狀態良好，則TCP的擁塞窗口大小會進行指數增長，當網絡中存在過多數據包時，網絡性能就會下降，就會發生擁塞現象。此時數據包容易丟失，數據包丟失就意味著TCP將會將它的擁塞窗口減為原來的一半。如果突然發送一個較大量的數據，極有可能會導致整個網絡的癱瘓，為了防止該問題的出現，TCP在通信一開始就會通過一個叫慢啟動的算法得出的數值，對發送數據量進行控制。擁塞控制優化技術能夠改變這種機制，通過兩端設備之間進行協商，將原本遇到傳輸異常時迅速減少的擁賽控制方式變成快速增長緩慢下降的方式，能夠在網絡異常的時候最快速的找到當前合適的窗口大小，減少傳輸所消耗的時間。

3.3.2TCP代理

TCP代理最大的特點就是具有透明性，也就是TCP代理存在對于客戶端和服務器端來說是透明的，就像直連只需向目的服務器端的IP地址發送數據即可，不需要考慮代理服務器的IP地址。TCP代理將通過TCP代理進行本地應答的方式，將客戶端與服務器端之間的TCP連接分為多段，減少了由于廣域網鏈路較長而帶來的傳輸時延大的問題。將它們分為單邊部署代理網關和雙邊部署代理網關。單邊代理網關是通過部署單個代理網關優化廣域網，需將TCP代理部署在局域網絡的出口處，如圖3所示。代理網關將客戶端從服務器下載的數據截獲，任何用戶通過它來訪問數據中心的任何一個服務器都可以得到加速服務，以便實現資源數據的共享。這種方式不需要對端也部署相同的設備，也不需要修改現有的網絡拓撲結構，但單邊代理網關無法滿足內部局域網各分支數據的高效傳輸和資源訪問加速。雙邊代理網關是兩個透明代理，分別在兩端局域網出口部署，一個作為代理客戶端與服務器相連，另外一個作為代理服務器置于客戶端出口處。在兩個透明代理之間通常將協議轉換為UDP協議或者其他的自定義協議，這些協議自身可完全按照本來的要求進行控制，達到提高TCP性能的效果，雙邊代理網關可引入壓縮、緩存等使廣域網優化的技術提高廣域網性能。

3.4氣象廣域網優化研究

雙邊TCP代理優化適合氣象廣域網，并且在TCP代理的基礎上，配合使用數據壓縮、數據緩存、重復數據消除等優化技術，使得廣域網兩側的TCP代理在進行數據交互時，避免大量不必要的重復數據的傳輸，從而有效降低了擁塞的發生和廣域網的流量負載，達到本地氣象廣域網的優化，并且實現應用和流量可視化，可管理廣域網。實現廣域網優化采取實現雙邊TCP代理和兩條匯聚鏈路冗余并分擔業務流量的方式。

雙邊TCP代理方案設計原則：所有網絡流量經過優化、管理設備，保證網絡拓撲結構不改變，盡量減少設備配置變更，具有較高的可用性。

雙邊代理設計部署說明：首先調整BGP策略，實現全網加速、優化，同時滿足探測機制的實現要求，調整路由器中與BGP協議相關的配置，增加對相關網絡的宣告。其次啟用PBR策略，正常情況下，兩鏈路（MPLS/VPN、MSTP）邊界路由器根據自身的路由表進行數據包轉發決策，且路由表根據數據包的目的地址決定下一跳（或出口）;業務系統數據流數據包的目的地址均為實際地址（而非代理機接口地址），這些數據包是永遠不會被轉發給設備進行優化處理的，因此需要PBR策略，將數據包根據規則“強制”的定向到代理設備。還需配置ACL以及RouteMap，邊界路由器的上、下聯接口、視頻會商接口，啟用策略路由功能，將符合要求的流量轉發給代理設備。另外需啟用路由器Keepalive機制，路由器按照配置的時間間隔發送ARP請求作為保活報文，路由器收到應答時認為接口存活，若連續n次沒有收到ARP應答，則認為對端設備失效，接口將進入keepalivedown狀態。保證了設備接口故障，介質（網線）故障，甚至是系統故障導致的IP地址丟失（此時接口物理層可能UP）時的可靠性，在以上各種情況下，PBR策略都會失效，數據包按照正常路徑轉發。即物理旁路，邏輯串接的部署模式，滿足功能要求的同時，在設備本身，及路由器各接口故障時，可保證網絡連續性。

鏈路聚合，流量分擔：目前我省一市一縣廣域網主鏈路采用電信MSTP鏈路傳輸，基于Internet的VPN鏈路作為第一備份，移動3G作為第二備份，當MSTP線路中斷時MSTP線路的業務出方向流量將切換至VPN線路，不影響網絡通信。省級兩臺交換機通過鏈路匯聚功能實現線路冗余，但沒有分擔業務流量，這就造成所有業務，包括氣象業務應用數據和可視化會商數據都在主鏈路傳輸，給MSTP線路帶來壓力，而VPN線路在主鏈路沒有故障時一直處于空閑狀態，沒有充分的利用網絡鏈路資源，為了解決這一現狀將建議通過鏈路匯聚功能實現線路冗余的同時能夠分擔業務流量，業務可無延遲地從另一根線路繼續轉發，不影響網絡通信。

實現雙邊TCP代理和兩條匯聚鏈路冗余并分擔業務流量的配置，我省廣域網實現應用加速、流量分流、精確流量控制、優先級控制、帶寬均分、多鏈路優化及負載均衡。

4總結與展望

本文把目前廣域網加速的技術分為數據優化和協議優化，并從數據壓縮、數據緩存、數據重復消除層面對數據優化進行了闡述，同時從傳輸層優化和應用層優化對協議優化進行了分析，最后歸納分析適合我省氣象廣域網的方案。

目前廣域網優化技術成功使用，某種程度提升了廣域網承載的多種業務應用的服務質量，我省主鏈路MSTP也進行了帶寬升級，但隨著虛擬化、云、無線網絡的普及使用，廣域網優化技術在后續的發展過程中，我省氣象廣域網還需要在針對虛擬化的廣域網、無線Wi-Fi網絡進行研究。云服務供應商提供的虛擬化數據中心服務，在氣象領域云服務開始廣泛使用，廣域網優化技術及相關產品需適應虛擬化趨勢，需提供更高的性能支撐應用，氣象廣域網在這方面還需后續繼續研究。日益普及的Wi-Fi網絡在氣象系統以及其他領域已全面覆蓋，由于現存的傳輸控制協議大多針對某種特定的網絡壞境，在用戶環境變化的情況下會造成傳輸性能差、利用率低等情況，根據不同的網絡環境如何設計兼容性好的控制協議，也是氣象廣域網需解決的一個問題。

參考文獻

[1]肖宇峰，陳山枝，李昕，李玉宏，自適應的LSP故障環回檢測機制[J].北京郵電大學學報，2009，32（02）：5-9.

[2]馬琳.MSTP以太網業務模型[J].通信世界，2005（35）：45-46.

[3]侯劍鋒，馬明凱，李向紅.MPLSVPN中動態服務質量機制的應用[J].計算機工程，2010，36（03）：106-108.

[4]王健全。城域MSTP技術[M].機械工業出版社，2005，20-50.

[5]張繼軍.楊壯。新一代城域光傳送技術[M].北京郵電大學出版社，2005.

[6]李金嶺，蘇曉云，張晨，馮春燕.基于基本回路的MPLS網絡重路由故障恢復機制[J].計算機工程，2008，34（09）：124-126.

[7]韓燕義.氣象科研應用系統中的計算機故障檢測[J].氣象科技，2006，34（Z1）：82-84.

[8]張永成，市級氣象通信網的建設安裝與維護[J].氣象科技，2007，35（01）：148-151.

[9]胡永祥，王曉祿.INTERNET網對氣象服務體系建設的影響和對策[J].氣象，2003，29（06）：33-36.