,,, ,
(北京宇航系統工程研究所,北京 100076)
火箭地面測發控網絡系統是運載火箭的重要組成部分,承擔火箭地面測發控設備網絡互連、測試信息共享、狀態監視、測試進程控制,并為測試和發射提供故障診斷。隨著網絡測控模式的大規模使用,點火、緊急關機等關鍵信號均通過網絡進行下達,因此信息傳輸的可靠性及快速重構能力是系統架構設計的重點。同時,隨著上網設備增多,一對多的數據發送模式增加,組播數據越來越大,對組播數據流的控制也成為網絡數據的管理關鍵。采用必要的技術手段以避免網絡故障造成發射中止或推遲,同時主動減少網絡故障自愈過程中的代價,對于運載火箭測發控網絡這樣的關鍵應用具有非常重要的意義[1-2]。
本文采用的一種基于VSS及SSM新技術的高可靠運載火箭地面測發控網絡系統設計,通過高可靠的網絡架構設計、高穩定性的數據傳輸路由設計、高效率的組播通信技術設計及輕量化的網絡監控等技術可有效提高運載火箭地面測試發射控制的可靠性、安全性。
火箭地面測發控網絡系統設計旨在研究運載火箭測發控系統在測試發射過程中的高可靠網絡測控設計技術,在本項目研究過程中遵循如下思路:
火箭地面測發控網絡系統負責搭建數據傳輸平臺,火箭的測試、發射信息需要通過火箭地面測發控網絡系統系統完成前后端以及各系統間的信息交互,一旦火箭地面測發控網絡系統絡發生故障,將會對整個火箭系統的測發流程造成重大影響,因此系統在設計之初,將可靠性、安全性作為系統設計的首要原則:采用冗余設計,消除系統設計中的單點失效模式;進行安全性分析,對關鍵功能實施人工干預。
火箭地面測發控網絡系統為地面測試發控系統搭建數據傳輸平臺,在火箭地面測發控網絡系統絡搭建的局域網上,連接了各系統的測試設備以及火箭地面測發控網絡系統的測控計算機,由此構成一個完整的網絡測試發控系統。系統組成及拓撲結構如圖1所示。
圖1 系統組成示意圖
按照功能劃分,火箭地面測發控網絡系統系統主要由主干網、數據瀏覽、網絡監控三部分功能組成,具體如下:
1)主干網負責火箭地面測發控網絡系統的測發功能,包括物理鏈路的搭建,測試流程管理、數據的接收、轉發等。由四臺主干網交換機、數據庫服務器、WEB服務器、指揮管理工作站等組成。其中交換機負責物理鏈路的搭建,交換機A、交換機B在前端,并互為冗余;交換機C、交換機D在后端,并互為冗余。四臺交換機通過千兆雙光纜聯成環路。四臺交換機通過環形連接起到冗余作用,并且成為前后端網絡的主干,前端、后端參與測控的設備均通過雙冗余方式連在主干網上。數據庫服務器、WEB服務器、指揮管理工作站等安裝在后端,負責完成測試流程及測試數據的管理;
2)數據瀏覽主要完成火箭地面測發控網絡系統的實時數據、歷史數據的發布、顯示、判讀,同時提供與C3I等火箭外系統的通信接口,保證與外系統通信安全。由一臺瀏覽交換機、一臺防火墻及瀏覽計算機組成。瀏覽交換機負責瀏覽網端的數據交互,通過防火墻與主干網、C3I系統隔離,起到數據安全作用;后端不直接參與測試的瀏覽計算機,均連接到瀏覽交換機,通過防火墻聯入主干網絡,形成一個統一的整體;
3)網絡監控通過對網絡上各節點、鏈路間的狀態信息進行收集、監控、故障分析和排查,實現對主干網狀態的監控和管理。火箭地面測發控網絡采用1+2模式,即一臺網絡監控工作站+兩臺網絡抓包服務器,兩臺網絡抓包服務器分別設置在前、后端,獲取前后端的網絡數據;網絡監控工作站設置在后端,接收抓包服務器的數據進行對比、分析,同時對前、后端各系統的關鍵節點進行監測,達到網絡狀態的實時監控和診斷的目的。
火箭地面測發控網絡系統分為前端和后端,構建測發控信息高速公路,為火箭電氣各子系統的分布式遠距離測發控信息提供傳輸和交換平臺,一旦火箭地面測發控網絡系統發生故障,將會對整個火箭系統的測發流程造成重大影響,高可靠的網絡架構是確保火箭射前測試及發射的基本條件。
在傳統火箭地面測發控網絡平臺的設計中,前端、后端的數據通信設備均采用熱備份冗余協議(HSRP)實現雙機冗余工作方式。HSRP的基本工作原理是主/備雙機系統通過高頻率的發送/偵聽專用組播報文(每幀預設間隔15毫秒)以監測對方設備的工作情況,任何形式的網絡故障導致雙機系統在一定時間內(預設間隔50毫秒)無法偵聽到對方的組播報文就會觸發主/備雙機系統的故障切換,從而實現主/備雙機系統的高可靠性運行。HSRP的工作原理簡單、有效,并可實現主/備雙機系統的負載均衡,具有很好的適應性,但是HSRP的固有特性也容易造成以下問題:
1)高頻率的發送/偵聽專用組播報文,容易造成數據通信設備CPU負載過大;
2)主/備雙機對開機順序和間隔較為敏感,容易造成數據通信設備初始工作狀態的混亂;
3)主/備雙機間的組播信息會泄漏至二層網絡中,容易造成交換網絡中組播信息的混亂。
通過采用全新的“虛擬交換系統”(VSS,Virtual Switching System)協議,可消除原有HSRP冗余協議可能造成的組播數據泛洪和初始狀態混亂的問題,實現前、后端數據通信設備的冗余雙機功能[3-4]。系統設計見圖2。
圖2 高可靠網絡架構示意圖
VSS協議通過2×10 GE帶寬將兩臺數據通信設備組合為單一的虛擬交換機。VSS雙機之間控制信息和數據信息的同步、故障檢測和自愈恢復的功能都是通過“虛擬交換鏈路”(VSL,Virtual Switch Link)所承載的“保持狀態切換”(SSO,Stateful Switchover)機制和“不間斷轉發”(NSF,Nonstop Forwarding)機制實現的,與HSRP協議的冗余備份機制完全不同。VSS雙機冗余架構中的一臺作為主用虛擬交換機,另一臺作為備用虛擬交換機,當主用虛擬交換機發生故障時,VSS雙機將自動實現控制層面、數據層面的快速切換,備用虛擬交換機能瞬時承擔全部路由、交換任務,從而構成高效的雙機冗余系統。基于VSS技術構建的前端虛擬交換系統與后端虛擬交換系統之間采用路由方式轉發數據,能夠提供8 GB帶寬的穩定數據通信容量(各分系統均單獨使用1 GB帶寬),后端各分系統之間的穩定數據通信容量為40 GB帶寬,比較現有網絡平臺的性能都有較大的增長。
組播是一種允許一臺主機一次同時發送單一數據分組到多臺主機的技術,是節省網絡帶寬,減輕數據源及交換機負擔的有效措施。由于新一代運載火箭地面設備均采用冗余設計,導致地面設備數量大,設備間信息交互多,信息流復雜,組播一發多收的優勢導致組播在新一代運載火箭得到大規模的應用,但是大量使用組播也會導致測發控網絡上數據量的大幅增長,因此對地面測發控網絡上組播進行有效的規劃與管理是保證地面測發控網絡正常運行的重要方面。
在傳統火箭地面測發控網絡組播設計中一般采用PIM-DM(Dense-Mode,密集模式)作為組播協議,此協議采用了“擴散/剪枝”機制,由反向路徑轉發RPF動態建立最短路徑樹SPT,用“推”模式,所有組播流量在整個網絡周期性泛洪,在不需要的地方進行修剪。由于此模式在全網絡進行泛洪,不論各個終端設備是否接收此組播,因此在組播數據量大的情況下可能造成網絡系統中流量過大,進而造成的交換機CPU資源耗盡。
通過采用PIM-SM協議的SSM(Source Specific Multicast,指定源組播)技術替換現有PIM-DM協議實現總控網內的組播數據通信。PIM-SSM有別于PIM-DM,數據以拉(主動接收)(DM是推,即被動接收)的方式接收,每一個組播都有確定的源和組播地址,組播從源到組播地址都是單一路徑,不存在“泛洪-裁剪”模式,所以從機制上杜絕了持續大量泛洪數據被CPU處理從而導致CPU利用率過高,進一步導致通信異常的可能[5-7]。
PIM-SSM協議在PIM-SM協議(Spare-Mode Multicast,稀疏模式)的基礎上發展而來,去掉了PIM-SM協議中規定的匯集點RP( Rendezvous Point )路由器,也省去了首先構建共享樹然后切換到最短路徑樹的過程,而是直接由接收者所在子網的DR路由器向上游路由器發送(S,G)加入/剪枝報文,從而建立從發送者到接收者的組播通道(channel),轉發組播數據,能夠使組播數據始終沿最短路徑樹轉發,提高通信效率。
同時在組播地址的設計中,,各系統組播地址進行統一規劃,按照分系統及業務功能進行劃分。組播規劃不僅能夠防止同一地址重復使用導致的IP地址沖突,誤使用預留組播地址導致的網絡不通,并且能夠避免組播IP地址復用導致的組播數據疊加等問題,進一步節省網絡帶寬,減輕交換機負擔,對地面測發控網絡的數據量進行了有效的控制。
運載火箭地面測發控網絡實現火箭各測發控設備的信息交互,為實現網絡通信故障的快速分析和定位,研制網絡監控系統。網絡監控系統的組成結構示意見圖3[8-10]。
圖3 網絡監控系統結構示意圖
網絡監控系統通過SNMP協議對火箭網絡交換機的狀態,包括CPU利用率、內存、網絡流量等信息進行獲取和分析,實現對網絡及終端工作狀態的監控。通過建立網絡拓撲編輯平臺,實現對網絡系統狀態的實時高效人性化呈現,包括設備的在線狀態、通知事件和告警,并可按條件進行查詢,極大地方便了用戶試驗后對整個網絡運行情況的分析,通過采用路徑分析技術,結合對網絡拓撲的架構對數據包特征進行識別,可以獲取每個信息的傳輸路徑和傳輸時延,實現對網絡數據的監控。
通過網絡監控技術,實現對全網絡的智能監控,實時呈現和鏡像數據抓包分析,在解決問題的能力和效率上具有顯著的優勢,從而保證了火箭地面測發控網絡的可靠性。
。
傳統火箭地面測發控網絡交換機一般采用HSRP冗余。本文就采用HSRP冗余和VSS冗余在不同故障情況下的故障切換時間進行了試驗測試。故障狀態包括:網絡交換設備故障和主干鏈路故障。試驗結果見表1。
表1 算法運行時間比較 ms
由表1分析可知:
1)在交換設備故障情況下,VSS冗余模式比HSRP冗余模式平均約提高65.2%、63.4%;
2)HSRP冗余方案和VSS冗余方案,在傳輸鏈路故障情況下,切換時間基本持平。
傳統火箭地面測發控網絡組播一般采用DM組播模式。通過采用DM組播和SSM組播方案在不同的組播數據工況下,測試了對交換機CPU資源的消耗。試驗結果見表2。
表2 DM模式及SSM模式下CPU資源消耗對比 %
由表2分析可知:
1)在系統組播量小時(40 Mbps),DM模式和SSM模式下CPU資源消耗皆在40%以下,對交換網絡無影響;
2)在系統組播量大時(100 Mbps),DM模式下CPU利用率達到94%以上,CPU資源消耗嚴重,交換網絡傳輸可能產生擁堵或中斷;而SSM模式下對CPU資源消耗仍維持在40%以下,保證交換網絡傳輸正常。
通過對火箭地面測發控網絡系統系統設計,采用了新一代火箭高可靠冗余網絡架構設計、高穩定性數據傳輸路由設計、高效率組播設計,有力提高了火箭地面測發控網絡的可靠性、安全性,為優化火箭測試發射流程起到關鍵作用。