基于分布式SDN的機動通信系統拓撲發現方法

朱宇昂, 趙亞麗,*, 赫佳巒, 張晨光, 吳朝軍, 賈曉曉

(1. 北京航天晨信科技有限責任公司, 北京 100854;2. 火箭軍裝備部駐北京地區第七軍事代表室, 北京 100037)

0 引 言

相比基于傳輸控制協議/網際協議(transmission control protocol/Internet protocol, TCP/IP)網絡的傳統機動通信系統[1],基于分布式軟件定義網絡(software defined network,SDN)[2-4]的機動通信系統具備集中處理控制邏輯、控制面轉發面分離、靈活操控數據流、部署速度快、資源利用率高、運維管理便捷等優點,是未來機動通信系統的發展趨勢[5-7]。然而在應用分布式SDN到機動通信系統的過程中[8-9]產生了一些問題,拓撲發現就是其中一個關鍵問題。

對機動通信系統而言,準確地發現網絡拓撲是開通機動通信網絡的必要前提,對分布式SDN來說,在拓撲發現時準確地收集信道種類、網絡類型、信道帶寬等網絡信息是進一步實現其他網絡功能的必要基礎。然而由于網絡架構的改變,分布式SDN網絡和TCP/IP網絡的層次劃分不同、網絡運行時需要的網絡信息不同、報文格式和數據處理流程不同,因此基于TCP/IP網絡協議的拓撲發現方法均不能直接應用于分布式SDN網絡。也就是說,準確發現網絡拓撲是應用分布式SDN到機動通信系統的前提,而目前缺少合適的拓撲發現方法[10]。

基于上述分析,本文分析了機動通信系統的網絡特點,對主流SDN網絡、傳統網絡的拓撲發現方法進行了研究,對TCP/IP網絡的開放最短路徑優先(open shortest path first,OSPF)協議進行了優化,提出了一種適合基于分布式SDN的機動通信系統的拓撲發現方法,并搭建仿真實驗平臺進行功能驗證,為后續路徑規劃、流量隔離、負載均衡等上層SDN功能提供支撐。

1 拓撲發現方法研究現狀

1.1 機動通信系統網絡特點

基于分布式SDN的機動通信系統通常由數十個機動節點組成,按照節點在系統內的指揮關系分為一級節點、二級節點、三級節點等,各級節點按照指揮關系構建為胖樹結構,每個機動節點搭載SDN控制器、SDN交換機、主機以及語音終端、區域寬帶(自組網模式)、超短波電臺(背負模式)等設備。這類基于分布式SDN、由移動節點構成的Ad Hoc網絡通常被稱為軟件定義移動自組網(software defined mobile Ad Hoc networking,SD-MANET)。每個節點的車內設備通過有線介質接入交換機構成車內局域網,節點與節點之間可通過光纖、被復線等有線介質或區域寬帶、超短波等無線介質構成車間局域網,各個節點均具備展開通信網絡的能力,不共用同一無線信道。

車內局域網拓撲簡單且設備連接關系固定,相對容易發現;車間局域網具備點對點信道與廣播信道共存、網絡拓撲狀態變化頻繁等特點,拓撲發現難度較大。車內、車間局域網共同構成了機動通信系統的全網拓撲,本文主要解決車間局域網拓撲發現問題。

綜上所述,本文以三級機動通信系統為例說明研究內容,一個由7個節點組成的1∶2∶2的三級機動通信系統如圖1所示,方框內表示節點攜帶的設備。

圖1 三級機動通信系統示意圖Fig.1 Schematic diagram of a three-stage mobile communication system

1.2 SDN拓撲發現方法研究現狀

最早的OpenFlow拓撲發現算法(OpenFlow discovery protocol, OFDP)由NOX控制器最先提出[11]。NOX基于鏈路層發現協議(link layer discovery protocol, LLDP)和OpenFlow協議形成了OFDP算法。隨著研究深入,OFDP算法主要在降低控制開銷和提升網絡安全性兩方面得到了進一步發展。

減少Packet_in和Packet_out消息數量可以降低控制開銷,例如OFDP version 2(OFDPv2)[12]將OFDP算法向每個交換機的每個端口各發一條Packet_out消息縮減為向每個交換機發一條,TEDP(tree exploration discovery protocol)[13]在OFDPv2的基礎上,將向每個交換機發送一條Packet_out消息進一步縮減為向整個網絡的源頭交換機發送一條。此外,SD-TDP(topology discovery protocol for SDN)[14]和eTDP(enhanced topology discovery protocol)[15]基于分層代理的思想通過減少直接與控制器交互節點的數量降低控制開銷,OFDP-PD(OFDP-port detection)[16]通過標記并檢索已發現的端口避免對同一路徑的重復發現,從而降低控制開銷。

網絡安全方面,文獻[17]指出OFDP算法存在包括易受LLDP洪泛攻擊在內的4種安全漏洞。文獻[18]在此基礎上提出sOFTDP(secure and efficient OpenFlow topology discovery protocol),杜絕了控制器受到LLDP洪泛攻擊等危害的可能。SLDP(secure and lightweight link discovery protocol)[19]通過創建合法端口列表來避免攻擊。

上述以OFDP算法為代表的拓撲發現算法均是基于LLDP協議發展而來的,能夠完成車內局域網簡單網絡的拓撲發現,但是針對車間局域網拓撲發現存在以下問題,① 不能適應有線信道、無線信道共存,點對點信道、廣播信道混和的復雜網絡環境;② 缺少可靠的信息同步機制;③ LLDP幀的可擴展性不好,難以根據需求拓展專用報文。

1.3 機動通信系統拓撲發現方法研究現狀

傳統機動通信系統的拓撲發現方法主要基于LLDP[20]、生成樹協議(spanning tree protocol, STP)[21]、OSPF協議[22]等,其中應用最廣泛的是OSPF協議。OSPF協議是鏈路狀態路由協議,工作在網絡層,常用于在自治系統(autonomous system, AS)內規劃路由,通過捕獲OSPF協議的鏈路狀態信息(link state advertisement, LSA)可以實現不注入額外流量被動探測網絡拓撲的功能。

OSPF協議最初被應用于大型有線網絡,近年來憑借能夠適應點對點、廣播、點對多點以及非廣播多路訪問(non-broadcast multiple access, NBMA)等多種網絡,吞吐量高、可擴展性好、有可靠同步機制等優點[23]在無線網絡也得到了一定程度的應用[24],并被證明在有線無線網絡混雜的復雜網絡環境下具備較好的性能表現[25]。文獻[26-27]向標準SDN網絡引入了OSPF協議,說明OSPF協議具備適應SDN網絡的能力。

基于上述分析,OSPF協議能夠滿足車間局域網拓撲發現的大部分需求,然而由于機動通信系統需要節省無線信道帶寬、網絡拓撲狀態變化頻繁,OSPF協議仍存在控制開銷較高、收斂速度慢、對拓撲變化響應不靈敏、缺少收集網絡信息功能等問題。因此,本文對OSPF協議進行優化,使OSPF協議適應于分布式SDN網絡,降低協議控制開銷和協議處理時間,并增加收集信道種類等網絡信息的協議功能,實現機動通信系統車間局域網拓撲發現功能,并使其具備同步車內局域網發現結果形成全網拓撲的能力。

2 OSPF協議優化方案

基于OSPF協議的拓撲發現原理是:協議報文按照協議狀態機運轉完成建立鄰接、洪泛信息等功能,協議報文通過封裝LSA傳遞網絡拓撲信息,最后通過拓撲發現算法處理拓撲信息得到網絡拓撲。因此,本節依次從協議狀態機、協議報文、LSA以及拓撲發現算法4個部分說明優化方案。

2.1 OSPF協議狀態機優化

OSPF協議的通用狀態機考慮了點對點網絡、廣播網絡、點對多點網絡以及NBMA 4種類型。機動通信系統使用的光纖、被復線屬于點對點網絡,區域寬帶、超短波、衛星通信等介質屬于廣播網絡,不存在點對多點網絡和NBMA。因此,本文刪去與點對多點網絡和NBMA相關的Attempt狀態、Attempt狀態與Down狀態和Init狀態的轉換關系、事件Start及其相關動作。精簡后的狀態機可如狀態轉移模型描述:

(1)

式中:Si和Si+1分別表示狀態i和狀態i+1;Ej表示當前觸發的事件;Dk表示觸發當前事件的條件;Ai表示Si狀態所執行的動作集;f(·)表示Si和Si+1之間的映射關系;g(·)表示Ai和Ej+1之間的映射關系。狀態機的轉換原理是:狀態機處于Si狀態時在Dk條件下受到事件Ej的觸發轉變為狀態Si+1并執行動作集Ai中的動作,該動作在Dk條件下產生了新的事件Ej+1,達到了新的條件Dk+1,促使狀態機進行下一次狀態轉換。狀態Si、事件Ej、觸發條件Dk定義分別如表1和表2所示。狀態機提供可靠的洪泛機制和保證建立連接可靠性的協商機制,精簡狀態機有助于降低OSPF協議復雜度,能夠降低協議控制開銷和協議處理時間,精簡后的狀態機轉換示意圖如圖2所示。

表1 狀態Si列表Table 1 Status Si list

表2 事件Ej和觸發條件Dk列表Table 2 List of event Ej and condition Dk

圖2 精簡狀態機轉換圖Fig.2 Condensed state machine transition diagram

2.2 OSPF協議報文優化

OSPF協議報包括Hello包、數據庫描述包(database description,DD)、鏈路狀態請求包(link state request,LSR)、鏈路狀態更新包(link state update,LSU)以及鏈路狀態確認包(link state acknowledgment,LSAck)5種。5種協議報文頭部格式相同,如圖3所示,關鍵字段解釋如表3所示。

表3 協議報文頭部字段解釋Table 3 Description of the protocol packet header field

圖3 標準OSPF協議報文頭部Fig.3 Standard OSPF packet header

對報文頭部的優化包括對報文的移植與縮減兩方面。移植方面,將標準頭部中32 bit的路由器標識Router Id修改為由2Byte SDN交換機dpid和2Byte端口標識interface_index組成的SDN節點標識?？s減方面,縮短版本、報文類型字段長度,再將OSPF協議默認為單區域機制并刪去區域標識,最后使用1Byte的循環冗余校驗(cyclic redundancy check,CRC)校驗和代替OSPF驗證類型和驗證域。優化后報文頭部如圖4所示。

圖4 精簡后OSPF協議報文頭部Fig.4 OSPF packet header after thin provisioning

對5種協議報文內容的優化主要集中在鏈路狀態類型LS Type、鏈路狀態標識Link State Id、宣告路由器Adervertising Router等字段,對這些字段的優化也包括移植與縮減兩方面。移植方面,將使用32 bit IP地址的LS Type和Link State Id均改為由2 Byte SDN交換機dpid和2 Byte端口標識interface_index組成的SDN節點標識。縮減方面,根據使用的LSA數量將32 bit的LS Type縮減為4 bit。

上述措施完成了5種OSPF協議報文的優化。優化后的OSPF協議實現了由TCP/IP網絡到分布式SDN網絡的移植,去除報文中的IP地址相當于將OSPF協議由網絡層搬移到了數據鏈路層,提高了OSPF協議的穩定性,且優化后的OSPF協議報文大大縮短,能夠有效降低協議控制開銷和協議處理時間。

2.3 OSPF協議報功能優化

基于OSPF協議的拓撲發現使用的LSA主要有Router-LSA和Network-LSA兩類[13,21]。Router-LSA描述了每個節點的連接關系,存在廣播網絡時Network-LSA由廣播網絡中的指定節點產生,描述該網絡中與指定節點建立連接的全部節點,通過遍歷上述LSA可以得到完整的網絡拓撲。但標準的Router-LSA和Network-LSA中不包括信道種類、網絡類型、信道帶寬等信息,也不包括車內局域網設備的信息,例如主機和語音終端的物理地址等。

本文從增加功能和縮減報文兩個方面優化了LSA。增加功能方面,給Router-LSA增加了信道類型、信道種類、信道帶寬等字段,并設計了專門用于同步車內局域網終端設備信息的Router-Ex-LSA?？s減報文方面,分別縮減了兩類LSA的報文頭部和報文內容。優化后的3類LSA分別如圖5、圖6和圖7所示,3種LSA的部分關鍵字段解釋如表4所示。優化后的LSA增加了收集信道種類等網絡信息的功能。

表4 LSA關鍵字段解釋Table 4 Description of the key fields of LSA

圖5 Router-LSA示意圖Fig.5 Router-LSA diagram

圖6 Network-LSA示意圖Fig.6 Network-LSA diagram

圖7 Router-Ex-LSA示意圖Fig.7 Router-Ex-LSA diagram

2.4 拓撲發現算法設計

分布式SDN數據通路如圖8所示,以控制器C1洪泛拓撲信息給控制器C2為例,C1通過南向OpenFlow協議Packet_out消息傳遞OSPF協議報文至交換機S1,S1將Packet_out消息轉發至對端交換機S2,S2只下達匹配對應消息的流表,在以Packet_in消息將OSPF報文上報至C2的同時保證OSPF報文只傳播一跳,杜絕拓撲環路造成廣播風暴的可能。至此,C2獲得了C1掌握的全部網絡拓撲和網絡信息。經過全網洪泛后,任意節點的控制器都具有機動通信系統的全網拓撲和網絡信息。

圖8 分布式SDN數據通路示意圖Fig.8 Schematic diagram of distributed SDN data pathway

獲取拓撲信息后,遍歷Router-LSA、Network-LSA、Router-Ex-LSA可以得到全網拓撲,拓撲發現算法如圖9所示。

圖9 拓撲發現算法流程圖Fig.9 Flowchart of topology discovery algorithm

3 仿真驗證與結果分析

3.1 仿真平臺設計與搭建

本文借助表5所示軟件搭建仿真驗證平臺,按照圖1所示三級胖樹結構分別搭建TCP/IP網絡和分布式SDN網絡,網絡規模分別為1∶2∶2、1∶2∶4、1∶3∶4、1∶4∶4、1∶4∶6、1∶4∶8等,TCP/IP網絡運行基于標準OSPF協議的拓撲發現方法,分布式SDN網絡運行優化后的拓撲發現方法。

表5 仿真實驗軟件Table 5 Simulation experiment software

TCP/IP網絡仿真使用Cisio Packet Tracer軟件,該軟件能夠模擬真實路由器、主機、高速鏈路等網絡設備,并且支持使用命令行、網絡報文分析器、協議數據單元(protocol data unit, PDU)生成器等調試工具,如圖10所示。

圖10 TCP/IP網絡仿真示意圖Fig.10 TCP/IP network simulation diagram

本文按照圖11構建了分布式SDN網絡仿真平臺,通過OpenvSwitch[28]腳本配合bridge、veth peer、ip link等軟件在Linux環境下虛擬了SDN交換機,構建了分布式SDN網絡,借助Docker容器和開源控制器OpenDayLight[29-30]在Linux環境下模擬了機動通信系統控制器群,在其中兩個交換機下掛載主機用于模擬車內局域網,并通過IP橋接連接到Wireshark和Postman,前者用于抓取網絡報文,后者用于獲取拓撲發現結果以及網絡信息。其中,OpenDayLight控制器除部署本文提出的拓撲發現算法外,還運行原生OFDP算法用于發現車內局域網,發現的結果由Router-Ex-LSA同步。

圖11 分布式SDN仿真架構Fig.11 Distributed SDN simulation architecture

3.2 仿真結果與分析

本文選取了表6所示指標來衡量拓撲發現方法。

表6 仿真驗證測量指標Table 6 Simulation to verify the measurement index

圖12和圖13分別對比了TCP/IP網絡和分布式SDN網絡的建鏈時間和重新收斂時間?？梢钥闯?兩種網絡的建鏈時間和重新收斂時間都隨網絡規模的擴大保持輕微上升的趨勢,但是SDN網絡的建鏈時間相比TCP/IP網絡縮短了80%,重新收斂時間顯著低于TCP/IP網絡,并且時間波動較小。

圖12 建鏈時間Fig.12 Link establishment time

圖13 重新收斂時間Fig.13 Relink time

圖14和圖15分別對比了建鏈時間內TCP/IP網絡和分布式SDN網絡收發包數和收發字節數的關系。可以看出,兩種網絡的收發包數和收發字節數隨網絡規模擴大的變化趨勢保持一致,但是在收發包數基本相同的情況下,分布式SDN網絡的收發字節數明顯低于TCP/IP網絡,平均接收字節數、發送字節數分別下降了31.7%和21.5%。

圖14 建鏈時間平均收發包數Fig.14 Average number of packets received and sentduring chain establishment time

圖15 建鏈時間內平均收發字節數Fig.15 Average number of bytes sent and receivedduring the establishment time

圖16對比了TCP/IP網絡和分布式SDN網絡拓撲發現方法的維持開銷,可以看出,在每分鐘平均收發包數幾乎相同的情況下,SDN網絡產生的維持開銷遠小于TCP/IP網絡,平均每秒收發字節數降低了45%。證明優化后OSPF協議控制開銷和協議處理時間大大減小。

圖16 網絡拓撲維持開銷Fig.16 Maintaining network topology overhead

圖17所示數據是一條Json格式的節點連接關系,包括連接出發節點標識start_node_id、目標節點標識end_node_id、出發端口start_port、目標端口end_port、信道種類channel_type等拓撲信息。圖18所示數據是Json格式的節點統計信息和節點掛載終端信息,其中統計信息來自OpenDayLight控制器,終端信息來自拓撲發現,包括MAC地址等信息。證明優化后OSPF協議適應于分布式SDN網絡,能實現拓撲發現功能和OSPF協議的增加功能。

圖17 節點間連接關系Fig.17 Links between nodes

圖18 節點下掛載終端信息Fig.18 Information about terminals mounted to nodes

本文針對1∶2∶2、1∶2∶4、1∶3∶4、1∶4∶4、1∶4∶6、1∶4∶8等6種規模網絡驗證拓撲發現效果,并通過圖19所示配置模擬有線、無線信道共存,點對點信道、廣播信道混和的網絡環境:該節點端口12連接有線、點對點通信介質光纖,端口13連接無線、廣播通信介質區域寬帶,且拓撲探測間隔為10 s。該配置在OpenDayLight控制器初始化階段生效,對應OpenvSwitch腳本中的節點連接狀況。此外,無線信道的帶寬被限制小于250 Byte。

圖19 拓撲發現實驗關鍵配置Fig.19 Key configuration of topology discovery experiment

為方便比對結果,本文以1∶2∶4拓撲為例,將拓撲發現結果圖形化如圖20所示,黑色實線代表光纖,紅色實線代表區域寬帶,節點均連接到圖片中央的二層交換機僅表示各個節點由區域寬帶連接到同一廣播域,實際區域寬帶等無線廣播信道不存在該設備。除樹形拓撲外,本文方案也可用于發現規模相當的任意拓撲,對隨機生成的拓撲發現結果如圖21所示,經驗證拓撲發現均準確無誤。

圖20 1∶2∶4網絡拓撲發現結果Fig.20 1∶2∶4 network topology discovery view

圖21 隨機生成拓撲發現結果Fig.21 Discovery results of stochastic topology

本文對6種規模樹形拓撲和隨機生成拓撲各重復10次實驗,共70次實驗后仿真結果如表7所示,可知優化后的OSPF協議能夠準確發現網絡拓撲,本文方案具有有效性。

表7 拓撲發現正確率Table 7 Correct rate of topology discovery

本文用信道丟包率反應節點的機動性,例如移動、距離、障礙物遮擋等因素對無線信道的影響綜合,并以1∶2∶4拓撲為例對比了不同丟包率信道下的建鏈時間。實驗結果如圖22所示,仿真表明,建鏈時間隨丟包率增大而增大,表明移動雖然影響算法性能,但是最終仍然能達到收斂狀態。

圖22 不同丟包率下建鏈時間Fig.22 Link establishment time under different packet loss rate

4 結束語

由于對網絡信息需求的不同以及網絡架構的改變,基于TCP/IP網絡協議的拓撲發現方法不能直接應用于基于分布式SDN的機動通信系統。本文對OSPF協議進行了優化,使OSPF協議適應于分布式SDN網絡,降低了協議控制開銷和協議處理時間,增加了協議功能,并在此基礎上提出了一種基于OSPF協議的拓撲發現方法。仿真實驗表明,優化后的OSPF協議建鏈速度更快,重新收斂時間更短,建鏈開銷更小,維持開銷更少,能夠正確發現網絡拓撲,是一種適合基于分布式SDN的機動通信系統的拓撲發現方法。

本文雖然減少了協議的控制開銷,但在窄帶等信道資源較少的無線網絡中的應用仍會受到限制,因此如何進一步降低控制開銷,如何利用拓撲發現獲取到的網絡信息實現路徑規劃、負載均衡、信道切換、流量隔離等功能將是下一步的研究內容。