一種高可靠網絡的設計與實現

（中國艦船研究設計中心，湖北 武漢 430064）

0 引言

當前，多應用系統實現網絡集成時，有環型、雙冗樹型、雙冗星型、簡單雙冗余環形與雙歸屬混合組網等多種結構。環形結構適用于語音視頻等傳輸網絡，可預計的橫向流量承載，當用于接入面向數據中心網絡的縱向流量匯聚網絡中時，大量從終端到云端的流量需要共用環網路徑，承載低效、擁塞和沖突明顯增多。簡單的樹形拓撲和樹形、環形混合拓撲，可以適應縱向匯聚的流量模型，但對于大規模橫向的分布式流量傳輸、端到端傳輸需要共用多個分支節點和共用鏈路。針對以上問題，本文提出一種高可靠網絡結構的設計，即以數據中心網絡作為基礎結構進行裁剪和擴展，小型網絡系統形成簡單的冗余星型結構，大型網絡系統形成交換多冗余核心的無阻塞分層架構。該高可靠網絡的架構可以滿足多應用系統集成需求，匹配流量的縱向匯聚與橫向MESH 特征；滿足系統使用維護中對于網絡系統設備的簡化、智能化和通用化需求；以通用的系統、簡化的協議、智能化的運維為目標，提高網絡集成應用和使用維護效率。

1 網絡集成方式的分析與設計

1.1 網絡技術體制分析

網絡的技術體制選擇，根據多業務系統集成時的網絡業務特征和網絡規模、物理布局的特點，以協議簡化、設備通用化、技術標準化和維護智能化為目標。

（1）基于傳輸網絡技術的多業務承載技術體制。在運營上網絡中，由業務和技術發展的延續性特征，從3G、4G 和5G 等網絡承載的多業務城域網建設中MSTPPTNOTNIP RAN 等傳輸網絡技術一直作為運營商承載多媒體網絡的主流技術。中國移動主推的以PTN 和以太網為基礎的SPN 技術，中國移動的4G 傳輸網是基于PTN 的，由于SPN 基于以太網傳輸架構，是PTN 傳輸方案的成果特性，SPN 基于以太網生態鏈，在光層敦促回收以太網化的光接口，在電層與通用電信級以太網應用共享芯片，達到較高的性價比。

（2）基于數據中心以太網的多業務承載技術體制。數據中心以太網是為了適應以云計算為代表的數據中心發展，在以太網和IP 基礎上得到的部分特征，如虛擬化、VxLAN、二層路由等技術。以簡化網絡層次、支持大規模擴展和網絡智能化、虛擬化為目標。在端口速率、技術成熟度方面發展較快。

（3）基于工業控制以太網的多業務承載技術體制。工業以太網是基于IEEE 802.3（Ethernet）具有強大功能的區域和單元網絡。基于國際電工委員會IEC 61784-2 國際標準的11 種工業以太網分別為：Ethernet/IP、PROFINET、P-NET/IP、INTERBUS TCP/IP、VNET/IP、TCnet、EtherCAT、Ethernet Powerlink、EPA、MODBUS-RTPS 和SERCOS-Ⅲ。企業內部互聯網、外部互聯網以及國際互聯網提供的廣泛應用，不但已經進入今天的辦公室領域，而且還可以應用于生產和過程自動化。

鑒于網絡信息的需求、物理特征和商用技術發展趨勢以及國產化基礎等因素，基于以上承載多業務系統網絡技術體制的分析，在網絡集成時得到以下的設計思想：應盡量采用統一的技術體制；應盡量采用統一的核心層、接入層兩層網絡結構；應盡量采用統一的網絡標準。

來實現數據中心網絡、多媒體網絡和工業控制網絡多種應用系統的網絡集成，從而使得網絡集成時網絡協議的簡化、設備通用化和標準化。

1.2 網絡集成方式分析

網絡設計需要考慮三個目標：一是網絡基礎設施必須可擴展到大量服務器，并允許增量擴展；二是網絡必須對各種類型的服務器故障、鏈接中斷或服務器機架故障具有容錯能力；三是網絡必須能夠提供較高網絡容量，以更好地支持帶寬需求服務。為此，我們在多應用系統網絡集成時設計了以下兩種網絡的實現方式：

（1）方式一采用核心層、接入層兩層網絡結構，實現數據中心網絡、多媒體網絡和工業控制網絡之間系統集成和互聯互通的環型拓撲結構。其中，核心層為環型結構網絡（圖1），接入層存在多個子網，且子網間仍有互通結構。使用多種網絡標準和技術體制，各網絡進行獨立的信息處理和冗余管理。

（2）方式二采用核心層、接入層兩層網絡結構，實現數據中心網絡、多媒體網絡和工業控制網絡之間系統集成和互聯互通的“立體”冗余的網狀型結構。其中，核心層采用“立體”冗余的網狀型結構網絡（圖2），具有較高冗余和故障條件下自愈能力。接入層中通信網絡取消子網，部分網絡取消部分子網，各子網間無互聯結構。

圖1 環型拓撲結構

圖2 “立體”冗余的網狀型結構網絡

方式一在網絡結構上，核心層都采用環網結構，接入層都存在多個子網，在網絡技術體制上，未實現完全統一；方式二在網絡結構上，核心層采用“立體”冗余的網狀型結構，相接入層中取消部分子網，網絡技術體制統一，網絡標準化程度較高。方式二相比方式一具有更高的容錯能力和自愈能力，因此，本文選用方式二來完成網絡集成的實現。

2 網絡集成方式設計

本文針對多應用系統網絡集成結構設計，以傳輸網絡技術和數據中心以太網為兩個典型應用進行集成設計，以數據中心網絡架構作為基礎架構，兩部分應用通過隔離設備在核心層實現一體化的互連的雙層結構，實現通信、視頻會議、遠程醫療和遠程教育等各類業務的信息共享和實時傳輸。由于多業務系統網絡需要具有高生命力、高可靠性、高帶寬、多業務的“三高一多”特性，因此，從使用需求和集成能力角度設計了圖3所示網絡集成的具體方式。

圖3 高可靠網絡布局圖

3 網絡集成方式驗證

為驗證多應用系統雙層結構網絡的合理可行性，我們搭建多業務系統網絡實驗環境，開展透明集成方式實驗、路由集成方式實驗進行了網絡單播、組播、吞吐率、時延及抖動、故障切換等網絡核心層集成能力的驗證。并對透明集成實驗、路由集成實驗分別進行OSPF 方式和IRF+OSPF 方式兩種方式的實驗，試驗具體集成配置方式如下：

（1）透明集成方式。在透明集成方式下，四臺多媒體應用核心網元和數據中心應用核心層交換機通過網絡隔離設備互聯的四個端口分屬不同網段，而位于網絡隔離設備兩端的分屬多媒體應用核心網元和數據中心應用核心層交換機的兩個端口屬于同一網段。在互連的每個接口上都運行OSPF 協議，具體實現方式如下：

①透明集成下全OSPF 方式。網絡隔離設備不參與數據中心應用和多媒體應用之間的路由或二層協議計算，但具備鏈路的故障檢測和故障傳遞功能（當接入一側的網絡鏈路發生故障時，能自動關閉對應側網絡鏈路，即故障傳遞到另一側網絡）。在數據中心應用內部、傳輸應用內部、數據中心應用和傳輸應用之間均采用OSPF 協議交換單播路由信息，實現三層互通和故障切換，通過PIM-SM 協議交換組播路由信息。

②透明集成下IRF+OSPF 方式。網絡隔離設備不參與數據中心應用和多媒體應用之間的路由或二層協議計算，但具備鏈路的故障檢測和故障傳遞功能。在數據中心應用內部用IRF（Intelligent Resilient Framework，智能彈性框架）技術，多媒體應用內部、數據中心應用和多媒體應用之間采用OSPF 協議交換單播路由信息，實現三層互通和故障切換，通過PIM-SM 協議交換組播路由信息。

（2）路由集成方式。在路由器集成方式下，多媒體應用核心網元、數據中心應用核心層交換機、網絡隔離設備的每個互連接口都工作在三層接口模式下，每一條物理鏈路對應劃分為1個IP 子網。在互連的每個接口上都運行OSPF 協議。

①路由集成下全OSPF 方式。網絡隔離設備作為數據中心應用與多媒體應用之間雙向多媒體的出口路由，參與數據中心系統核心層交換機和多媒體應用核心網元的路由計算。在數據中心應用內部、多媒體應用內部、數據中心應用和多媒體應用之間均采用OSPF 協議交換單播路由信息，實現三層互通和故障切換，通過PIMSM 協議交換組播路由信息。

②路由集成下IRF+OSPF 方式。網絡隔離設備作為數據中心應用與多媒體應用之間雙向傳輸的出口路由，參與數據中心系統核心層交換機和多媒體應用核心網元的路由計算。在數據中心應用內部用IRF 技術，多媒體應用內部、數據中心應用和多媒體應用之間采用OSPF協議交換單播路由信息，實現三層互通和故障切換，通過PIM-SM 協議交換組播路由信息。在數據中心應用內部采用IRF 技術，將數據中心應用核心層交換機H1、H2虛擬化成一臺邏輯設備，H3、H4虛擬化成一臺邏輯設備，實現設備協同工作和統一管理。數據中心應用與多媒體應用之間的數據信息主要經過數據中心應用核心層交換機H1、H2，視頻信息主要經過數據中心應用核心層交換機H3、H4。

4 網絡集成驗證結果分析

4.1 網絡實驗重點問題

由于網絡結構上，核心層采用“立體”冗余的網狀型結構，相接入層中取消部分子網，為驗證多應用系統雙層結構網絡的合理可行性和自愈能力，選取網絡核心層生存性、重組能力為實驗重點。當任意一臺核心層網絡設備（數據中心應用核心層交換機或多媒體應用核心網元或網絡隔離設備）發生故障時，網絡傳輸業務的通信中斷恢復時間≤1 s；當任意一根網絡核心層互聯鏈路（數據中心應用核心層交換機和網絡隔離設備互聯鏈路、多媒體應用核心網元和網絡隔離設備互聯鏈路）發生故障時，網絡多媒體業務的通信中斷恢復時間≤1 s。

4.2 網絡實驗的結果分析

數據中心應用核心層集成驗證試驗，在不同集成模式下相同試驗項目測試結果對比分析如下：

（1）網絡單播組播測試。透明集成方式、路由集成方式下網絡的單播組播功能均正常，可以開展后續實驗測試。

（2）吞吐率測試。在透明集成方式、路由集成方式下，數據中心應用和多媒體應用間連接速率均為10 Gb/s 時，傳輸報文幀長為1 518字節的條件下，透明集成方式和路由集成方式吞吐率都為98.75%，傳輸報文幀長為521字節、128字節的條件下，路由集成方式比透明集成方式的吞吐率略優。

（3）網絡時延測試。由于多媒體應用接入網元接入板為100 Mb/s，所以此項測試在100 Mb/s 背景環境下測試。從數據中心應用和多媒體應用之間端到端時延和時延抖動的最大值、最小值和平均值來看，路由集成方式比透明集成方式的時間略優。

（4）網絡單節點故障恢復實驗。單播、組播多媒體傳輸時，在全OSPF 和IRF+OSPF 實驗環境中，透明集成方式和路由集成方式下的數據中心應用核心交換機和多媒體應用核心網元之間單節點故障恢復時間最小值均為0 ms，透明集成方式下的最大值比路由集成方式下的最大值單節點故障恢復時間較少，平均值也較少。其中，當W1故障時，單播、組播正常切換，但在5 min 后，會出現700 ms～1 s 左右不等的組播丟包現象。綜合分析實驗結果得出，透明集成方式下全OSPF 配置時單節點故障恢復時間略優。

（5）網絡單鏈路故障恢復實驗。單播、組播多媒體傳輸時，在全OSPF 和IRF+OSPF 實驗環境中，透明集成方式和路由集成方式下的數據中心應用核心交換機和多媒體應用核心網元之間單鏈路故障恢復時間最小值均為0 ms。單播多媒體傳輸時，在全OSPF 和IRF+OSPF實驗環境中，透明集成方式下的最大值比路由集成方式下的最大值單鏈路故障恢復時間較少，平均值也較少。組播多媒體傳輸時，在全OSPF和IRF+OSPF實驗環境中，透明集成方式下的最大值比路由集成方式下的最大值單鏈路故障恢復時間較大，而平均值卻較少。綜合分析實驗結果得出，透明集成方式下全OSPF 配置時單節點故障恢復時間略優。

從試驗數據上看，采用透明方式實現核心層集成時，指標較優，同時考慮到路由方式需要網絡隔離設備具備三層路由交換功能，增大網絡隔離設備實現難度和開銷，優選透明集成方式。

4.3 網絡實驗的結論

4.3.1 高可靠網絡核心層集成方式

通過開展透明集成方式實驗、路由集成方式實驗，對網絡單播、組播、吞吐率、時延及抖動、故障切換等網絡核心層集成能力的驗證。通過試驗優選了透明集成方式，驗證了多應用系統雙層結構網絡合理可行性，網絡核心層集成能力能夠滿足“三高一多”特性。

4.3.2 多業務一體化網絡核心層集成功能和性能

根據實驗結果確定適合網絡核心層集成的功能性能指標如下：

（1）數據中心應用和傳輸應用之間具備單播和組播報文傳輸功能。

（2）核心層交換機和核心網元之間互聯鏈路速率為10 Gb/s。

（3）核心層交換機和核心網元之間的網絡吞吐率≥9 Gb/s。

（4）網絡實時性保證能力。高可靠網絡全網端到端最大網絡延時≤2ms（鏈路負載≤70%，網絡設備級數≤6級）；高可靠網絡全網端到端延時抖動≤1ms（鏈路負載≤70%，網絡設備級數≤6級）。網絡設備包含核心層交換機、核心網元、網絡隔離設備、數據中心應用接入層交換機、傳輸應用接入網元等。

（5）網絡核心層生存性、重組能力當任意一臺核心層網絡設備發生故障時，網絡傳輸業務的傳輸中斷恢復時間≤1 s；當任意一根網絡核心層互聯鏈路發生故障時，網絡傳輸業務的傳輸中斷恢復時間≤1 s。

5 未來發展方向

未來的網絡結構仍采用核心層、接入層兩層網絡結構，實現多個關鍵應用系統集成。其中，核心層為“立體”網格狀結構（圖4），能保證網絡基礎設施在最高冗余和故障條件下最強的自愈能力。接入層取消子網，提供更小，更標準化的透明接口。全網技術體制統一，網絡標準化程度更高，能實現網絡無所不在的透明傳輸能力。

6 結束語

本文對集成結構的網絡分析，針對以數據中心網絡，多媒體網絡和工業控制網絡的多應用系統信息傳輸的需求，提出一種以數據中心的高可靠網絡結構，核心層采用“立體”冗余的網狀型結構網絡，具有較高冗余和故障條件下自愈能力，為高可靠網絡優化設計提供了技術支撐。