基于光纖通道多網融合系統的設計與實現

施海鋒，潘 奇

(南京電子技術研究所， 南京210039)

0 引言

大型軍用電子裝備內的通信網絡是一個復雜多樣的異構系統，包含了以太網TCP/IP協議、RapidIO協議、光纖通道協議等，這些網絡形式各具特點，是一種共存發展的關系。不同的總線協議在傳輸帶寬、拓撲結構、單元格式和大小、流控機制等都不相同，并定義了各自的尋址方式和尋址能力。不同總線之間的交聯需要各種網關，不僅增加系統的復雜性，還降低了系統的可靠性和實時性。為取得好的效費比，大型電子系統中趨向于使用單一類型的統一網絡技術來完成網絡間的融合，在異構的網絡環境中提供統一的業務，并且保留系統異構的特征［1］。

1 應用背景

某軍用電子裝備中的通信網絡涉及了信號處理機、數據處理機、顯示計算機、預處理機與控制器等若干子系統，各子系統因硬件平臺不同而采用了不同的通信總線協議，比如信號處理機采用了RapidIO接口;顯示計算機使用以太網接口;控制器使用了光纖通道;預處理機則使用了基于RocketIO的用戶自定義協議等。如前所述，為保障各子系統之間的高效互聯，選擇合適的統一網絡構建融合網絡是非常必要的。

統一網絡應適用局域網的網絡標準，一般性要求包括:高帶寬、低延遲、可伸縮性、可靠性、實時性與確定性。對于軍用系統來說，還必須技術成熟并可滿足軍用苛刻環境要求。

光纖通道(Fiber Channel，FC)是美國國家標準委員會(ANSI)標準，同時具備基于通道的確定性高速傳輸和基于網絡的路由傳輸功能，上層協議豐富，尤其適合子系統間的高速信息傳輸，已成為分布式、多協議高速局域網絡的最佳選擇之一。FC提供了一組可在航空電子環境中應用的協議子集，即FC-AE(Fiber Channel-Avionic Environment)，它能為復雜軍用綜合電子信息系統提供高可靠性、高容錯性和確定的行為，以支持實時的控制和響應以及大數據量的傳輸［2］。其作為一項新技術首先應用在美國F35飛機中，管理系統、綜合射頻和綜合核心處理機等3個關鍵互連領域中實現了整個航電系統的單一網絡。光纖通道具有相對千兆乃至萬兆以太網更高的傳輸速率，對于軍用電子裝備的中等規模通信網絡而言，光纖通道更全面地適應了統一網絡的廣泛性要求。因此，在該軍用電子裝備中基于光纖通道(運行FC-AE子集)開展多協議網絡的融合設計，其抽象模型如圖1所示。

圖1 多協議網絡融合抽象模型

2 協議分析

開放式系統互聯模型(OSI)是國際標準化組織(IOS)提出的一個概念性框架，是不同制造商的設備和應用軟件在網絡中進行通信的標準。它的最大優點是將服務、接口和協議這3個概念明確地區分開，通過層次化的的結構模型使不同系統、不同網絡之間實現可靠的通信。OSI共分為7層:應用層、表示層、會話層、傳輸層、網絡層、數據鏈路層和物理層。目前使用的大多數網絡通信協議都是基于OSI模型，但會根據自身協議特點做一定的適應性改進。

TCP/IP協議數據的傳輸基于4層結構:應用層、傳輸層、網際層和網絡接口層。每層協議都相對獨立，把數據分為報頭和數據包，報頭包含與本層相關的控制信息，數據包是從上一層傳下來的數據，每一層把上一層的數據作為數據包，再加上本層的控制信息，交給下一層處理。TCP/IP協議是Internet協議族，包含上百個各種功能的協議。目前通用的協議解析方法是由處理器軟件完成，針對特殊應用場合的簡化協議可以由硬件完成。

FC功能層次如圖2所示。

圖2 FC協議分層

FC-0:此層描述物理接口，它包括傳送介質、發射機和接收機及其接口，規定了收發器和各種物理媒介的光電參數。

FC-1:編碼和同步層，采用8/10 bit編碼。部分具有特殊特性的沒有使用的編碼點被用來組成特殊字符，以形成信令和幀描述的有序集。

FC-2:此層是信號傳輸協議層，它規定了數據塊端到端的傳輸機制。FC-2提供不同類型的服務功能，要傳輸的數據應由FC-4層根據需要選擇并規定，對FC-2層是透明的。

FC-3:此層為一些高級特性提供了所需要的通用服務。

FC-4:此層是FC協議的最高層，它規定了上層協議到FC協議的映射，不包括上層協議。

當前映射的協議有:小型計算機系統接口(SCSI)、高性能并行接口(HIPPI)、INTERNET協議(IP)、IEEE802.2、單字節命令碼集映射(SBCCS)等。

RapidIO互連定義包含兩類技術:面向高性能微處理器及系統互連的ParallelRapidIO接口;面向串行背板、DSP和相關串行控制平面應用的SerialRapidIO接口。串行RapidIO更符合互連技術的發展趨勢，應用更為廣泛，本文所涉及的RapidIO專指串行RapidIO(sRIO)。

RapidIO采用3層分級體系結構，即邏輯層、傳輸層和物理層構成，如圖3所示［3］。邏輯層規范位于最高層，定義了協議參數和包的格式，為端點器件發起和完成事物提供必要的信息。傳輸層規范位于中間層，定義RapidIO地址空間和在端點器件間傳輸所需的路由信息。物理層規范在整個分層結構的底層，包括器件接口的細節，如包傳輸機制、流量控制、電氣特性和低級錯誤管理等。

圖3 RapidIO協議分層

FC協議與RapidIO協議標準體系的層次化結構簡單，均可以實現基于硬件的高性能可靠數據傳輸。XILINX等公司推出了RapidIO IP和FC IP，可基于大規模的可編程門陣列(FPGA)完成FC與RapidIO的協議解析，具備高效、穩定的優點。

3 系統設計

3.1 網絡融合設計

為實現基于FC的可承載RapidIO、TCP/IP等協議的多網絡融合，主要需解決兩個問題:

(1)如何保證系統的異構性，在不破壞各子網協議的同時，有效地跨網絡尋址。

(2)如何實現TCP/IP、RapidIO、FC-AE不同協議之間的互相承載與高效傳輸。

在遵循和保留FC、RapidIO、以太網等子網協議的前提下，通過全局的統一命名、統一地址映射和地址解析服務可實現跨網絡互聯。系統中的所有端口均在FC主干網絡里獲得唯一的名稱，并同時注冊到FC、RapidIO、以太網三個網絡中。所有的地址映射信息組成一個地址映射表，具體形式如表1所示。映射表的大小受限于硬件的存儲空間，可達到上萬個端口，但映射表的過大，將導致FPGA邏輯命名尋址時的速度下降，從而影響協議轉換的實時性。因此，可將實時性要求較高的端口進行歸類，將其存儲在指定的空間，方便FPGA邏輯以最快的速度查詢。

表1 地址映射表

3.2 橋接模塊

橋接模塊是跨網絡尋址與不同協議轉換的執行單元，實現了不同網絡之間的分離，避免了不同網絡之間可能出現的管理權、安全性、以及性能的問題。橋接模塊作為一種網關設備屏蔽了其他協議的可見性，各子網在運行過程中不需要關心其他子網的拓撲結構及運行情況。

橋接模塊針對不同協議的特點，通過硬件IP核加速技術和軟硬件協同設計技術高效實現各子網之間的無縫橋接與協議轉換。如圖4所示，該模塊主要包括大規模FPGA、PowerPC處理器及以太網接口等組成，最多可滿足8路FC-AE與4路千兆以太網、2路X4 RapidIO、若干路RocketIO接口等的協議轉換，具備很強的通用性。FPGA采用了XILINX公司的Virtex-7系列，FC、RapidIO、RocketIO、以及 FPGA 與 PowerPC之間的X8 PCI-e接口等協議解析功能單元均以IP核的形式集成在FPGA中;PowerPC選用了Freescale公司MPC8640D高性能處理器，主要完成以太網TCP/IP協議解析，采用了VxWorks實時操作系統保證協議轉換的實時性。地址映射表以文件形式固化在PowerPC的程序存儲區中，模塊初始化階段，PowerPC讀取該文件并將加載到FPGA中;運行過程中PowerPC也可根據用戶要求對地址映射表進行維護。映射地址的查詢完全由FPGA里的數據流控制器硬件完成。

圖4 橋接模塊原理框圖

橋接模塊中的各種協議的實測最大傳輸帶寬如下:X4 sRIO≥1.1 GB/s;FC≥380 MB/s;1G Ethernet≥380 Mb/s;RocketIO協議簡單，實際有效帶寬接近理論傳輸速率的80%。因此，各總線的帶寬是不完全匹配的。為了實現預期的服務性能如數據包丟失率或數據包傳輸時延等，建立一套有效的流控機制是非常必要的，該工作主要由數據流控制器完成，其簡要原理如圖5所示，基本工作原理是通過接收方的反饋信息來調節發送方的發送能力。

圖5 數據流控制器原理框圖

數據流控制器由不同位寬的FIFO、流量控制器、地址寄存器接口等組成。FIFO在進行數據緩存的同時也實現了不同接口之間的位寬匹配;FC IP核、RapidIO IP核接收時均按照各自規范的標準幀長度進行數據幀封裝;RocketIO則由用戶設置數據幀長度。流量控制器采用基于信用的帶有緩沖池的流控機制［4］，發送方只有在得知接收方有可用信用且FIFO有可用的緩沖空間時才發送報文。當接收方沒有可用信用或FIFO的可用長度小于預設值時立即產生一個脈沖信號并輸出，發送方據此可以知道下游的阻塞情況，從而可以作出更好的報文輸出選擇。對于零碎的數據，流量控制器采用延遲等待的方法，即在規定的時間內如果FIFO里緩存的數據長度未達到規定的幀長度，則將現有數據直接進行幀封裝，同時將幀長度封裝在數據幀里帶給接收端口。延遲等待時間可根據應用需求自由設置。

4 網絡管理

網絡管理目的是使網絡中的資源得到更加有效的利用［5］。基于FC的融合網的網絡角色多元，設備量大，應用場景復雜，尤其面向軍事應用，網絡的管理與維護更加至關重要，它的質量將會直接影響網絡運行的效率。根據該融合網絡的特點，網絡管理被劃分成3個功能，即網絡配置管理、網絡性能管理、網絡安全與故障管理。

(1)網絡配置管理

融合網絡系統中包含多種類型的交換機與大量的橋接模塊，應用涉及到多家廠商的設備，用戶的增減、設備的維修或更新均需要調整網絡的配置，因此需要網絡配置管理系統來支持這種調整和改變。網絡配置管理主要包含FC交換機群的拓撲與路由配置、橋接模塊橋接表配置、配置操作過程的記錄統計等。本系統采用FC帶內配置方法，即通過FC鏈路進行FC交換機與橋接模塊的配置，而不需要額外的接口。軍用裝備一般是預先定義拓撲并配置相對固定的，FC交換機的拓撲配置完全根據航空電子環境光纖通道設備快速拓撲初始化規范進行。FC交換路由與橋接表的配置在FC標準協議中沒有明確的規定，可以依據FC_LS_1.62規范中的擴展鏈路服務包格式，自定義路由配置包以及相關的指令。此時，FC鏈路中的數據除了業務報文幀，還有配置信息幀，這就需要FC交換機與橋接模塊能有效的識別幀信息，各設備在收到FC數據幀后，根據FC幀頭確定協議類型，如果是配置協議類型包則進行配置，如果是FC-AE協議類型的數據則按模塊自身功能進行處理。

(2)網絡性能管理

主要是對網絡及相關設備的性能統計。軍用裝備網絡中的數據流量是相對確定并可預估的。由FC交換機實時監測、記錄每個端口的流量，并與已配置的閾值比較，當超過閾值時，FC交換機采取相應補救措施以避免網絡負載過重甚至阻塞，并上報警示標識。FC交換機還進行網絡上各種業務量的統計，對歷史統計數據進行分析，找出流量瓶頸，提出端口負載均衡的建議，為管理者提高帶寬利用率提供決策支持［5］。

(3)網絡安全與故障管理

網絡系統應該具備良好的魯棒性，可抵御惡意用戶的行為，隔離不友好的連接，防止用戶的滿意程度被破壞。網絡安全必須從物理層面、傳輸層面、數據鏈路層面、網絡層面等進行全方位的保護，首先是通過登陸控制來防止未經授權的訪問;其次是建立分級訪問權限保證管理信息不被非法修改;對于人為因素導致連接錯誤，則通過FC交換機路由表配置ID檢查來實現;FC交換機之間通過心跳反應來獲取相鄰交換機的狀態;對于光器件損壞等引起頻繁連接與掉電之間切換不穩定狀態，上報后由網絡管理員進行故障確認與設備維護。

5 結束語

本文針對多網絡融合需求，提出一種統一命名、統一地址映射和地址解析服務的概念，通過橋接模塊將以太網、RapidIO、RocketIO等協議數據承載在光纖通道主干網中，實現了多協議間的有效連接與大帶寬實時交換，并利用網絡管理軟件實現全線數據通信設備的統一管理和維護。該方案符合軍用電子綜合系統中的光纖寬帶統一網絡的發展趨勢，對解決軍事裝備中由于網絡技術的多樣性而帶來的網絡融合難度大、開發風險不可控、升級經費投入大等問題具有重要現實意義，對未來新型作戰平臺通信鏈路的開發研制亦將具有重要參考價值。

［1］ 黃振中，倪 明，柴小麗.基于VxWorks的RapidIO-IP設計與實現［J］. 計算機工程，2010，36(18):243-245.Huang Zhenzhong，Ni Ming，Chai Xiaoli.Design and implementation of RapidIO-IP based on VxWorks［J］.Computer Engineering，2010，36(18)243-245.

［2］ 劉 鑫，陸文娟.光纖通道在航空電子環境的應用及關鍵技術研究［J］. 光通信技術，2006，30(6):55-58.Liu Xin，Lu Wenjuan.Application and research of fiber channel in the avionics environment［J］.Optical Communication Technology，2006，30(6):55-58.

［3］ 史衛民，施春輝，柴小麗，等.基于FPGA的RapidIO-FC轉接橋設計［J］. 計算機工程，2010，36(19):291-293.Shi Weimin，Shi Chunhui，Chai Xiaoli，et al.Design of RapidIO-FC switching bridge based on FPGA［J］.Computer Engineering，2010，36(19):291-293.

［4］ 尹亞明，李 瓊，郭御風，等.新型高性能RapidIO互連技術研究［J］. 計算機工程與科學，2004，26(12):85-87，107.Yin Yaming，Li Qiong，Guo Yufeng，et al.Study of the new high-performance RapidIO interconnnect technology［J］.Computer Engineering ＆ Science，2004，26(12):85-87，107.

［5］ 周令俊，盧瑤偉.計算機網絡管理技術及其應用［J］.中國科技信息，2006(19):165-166.Zhou Lingjun，Lu Yaowei.Computer network management technology and applicaiton［J］.China Science and Technology Information，2006(19):165-166.