聲納數據分布式冗余傳輸系統設計

王冬冬，晏慧強，呂國飛

（上海船舶電子設備研究所上海201108）

近年來，聲納系統的探測性能不斷提升，主要表現在探測距離的不斷增加以及方位分辨能力的不斷提高。增加陣元規模可以獲得較高的陣處理增益和方位分辨力，但同時也造成數據量的大幅增長。拖線陣聲納大規模發展背景下，高速數據流的實時可靠傳輸意義尤為重大。千兆以太網具有通信速率高、傳輸距離遠、工作可靠性高等優點，將千兆以太網技術應用到拖線陣聲納設計中，可以滿足目標數據的實時采集傳輸及處理要求。

拖線陣聲納特殊的工作環境，決定了其傳輸系統必須具有較高的工作可靠性，為此，必須在千兆以太網數據傳輸的基礎上增加冗余機制。常見的冗余傳輸方案適用性較差，難以用于拖線陣傳輸鏈路設計，文中提出了一種兼顧布線復雜度、傳輸距離以及鏈路利用率的雙向環路冗余傳輸方案。

1 千兆以太網數據傳輸功能實現

傳輸節點設計基于物理層和MAC層，不涉及高層協議，去除了上層協議中有關流量控制和差錯檢測等操作。由于沒有上層協議為程序提供統一的服務接口，基于底層的開發較為復雜。開發過程中通過調用Xilinx公司提供的Embedded Tri-Mode Ethernet MAC Wrapper IP核，簡化了開發過程，縮短了開發周期，提高了系統工作穩定性。

1.1 物理層實現

物理層的設計需要實現PCS（物理編碼）子層、PMA（物理介質附屬）子層以及PMD（物理介質相關）子層的功能。如圖1所示，以雙絞線為傳輸介質的1000BASE-T標準不支持MAC與雙絞線的直接互連，設計選用MARVELL公司的88E1111芯片來實現物理層的PCS、PMA以及PMD子層。該芯片支持1000BASE-T千兆以太網標準，能夠實現吉比特數據速率下的均衡、回波和串擾消除、數據恢復以及差錯檢測等功能，具有低功耗特性，在復雜噪聲環境中能提供穩健的性能表現。

圖1 1000BASE-T及1000BASE-LX物理層的實現

以單模光纖為傳輸介質的1000BASE-LX標準中，PCS子層和PMA子層通過FPGA芯片內的RocketIO GTP高速串行收發器實現，將GTP與光纖收發模塊相連便可實現PMD子層的功能。GTP中PMA子層主要完成8 bit位寬MAC幀數據與RocketIO串行數據間的轉換，并從接收數據流中恢復出時鐘。PCS子層負責8b/10b編解碼及CRC校驗。

1.2 MAC層實現

MAC層主要完成數據幀的封裝和解封，以及地址匹配等操作。設計中選用Xilinx Virtex5 LX110T FPGA芯片，該芯片內部集成了嵌入式三態以太網MAC控制器硬核，通過對其進行例化來實現以太網MAC控制器功能。MAC控制器支持MII、GMII、RGMII以及SGMII等多種接口模式，用于與PHY芯片對接，并提供MDIO/MDC接口來對PHY芯片的配置寄存器進行讀寫，以完成工作方式配置或工作狀態讀取。設計中為了方便PCB板布線，將MAC控制器和PHY芯片都配置為SGMII接口模式。SGMII模式僅使用兩對差分線進行數據收發，MAC控制器需要先通過RocketIO GTP實現串/并轉換。考慮到GTP收發器中PCS子層的8b/10b編碼，同樣提供1 000 Mbps的通信帶寬，GTP工作時鐘頻率將高達625 MHz。工作頻率越高，GTP對時鐘抖動越敏感，因此每對收發器均需使用獨立的高精度有源差分晶振。

1.3 MAC控制器配置

MAC控制器支持多種工作模式，全雙工半雙工、百兆千兆速率、MIIGMIIRGMIISGMII接口、1000BASE_T1000BASE_X PCS/PMA等。MAC控制器硬核中包含兩個MAC控制器MAC0和MAC1，兩者共享HOST配置寄存器訪問總線，通過HOST總線可以對相關寄存器進行配置，結合HOSTEMAC1SEL選通信號，完成對MAC0及MAC1的配置。程序采用有限狀態機結構，在125M時鐘的驅動下依次進行狀態跳轉，首先將HOSTEMAC1SEL置為0，向12個配置寄存器中寫入相應值，對MAC0進行配置，然后將HOSTEMAC1SEL取反，再次向12個配置寄存器中寫入相應值，對MAC1進行配置。

2 雙向環路冗余傳輸設計

現有的拖線陣傳輸系統大致可分為三類：基于單向級聯結構的開路傳輸、基于星型網絡拓撲結構的冗余傳輸以及基于總線型網絡拓撲結構的冗余傳輸。由于可靠性、傳輸距離以及布線的復雜度等因素的制約，以上3種組網方案均不能很好地適應拖線陣大規模發展的需要，為此，論文提出了具有高度適用性的雙向環路冗余傳輸方案。

2.1 幾種常見的傳輸節點組網方案

2.1.1 單向級聯開路傳輸

單向級聯開路傳輸節點組網方式如圖2所示，應用此方案的傳輸系統，任意一傳輸節點的斷路或故障，都會使該節點位置以后的級聯模塊無法正常工作，這種連接方式雖然結構簡單，但可靠性較差，會增加整個傳輸鏈路故障的概率。

圖2 單向級聯開路傳輸組網示意圖

2.1.2 基于星型網絡拓撲結構的冗余傳輸

不少傳輸系統采用基于點對點的星型拓撲結構，如圖3所示，這種組網結構最大的特點是可靠性高，任一傳輸節點的故障或開路都不會影響網絡中其他節點與主機的通信。但這種冗余傳輸方案不適用于大規模拖線陣聲納的數據傳輸。一方面，隨著傳輸節點的增加，線束數量劇增，而拖線陣內空間狹小，布線將會變得非常困難。另一方面，數據采集模塊主要位于主動接收段和被動接收段，采集數據最遠需傳輸近200米才能到達陣首，而以雙絞線為傳輸介質的1000BASE_T標準支持的最遠傳輸距離僅為100米，因此系統必須采用多級轉發機制才能實現雙絞線鏈路上的數據傳輸。

圖3 基于星型結構的冗余傳輸組網示意圖

2.1.3 基于總線型網絡拓撲結構的冗余傳輸

如圖4所示，一些數據傳輸系統采用基于總線的結構，將多個傳輸節點掛接在總線上，這些傳輸節點對總線的訪問具有獨占性，會造成總線資源的浪費，進而導致數據傳輸效率低下。對于大規模拖線陣，總線上掛接的節點數量龐大，還需考慮總線的驅動能力，電流、電壓驅動能力往往限制數據的傳輸距離，同時嚴格的阻抗匹配實現起來也比較困難。

2.1.4 雙向環路冗余傳輸

如圖5所示，雙向環路冗余傳輸鏈路中任意兩節點間數據傳輸都是基于點對點的通信，無需考慮多個節點對鏈路的競爭，同時多節點轉發機制也可以保證相鄰兩節點間的距離不超過60米，此外，由于采用非并行組網，布線也較為簡單，因此雙向環路冗余傳輸方案能夠較好地適應大規模拖線陣聲納數據傳輸的需要。

圖4 基于總線結構的冗余傳輸組網示意圖

圖5 雙向環路冗余傳輸組網示意圖

2.2 雙向環路冗余傳輸工作機制

設計中兩個方向的鏈路均可獨立進行數據收發操作，工作時同一原始報文會被標上相同的時間戳，然后沿兩個方向分別發送出去，各傳輸節點對添加時間戳后的報文進行轉發。當傳輸鏈路中某一節點因故障無法正常工作時，環形鏈路被分割為兩條獨立的數據傳輸鏈路，主機可分別沿故障節點的上游鏈路和下游鏈路（即反向鏈路與正向鏈路）、從不同的兩個方向接收數據，這種冗余發送機制使得傳輸鏈路具有一定的容錯工作性能，提高了鏈路的工作可靠性。

另一方面，當傳輸節點某一方向接收出現誤碼時，可利用另一方向的接收數據對錯誤進行糾正。接收數據時節點根據時間戳判斷兩個方向上到來的報文是否為相同報文，兩個方向上報文的到達時間存在差別，設計中通過時間優先序列的方法處理冗余報文的接收。若先到達的報文通過校驗，則節點從先到達的報文中接收數據，并在接收列表中的相應位置寫入時間標戳。當另一方向上相同時間戳的報文滯后到達時，節點檢測到接收列表對應位置已寫入值，則將滯后到達的報文丟棄。若先到達的報文未能通過校驗，接收列表中的相應位置為空，則滯后到達的報文有機會對先前的誤碼傳輸進行糾正。一包數據接收完成，系統對接收列表進行清空，保證前一包數據的接收列表不會影響下一包數據的接收。采用這種機制提高了報文接收的可靠性，進一步增強了傳輸鏈路的穩健性。

2.3 雙向環路冗余傳輸實現方法

2.3.1 獨立收發端口設計

Xilinx XC5VLX110T FPGA片內資源豐富，集成了2個三態以太網MAC控制器硬核。每個MAC控制器硬核包含兩個MAC控制器，共享Host Bus配置寄存器訪問總線。傳輸節點設計時同時對FPGA芯片內的2個三態以太網MAC控制器硬核進行例化，將其中的一個通過RocketIO GTP收發器分別與兩片千兆以太網PHY芯片相連，再連接到兩個RJ45，形成兩個獨立的數據收發網口，另一個MAC控制器硬核通過RocketIO GTP收發器分別與兩個光纖收發模塊相連，構成兩個獨立的數據收發光口，傳輸節點結構如圖6所示。

采用這種設計，一方面便于環形組網，以實現雙向環路冗余傳輸。整個傳輸網絡的組建基于環形拓撲結構，這樣當一個傳輸方向上出現節點故障時，主機可以從另一方向發送或接收數據幀，保證整個傳輸鏈路具有一定的容錯性能。另一方面也可以實現類似流水級的操作，能夠有效降低鏈路中多個節點間的傳輸延遲。

圖6 單個傳輸節點結構框圖

2.3.2 雙重乒乓切換機制

參數下發過程中，傳輸控制板僅僅需要對來自上一傳輸節點的數據進行轉發，不涉及本地數據處理。考慮到傳輸控制板上不同端口的數據收發時鐘不一致，可能出現接收數據未穩定就將其發送出去的情況，為了避免收發操作沖突，需要對接收到的數據進行緩沖處理。設計中利用Xilinx Block Memory Generator IP核實現異步雙端口RAM，將雙端口RAM劃分為高位地址段和低位地址段。

數據轉發開始，系統從RAM高位地址段讀取數據，同時將來自上一傳輸節點的數據寫入RAM低位地址段緩存，待接收一幀數據和發送一幀數據均完成，RAM高位地址段與低位地址段進行乒乓切換。依次循環，RAM高、低位地址段相互配合，節拍性地進行乒乓切換，完成對數據的無縫緩沖與發送，便于多個傳輸節點間實現流水級轉發，能夠有效降低傳輸延遲。

與參數下發不同，數據上傳過程中，傳輸控制板不僅需要對來自上一傳輸節點的數據進行處理，同時還需要處理來自本地采集模塊的數據。考慮到來自上一節點的數據對應的采集時間稍早于本地采集數據，因此前一節點數據處理的優先級必須高于本地采集數據處理，設計中采用雙端口RAM先對來自本地采集模塊的數據進行緩存，在下一傳輸周期的起始段對緩存數據進行讀取并將其發送出去。

為了避免本地采集數據緩存與前一節點數據轉發之間相互影響，可以將本地采集數據與來自前一傳輸節點的數據分開緩存，即在原先RAM內部高低位地址段乒乓操作的基礎上增加雙RAM間的乒乓切換，若傳輸節點總數為N，則每完成一幀數據的發送或接收，進行一次高低位地址段乒乓切換，每完成N次高低位地址段乒乓切換，一個完整轉發周期內的全部采集數據可以經鏈路上傳至接收主機，進行一次雙RAM間的乒乓切換。

采用雙重乒乓切換機制實現多個傳輸節點間的流水級轉發，保證了高速采集數據流數據能夠連續不斷地傳送到干端進行處理，且采集數據能夠按時間先后以及節點號順序依次排列，接收端無需對收到的報文進行重新排序，效率較高。

3 同步采集控制設計

工作時水聽器數據采集模塊通過SPI串行總線與傳輸控制板對接，數據接收前主機會下發同步接收命令，傳輸控制板正確接收到命令幀后利用PLL對參考時鐘（64 MHz）輸入進行分頻處理（計算見公式（1）），產生相應的同步脈沖（24.576 MHz）。在同步脈沖的驅動下，采集模塊進行AD轉換，同時傳輸節點對采集數據進行讀取。方案中沒有直接選用24.576 MHz的有源晶振，而是利用FPGA內的PLL對輸入時鐘進行分頻，采用這種方案的優勢在于：對于非常見規格的采樣時鐘頻率值，設計能夠實現軟件可重配置，使得數據采集模塊的適用范圍更廣。

（反饋系數M=48，預分頻系數D=5，后分頻系數P=25）

FPGA中每個PLL單元最多僅支持5路分頻時鐘輸出，而每個傳輸控制單元需產生32路同步時鐘信號，以驅動數據采集模塊工作，因此設計中選用時鐘分配芯片對輸入時鐘進行多路復制輸出。

考慮到32路同步采集電路中一部分與傳輸控制模塊相距較遠，為了增加同步時鐘信號的傳輸距離，設計中先通過差分驅動器將TTL電平轉換成LVDS差分信號進行傳輸，在接收端再使用差分接收器恢復出TTL電平。

4 光纖鏈路備份設計

光纖質地脆，機械強度差，易折易碎，在耐腐蝕性、反復插拔操作、抗外力拉伸和抗彎折等方面的工程可靠性相對比較脆弱，因此光纖鏈路工作狀態易出現異常。為了避免因干濕端間的光纖鏈路異常[17-18]而導致整個傳輸系統的崩潰，設計中預留了備用光纖收發鏈路，用于進一步提高傳輸系統的工作可靠性。

SFP光纖收發模塊的LOS引腳輸出電平可標示接收光功率正常與否，當鏈路發生異常，接收光功率低于正常范圍，LOS引腳被拉高，輸出為高電平。鏈路正常時接收光功率處于正常范圍，LOS引腳輸出為低電平。利用FPGA對兩個獨立SFP模塊的LOS引腳輸出電平進行檢測，當LOS引腳輸出為低電平，表明鏈路處于正常工作狀態，使用主鏈路進行數據收發。當LOS引腳輸出為高電平，表明接收到的光功率低于敏感門限，鏈路發生異常，啟用備用鏈路進行數據收發，具體來說即在FPGA程序中根據SFP_DETCT信號電平的高低來選擇使能MAC1、GTP_DUAL的 transceiver1還是 MAC0、GTP_DUAL的transceiver0。

5 仿真及測試

傳輸控制模塊實物圖如圖7所示。

圖7 傳輸控制模塊實物圖片

5.1 功能仿真

FPGA功能模塊編寫完成后需要對其進行功能仿真以驗證邏輯設計是否正確，功能仿真也稱前仿真，可利用Isim軟件完成。由圖8中的仿真結果可以看出，每完成一幀數據的發送或接收，程序進行一次高低位地址段乒乓切換，每完成N次高低位地址段乒乓切換，程序進行一次雙RAM間的乒乓切換，與預期設計結果相符合。

圖8 功能仿真波形

5.2 時序仿真

前仿真不涉及具體的硬件電路時序，還需利用Chipscope在線邏輯分析儀對FPGA內部信號進行在線檢測以驗證模塊是需設計的準確性。圖9在線仿真結果表明，RAM高低位地址段能夠根據發送及接收計數值自動完成乒乓切換，與功能仿真結果相一致。需要說明的是，設計中一幀數據發送或接收完畢，會留有1 μs的間隙，因此仿真波形中會有幀間隙的存在。

圖9 時序仿真波形

5.3 傳輸節點組網測試

測試鏈路中首尾兩個傳輸控制模塊通過光纖與交換機連接，中間模塊使用六類屏蔽網線實現互連，網線長度為58 m。各傳輸控制模塊在同步時鐘信號的控制下對采集數據進行讀取和轉發。與交換機連接的主機成功接收都來自首尾兩節點的報文，斷開傳輸鏈路中任意兩傳輸控制模塊間的連接，主機端仍可接收到完整的數據報文，表明雙向環路冗余傳輸機制工作正常。

在主機端利用WildPackets Ethernet NX以太網測試軟件持續10分鐘對鏈路狀況進行監測，測試結果如圖10所示。主機B平均每秒接收到約120 000幀數據，幀長為固定值530字節，平均數據傳輸速率約為500 Mbps（設計中每一幀數據接收或發送完成后留有一定的間隙，減小幀間隙時間值可在一定程度上提高傳輸速率）。

圖10 主機端傳輸速率及誤碼率測試結果

6 結論

本文針對拖線陣聲納大規模發展的需求，基于千兆以太網物理層及MAC層自定義協議開發了傳輸控制單元，實現了高速采集數據流的實時傳輸。同時，基于冗余傳輸思想，對多個傳輸控制單元進行了環路拓撲結構組網，賦予系統一定的容錯工作性能，增強了拖線陣聲納系統的工作可靠性。測試結果表明，多節點傳輸鏈路的平均數據傳輸速率高于500 Mbps，并且容錯機制能夠高效、穩定地發揮作用。方案設計合理、工程可實現性強，對高速數據采集傳輸系統的設計具有重要的參考意義。

參考文獻：

[1]瞿鑫，吳云峰，李華棟，等.基于FPGA的千兆以太網數據傳輸的設計與實現[J].電子器件，2014，37（4）：68-71.

[2]張金鳳，李耀南.基于千兆以太網的高速數據傳輸系統設計[J].火控雷達技術，2014，43（2）：19-22.

[3]劉鑫，孫大軍，田原，等.一種高速聲納實時處理系統的設計與實現[J].嵌入式技術，2013，39（4）：12-15.

[4]伍新維，付仲滿，章建雄.千兆冗余以太網鏈路狀態檢測技術[J].計算機工程，2013，39（12）：75-78.

[5]王一茗，張可，陳龍.一種高可靠可控雙冗余以太網的設計與實現[J].計算機科學，2014，41（5）：97-101.

[6]馬文超，張濤.一種基于FPGA的千兆以太網高速傳輸平臺[J].計算機工程，2012，38（1）：242-244.

[7]朱佳齊，白廣治，許晏，等.基于FPGA的嵌入式串行以太網設計設計[J].儀表技術與傳感器，2012，12（11）：5-7.

[8]王宇聰，韓啟祥，蔡惠智，等.聲吶信號處理中UDP協議數據傳輸研究與設計[J].現代電子技術，2012，35（1）：78-79，84.

[9]候以合，張冬冬，丁雷.基于FPGA+MAC+PHY的千兆以太網數據傳輸系統設計[J].科學技術與工程，2014，14（19）：662-664.

[10]韋宏，付友濤，孔凡鵬，等.基于FPGA的千兆以太網設計[J].現代電子技術，2012，35（18）：56-59.

[11]史鵬騰.基于千兆以太網的FPGA多通道數據采集系統設計[J].電子技術，2015，28（2）：123-126.

[12]何瓊，陳鐵，陳鑫.基于以太網硬協議棧的數據采集節點[J].儀表技術與傳輸器，2013（2）：21-23.

[13]袁陽，孟李林.基于FPGA的千兆以太網數據傳輸設計[J].電子科技，2016（2）：156-158，162.

[14]張志偉，靳鴻，穆蔚然，等.基于千兆以太網的機載雷達數據采集系統設計[J].現代雷達，2016（9）：57-60，66.

[15]張克功，李和平，高鑫.基于千兆以太網的雷達數據可靠傳輸系統設計[J].自動化與儀表，2012（6）：26-31.

[16]石金成，張小輝，黃玉剛，等.基于FPGA的兩路千兆以太網光纖傳輸系統[J].光通信技術，2013（7）：11-13.

[17]閻家光.光纖傳感器在煤礦井筒監測系統中的應用[J].自動化與儀器儀表，2016（12）：63-64.

[18]房鴻，付宗，吳旭.雙程前向結構摻鉺光纖光源的穩定性研究[J].西安工業大學學報，2015（10）：784-787.