基于MicroBlaze的時間觸發以太網終端設計與實現

顧青松，艾斯卡爾·艾木都拉，馬博陽，劉兆沛

(1.新疆大學 信息科學與工程學院，烏魯木齊 830000；2.清華大學 計算機科學與技術系，北京 100084)

0 引言

機載網絡通信系統結構的發展過程分為4個階段：分立式航電系統、聯合式航電系統、綜合模塊化航電系統和分布式集成模塊化航空電子系統(DIMA，distributed)[1]。DIMA通過將硬件資源分成幾個較小的單元，分布在整個飛機上，降低了綜合模塊化航電系統中央處理模塊的尺寸、重量和冷卻要求，并通過安全關鍵型通信系統連接，提供了更大的靈活性[2]。從航空電子系統和機載網絡的發展過程可以看出，機載電子系統的數據交互需求越來越大，導致網絡擁堵、線路間干擾和線纜重量等問題越來越嚴重，傳統的通信網絡已經不能滿足航電系統的需求[3-5]。

時間觸發以太網(TTE，time-triggered Ethernet)以太網是一種實時通信協議，它為分布式實時系統提供確定性實時通信服務，相比于集中式網絡系統的優點在于：成本低，性能高[6]。IEEE標準委員會于 2002年提出了一種新的高精度時間同步標準，專門針對測試和測量、工業自動化、軍事系統、制造系統、電力公用系統等應用領域測量和控制的需求，其時鐘同步精度可達亞微秒級別[7-9]。國外研究機構和企業都致力于TTE技術研究和產品應用，但這些核心技術基本上都掌握在TTTech公司手中，用作轎車、飛機和航天航空系統中關鍵的傳輸控制信號[10]。國內對于時間觸發網絡的相關技術研究在各大航天科學院、研究所、高校科研項目中仍處于研究探索階段。

本文針對確定性機載網絡通信系統實時性強、可靠性高的需求，使用IEEE 1588時間同步協議設計了一種基于MicroBlaze的TTE終端的實現方案并進行了實驗測試。文章主要分為5個部分：第一部分介紹了TTE終端設計的整體結構；第二部分介紹了實現時間同步的方法；第三部分介紹了四余度機制的可靠性設計；第四部分進行測試和驗證；第五部分進行總結和展望。

1 TTE終端整體結構

新一代綜合航電系統對機載網絡通信系統的實時性、可靠性和確定性等方面的性能需求較高，然而嵌入式系統有內核占比小，實時性高，專用性能強，響應快等特點，適合實時和多任務體系的要求[11]。在嵌入式系統中使用FPGA內部的通用邏輯資源實現的 MicroBlaze軟核作為嵌入式處理器，外部搭建需要的相關IP核，可以實現可編程片上系統的設計。

1.1 硬件平臺選擇

硬件平臺以MicroBlaze為控制核心，主要由以下幾個模塊組成：電源模塊、時鐘模塊、定時器模塊、串口模塊、千兆以太網子系統通信模塊和片上搭載的外部存儲器DDR3 模塊，其功能如圖1所示。

圖1 硬件功能框圖

光通信功能由千兆以太網子系統通信模塊聯合光纖收發器完成，千兆以太網通信模塊在GTP的基礎上封裝以太網協議，而光纖收發器作為與外部設備連接的物理接口，內部與GTP模塊相連，實現硬件平臺與上位機的數據交互。串口模塊基于Xilinx的UART IP 核完成，在外部使用USB轉串口模式與上位機相連，用于軟件程序debug。定時器模塊使用Timer IP核，主要用于記錄時間和實現定時器中斷，是完成時間同步的主要模塊。數據緩存模塊使用DDR3 IP核驅動核心板上的外部存儲器DDR3，用于數據寫入和讀取。

相比于普通的網絡接口，使用“光纖接口 + SFP光模塊”設計適配性好，抗干擾能力強，因此使用此模式實現硬件系統與上位機之間的通信。

硬件平臺與上位機之間的數據交互使用串行千兆介質傳輸協議(SGMII)。光纖收發器集成了光電轉換電路和電光轉換電路，可以同時完成信號的接收和發送，避免用獨立原件搭建電路帶來的困難。SFP光電轉換模塊是可熱插拔的小封裝模塊，其體積是傳統的千兆位接口轉換器模塊的一半[12]。使用光纖收發器和SFP光電轉換模塊作為光纖通信的基礎硬件，可以提高系統的適配性，保證系統性能。

1.2 四通道千兆以太網光通信硬件平臺的設計

MicroBlaze軟核處理器通過四路光纖接口與四臺上位機通信的功能實現，其系統平臺如圖2所示。

圖2 四通道網絡系統平臺框圖

在硬件平臺中使用單核MicroBlaze和4個以太網子系統IP核分別驅動四路SFP光通道，通過千兆 RJ45網線與4個PC端相連，完成千兆以太網光通信硬件總體設計。PC端通過串口與硬件平臺相連，查看debug數據。其中，4個以太網子系統IP核需要通過配置共享邏輯功能實現硬件平臺的開發[13]。

2 時間同步功能設計

時間同步是時間觸發通信的基礎。對于時間觸發網絡，包含時間觸發網絡控制器、以太網控制器、TTE交換機和TTE交換機終端設備。TTE交換機終端與TTE交換機上的不同端口相接用做數據備份。

2.1 時間同步硬件設計

時間同步網絡系統是在四光口網絡基礎上加入了時間同步機制，系統框圖與四光口系統結構大致相同。

本文采用的是端對端時鐘同步方案，主機與從機之間通過光口進行數據交換，在 SFP光口中插入光電轉換模塊，用千兆以太網 RJ45 網線相連。時間同步過程嚴格按照 IEEE 1588 協議主從式同步方案，最后由從機計算出時間同步延時和偏差。從機使用串口通信模塊與 PC 端相連，可以將時間同步結果通過串口發送給 PC 端，在PC端看到時間延時和時間偏差數據，硬件系統如圖3所示。

圖3 時間同步硬件系統框圖

在時間同步硬件系統中，主從節點的時鐘都是由定時器模塊產生。通過使用定時器模塊的定時中斷功能設計時鐘。

2.2 時間同步協議報文

IEEE-1588精密時間協議(PTP，precision time protocol)可以封裝為兩層協議或四層協議，具體的格式大致分為兩類：1)Ethernet+PTP；2)Ethernet+IPv4+UDP+PTP[14]。

二層以太網PTP報文不需要進行IP報文和UDP報文封裝，直接將PTP報文加入到以太網幀的數據段中。這樣做的好處是鏈路中解析數據需要的時間減少了，可以提高時間的同步精度。缺點也很明顯，在整個以太網數據幀傳輸過程中，只進行了一次CRC數據校驗，如果數據出錯，就沒有一個數據容錯機制檢驗數據的可靠性。雖然在通信鏈路中，四層以太網 PTP 報文的復雜度高，數據解析時間相對較慢，時間同步精度會降低，但是保障了數據的可靠性和完整性，所以本文采用四層以太網 PTP 報文協議。時間同步協議幀格式如圖4所示。

圖4 四層以太網 PTP 報文

其中的 PTP 報文包含3個部分：報文頭部、報文主體和報文擴展[15]。其中，報文頭部長度為 34 字節，本文主要按照報文類型字段進行判斷，其余不用字節填充為 0x00；報文主體主要用于承載 PTP 報文時間戳，長度可變，本文設計長度為 7 字節；報文擴展是可選部分，可以不做填充。

采用主從同步方式，PTP 事件報文可以不用攜帶時間戳，將 PTP 事件報文定義為 34 個字節，PTP 通用報文定義為 41 個字節。在 PTP 報文頭部定義類型字段，主機發送 PTP 消息，從機根據報文類型(messageType)字段來判斷 PTP 報文類型，將4種報文類型字段分別定義為以下格式：

1)同步報文類型：0x00。

2)跟隨報文類型：0x08。

3)延遲請求報文類型：0x01。

4)延遲請求應答報文類型：0x09。

2.3 時間同步軟件功能設計

在嵌入式網絡設備中，由于硬件資源的限制，采用 LWIP(Lightweight IP)[16-17]輕量級 TCP/IP 協議棧實現千兆以太網 UDP 通信。在使用 UDP 通信過程中，由于一個通道設置一個 MAC 地址、 IP 地址和端口號。即在建立四光口通信時，需要設置4個不同的 MAC 地址、 IP 地址和端口號，加入4個通信網絡和4個互不相關的 UDP 接收回調函數，以便可以接收到4個端口同時發送過來的數據，減少數據丟失現象，設計流程步驟如圖5所示。

圖5 UDP通信設計流程

主要分為以下5個步驟。

1)主函數中設置4個不同的 MAC 地址和 IP 地址。

2)調用 xemac_add()函數。 xemac_add()函數是 LWIP 中 netif_add()函數的封裝，其功能是將網絡接口加入網絡列表中。需要使用此函數把4個網口的網絡接口參數輸入網絡中。

3)在中斷初始化函數中，使用啟動中斷函數，將4個以太網子系統中斷 Id 寫入函數中。調用此函數后，將出現中斷 Id 的任何從屬控制器掛起，用于響應中斷函數。

4)對于啟動應用程序 start_application()函數，建立4個 UDP 端口和 UDP連接。使用 udp_new()函數，創建 UDP PCB 結構，用于UDP通信；udp_bind()函數，將PCB與本地地址綁定；udp_connect()函數，使UDP PCB與遠程地址相關聯。

5)在接收數據方面，需要為UDP PCB設置接收回調函數。建立4個不同的udp_recv()回調函數，防止在一個端口接收處理數據時占據所有進程，使其余端口出現數據丟失的情況。當接收pcb的數據報時，將會調用此回調函數。

本文通過定時器中斷設計時鐘，將時鐘劃分為：時、分、秒、毫秒和微秒5個部分。時間同步流程如圖6所示。

圖6 時間同步流程圖

其大致步驟為：

1)主節點向從節點發送同步報文并記錄發送時間t1，從節點收到報文并判斷報文類型是否為同步報文。如果是同步報文，記錄報文到達時間為t2；如果不是，則丟棄數據并重新接收下一組數據。

2)主節點將時間t1加入到跟隨報文的時間戳中并發送給從節點，從節點收到報文并判斷報文類型是否為跟隨報文。如果是跟隨報文，從節點提取時間戳得到時間t1并向主節點發送延時請求報文，記錄發送時間t3；如果不是，則丟棄數據并重新接收下一組數據。

3)主節點收到報文并判斷是否為延時請求報文。如果是，則記錄報文到達時間t4，并將時間t4加入到延時請求響應報文中，然后發送給從節點；如果不是，則將數據丟棄并重新進行時間同步流程。

4)從節點接收到報文后判斷是否為延時請求響應報文。如果是，則提取時間戳得到時間t4，并根據得到的4個時間計算出時間同步延時和偏差，修正從節點時鐘；如果不是，則將數據丟棄并重新進行時間同步流程。

3 可靠性設計

機載網絡作為航空電子系統的互聯通道，其可靠性直接影響航電系統的正常工作乃至飛行器的安全[12]。為保證整個網絡通信系統的任務可靠性，通常采用高可靠的設計方案以及有效的容錯機制，保證在子系統出現故障時不會導致整個系統無法工作。本文在傳輸層采用 MD5(Message-Digest Algorithm 5)數據加密算法保證了數據的完整性，并采用四余度表決機制設計了一個容錯通信層保證通信系統的可靠性。

3.1 傳輸層可靠性

MD5數據加密算法用于提供消息的完整性保護，其基本原理是將數據信息壓縮成 128 位的 2 進制數，并且產生信息摘要[18]。根據 MD5 算法計算方式，不可能生成具有相同消息摘要的兩條消息。雖然現在此算法被已有碰撞攻擊破解了不可逆性，但是由于其在32位機器上計算速度快和易壓縮性，作為嵌入式數據加密還是很有必要的。發送端程序設計流程如圖7所示。

圖7 發送端 MD5 數據加密設計流程圖

將開源的C語言MD5算法移植進網絡中，發送端程序流程設計步驟如下：

1)需要發送的數據作為 MD5 算法輸入。

2)經過 MD5 計算后得到32位16進制數據。

3)將 MD5 加密數據加入到發送數據幀幀尾。

4)發送數據幀。

在接收端需要將傳輸數據進行解析，提取數據幀后 32 位校驗數據，再將剩余數據經過 MD5 計算后得到的加密數據與提取的 32 位校驗數據進行對比，判斷整個數據幀的完整性和有效性。程序設計流程如圖8所示。

圖8 接收端 MD5 數據校驗設計流程圖

接收端程序流程設計步驟如下：

1)首先判斷接收到的數據包是否為空。

2)如果為空，將數據包丟棄，并釋放 pbuf 空間；不為空，將數據先提取出來放入數組緩存中。

3)提取數組的后32位16進制數據，放入校驗數組中。

4)將提取后的數據作為 MD5 算法輸入。

5)得到的輸出數據與之前放入校驗數組的數據進行逐一對比，判斷兩組數據是否一致。如果相同，則數據正確；如果不同，就是數據出錯，將數據丟棄，清空數組緩存，準備接收下一組數據幀。

3.2 容錯層可靠性

容錯通信層在通信系統的傳輸層和用戶服務程序的應用層之間，為了提高系統可靠性，機載網絡通信系統中采用了多余度的設計方案，避免單通道系統故障后無法保證系統安全工作[19]。多個余度同時工作時，如果多個信息來源的數據一致，直接將數據提交給上層服務程序即可；如果不一致，就需要進行余度表決，再將表決模塊得到的輸出數據傳送給上層服務程序[20]。

四余度表決控制系統的輸入是上一層MD5數據校驗層的輸出數據。單通道系統經過數據校驗層后還需通過四余度表決層進行余度表決輸出，得到的最終數據便是正確傳輸數據，程序設計流程如圖9所示。

圖9 四余度表決系統設計流程圖

四余度表決設計步驟如下：

1)4個通道分別判斷是否有數據傳輸進來，如果有數據傳輸，將接收此數據的通道數據標志位置為1；如果沒有數據傳輸，則通道數據標志位置為0。

2)把得到的4個通道的數據標志位相加，判斷其總和。如果總和值大于2，則采用比較表決，將各個通道的數據一一對比；如果總和值小于等于2，則說明通道數據不在同一時刻發送，或者在數據傳輸過程中出現丟包情況，此時將數據丟棄。

3)在數據對比過程中，定義4個相似度標志位。若通道數據相同，相似度標志位加一；若通道數據不同，相似度標志位加零。此標志位用來對各個通道的傳輸數據相同性和完整性判斷。

4)對相似度標志位判斷，如果此通道的相似度數值最大且大于等于2，則把此通道的數據作為正確數據存入 DDR 中。或者設置回環，把正確數據作為4個通道的發送數據，發送給上位機，在上位機中觀察此接收數據與上位機發送給硬件平臺的數據是否相同。如果此通道的相似度數值等于1，會出現兩種情況。一是只有兩個通道的數據相等且這兩個通道相似度為1，其余通道數據都不相同，則正確數據選擇相似度為1的通道數據；二是所有的通道相似度都為1，代表4個數據通道兩兩相同，無法判斷正確數據是哪條通道的，則將所有通道的數據丟棄，重新接收下一組數據。如果相似度等于0，則說明數據出現錯誤，需要把所有通道的數據丟棄，重新接收下一組數據。

4 系統測試

4.1 硬件平臺速率測試

硬件平臺采用 Xilinx 公司生產的AX7101 FPGA 開發板，其型號為 XC7A100T-2FGG484I，選用的 FPGA 芯片為 Xilinx 公司 Artix-7 系列的 XC7A100T。在通信接口方面，4 個 GTP 收發器連接了最高可達 6.6 Gb/s，用于光纖通信，帶寬為1 Gbps，滿足高速數據傳輸和交換的要求。硬件開發平臺為 Xilinx 公司設計的軟件 Vivado 2017.4，軟件驅動開發平臺為 Xilinx SDK 2017.4。本軟件開發中使用 C/C++ 進行開發。

將光電轉換模塊插入 SFP 光口中，通過 RJ45 千兆以太網網線把硬件平臺與 PC 端相連。在 PC 端設置以太網本地連接適配器，將本地主機 IPv4 地址設置為：192.168.1.100，與硬件平臺同一網段。打開網絡調試助手，配置本地主機端口號為：5101。遠程主機地址設置為：192.168.1.10，端口號為：5001。本地主機向遠程主機發送 20 個字節的十六進制數：0x68，0x74，0x74，0x70，0x3A，0x2F，0x2F，0x77，0x77，0x77，0x2E，0x63，0x6D，0x73，0x6F，0x66，0x74，0x2E，0x63，0x6E。PC 向硬件平臺發送數據，硬件平臺收到數據后將數據再發還給上位機，完成一個回環測試，通過數據日志可以看到發送數據與接收數據一致，硬件平臺與上位機可以正常通信。

使用 iperf 軟件測試連接速率，輸入命令“iperf-c 192.168.1.10-u-b1000M-t 60-I 5-l 64k-p5001”，指定 iperf 以客戶端啟動，使用 UDP 連接到 IPv4 地址為：192.168.1.10 ，端口號為：5001 的服務器上，傳輸帶寬為 1 000 M，緩沖區大小為 64 kB，測試時間為 60 s，每隔 5 s 打印輸出測試結果。如圖10所示。

圖10 UDP連接性能測試

Interval 是測試時間段，Transfer 表示該時間段內傳輸的數據總量，Bandwidth 為該時間段內的平均帶寬。從測試結果可以看出，UDP 連接在 5 s 內的傳輸數據總量在 346～387 Mbytes，5 s 內平均傳輸數據量約為 370.3 Mbytes，平均每秒傳輸數據量約為 74 Mbytes/s。雖然達不到理論上千兆以太網每秒傳輸數據的要求，但也遠遠高于百兆以太網的每秒傳輸數據量標準。其每分鐘傳輸數據總量可達4.34 GB，在這段時間內帶寬穩定在 600 Mbits/s 以上，平均帶寬約為 621 Mbits/s。

4.2 時間同步測試

在硬件平臺間采用端對端的測試。從節點采用的是 AX7101 FPGA 通信板卡，主節點采用的是米聯客的 MA704FA-200T 開發板。此開發板的核心板使用 Xilinx Artix-7 FPGA 芯片，型號為 XC7A200T-2FBG676I。在通信接口方面，開發板上有 2 路 SFP 光口，速度高達 6.6 Gb/s。測試結果通過串口發送給 PC 端。兩個硬件平臺通過光纖接口插上 SFP 光電轉化模塊相連，通信鏈路采用 RJ45 千兆網線。從機將測試數據計算結果通過 UART 發送給上位機，上位機在串口調試助手中觀察測試數據。

將時間同步周期設置為 1 s，測試 10 次時間同步后的鏈路傳輸延時，延時數據如圖11所示。

經過 10 次時間同步，其延時數據首先呈明顯下降然后平穩的趨勢。由于定時器定時中斷時間是 100 μs 觸發一次，所以時鐘的最小單位是 100 μs。根據時間同步算法和得到的延時數據可以推算出延時區間在 150～250 μs，誤差區間在 100 μs。由于無法得到更精確的延時數值，且時間同步精度達到了微秒級，所以誤差仍在可容受范圍。

4.3 可靠性測試

將4個通道的本地主機 IPv4 地址分別設置為：192.168.1.100、192.168.2.100、192.168.3.100、192.168.4.100。主機端口號修改至空閑端口，分別為：31777、32777、33777、34777。遠程主機 IPv4 地址分別設置為：192.168.1.10、192.168.2.10、192.168.3.10、192.168.4.10。遠程主機端口號分別設置為：317、32769、33769、34769。使用網絡調試助手進行測試。

首先使用MD5校驗工具將測試數據進行計算，得到的MD5加密數據為32位16進制數：0xC20AD4D76FE97759AA27A0C99BFF6710，測試數據為4位16進制數(0x31，0x32)，發送數據為測試數據加上MD5加密數據。

為了測試設計的四余度表決機制和 MD5 數據校驗的可靠性，對整個系統進行了3個方面的測試：

1)發送相同的測試數據和 MD5 校驗值，測試了工程的完整性和準確性。

2)修改 MD5 加密數據，測試了傳輸層數據校驗的可靠性。

3)對四余度表決系統進行測試：首先對雙通道發送兩個不同的數據，其余通道數據與其中一個通道數據相同，測試余度表決機制符合設計。其次，對三通道發送不同數據，剩余通道與其中一個通道數據相同，分析了測試結果符合設計。最后，將四通道分成兩組，兩組數據不同但組內通道數據相同。經過測試，得到的結果符合設計，如圖12所示。

圖12 最終測試結果圖

5 結束語

本文設計了一種基于 MicroBlaze 的時間觸發光以太網終端的方案，可以滿足航電系統的高帶寬、強實時、高可靠的要求。實現了以單核 MicroBlaze為核心的四光口千兆以太網光通信方案，提出了一種使用 MicroBlaze 實現時間同步功能方法。針對機載網絡的可靠性問題，在傳輸層使用 MD5 數據加密算法，提高數據的完整性。設計了一種四余度表決機制解決數據一致性問題，提高機載網絡系統可靠性。但仍有許多不足之處，由于在時間同步過程中沒有設計合適的時間補償機制，時間同步誤差區間仍然不小，需要設計時間補償機制增加時間同步精度。