基于cPCI總線的一種反射內存卡的研究與設計

王玉龍，徐志躍，劉亞斌

（北京航空航天大學 自動化科學與電氣工程學院，北京 100191）

半實物仿真測試系統是武器裝備開發與研制過程中不可缺少的測試系統，由于單個計算機很難完整實現復雜測試系統所有的功能，因此多臺測控計算機組成的大型系統成為武器裝備測試系統主要的發展方向，同時多臺測控計算機之間的強實時性、可靠性、數據傳輸可預測性與高速性等性能要求，對武器裝備的測試結果有著重要的影響。

反射內存網絡由多個反射內存板卡通過光纖作為通信介質構成，是一種高速性、實時性與確定性實時網絡，反射內存通信網絡在半實物測試系統中的運用，可以很好的滿足測試系統對數據傳輸高效率、傳輸時間可預測等性能的要求[1]。本文針對反射內存網絡的特點，提出了一種高效，穩定的用于反射內存實時網絡的反射內存卡設計方案。

1 反射內存板卡設計

1.1 反射內存卡硬件設計

板卡工作在基于cPCI總線的測控計算機內，反射內存網絡各節點板卡使用光纖作為介質進行數據傳輸、Altera的EP3C120F780型號的FPGA作為板卡核心處理器；板載SDRAM為共享內存的載體。

反射內存卡硬件整體框圖總如圖1所示，各個模塊所選用的芯片如下：

圖1 反射內存卡硬件整體框圖Fig.1 Reflective memory card hardware block diagram

1）光電轉換器

考慮到反射內存網絡使用光纖作為傳輸介質，板卡需實現光－電、電－光信號之間的相互轉換，選用Finisar公司的FTLF8519P2BNL作為光纖收發器比較合適。此模塊體積小、重量輕、具有高達2.125Gb/s的雙向數據傳輸速率，能夠滿足反射內存卡2Gb/s的光信號傳輸速率。

2）串并轉換器

板載FPGA采用并行方式處理數據，而數據在各個節點之間以串行方式進行傳輸，選用TI公司的TLK2501作為串并轉換器比較合適。此模塊采用8B/10B編解碼器、具有時鐘修正、數據丟失檢測等功能，能夠保證可靠的傳輸性能和較強的糾錯能力。

3）板載存儲器的實現

反射內存網的信息需要實時的存儲于每一塊反射內存卡的板載存儲器中。對SDRAM與SRAM兩種存儲器進行速率、可靠性、價格、容量等方面進行比較后可知選用Micron公司的SDRAM存儲器MT48LC64M8A2完全能夠達到要求。

4）電源模塊

線性電源體積小、紋波低、微噪聲，因此板卡工作電源全部使用Linear Technology公司的線性電源轉換芯片。

1.2 反射內存卡FPGA代碼設計

FPGA代碼是整個反射內存板卡設計的核心內容。本板卡在代碼開發過程中，嚴格按照單元模塊化、程序可配置性與代碼最優化的規則進行設計。整個硬件程序主要分為上位機數據通信模塊、板卡各功能芯片實現模塊與自定義的網絡傳輸協議3個方面。

1）與上位機通信模塊

cPCI總線的基本操作有數據的讀寫、設備配置與中斷操作等，每一種操作的相關信號都遵循一系列復雜的時序[2]。cPCI總線以PCI9054作為橋接芯片后，數據線與地址不再復用，并且無需關注寄存器的配置，大大簡化了對總線的操作。FPGA通過PCI9054與上位節進行數據傳輸的狀態機如圖2所示。

圖2 FPGA與PCI9054通信狀態機Fig.2 Communication state machine between FPGA and PCI9054

2）板卡功能的實現

作為反射內存卡核心部分的FPGA程序，不僅包含實時與上位機之間進行數據傳輸、與網絡中的其它節點進行數據通信模塊；還有板卡正常運行所不可缺少的數據緩沖模塊、SDRAM管理模塊、板卡初始化與節點配置模塊。因此，FPGA程序在結構上主要分為3個部分：

①響應主機對本節點或網絡中其他節點的讀寫數據、中斷觸發命令與節點搜索操作；

②響應網絡中其他節點對本節點或需經過本節點中轉給其他節點的數據、中斷觸發命令、網絡節點搜索命令等操作；

③操作網絡上信息的收發，向板載共享內存存取數據所需的緩沖模塊。

FPGA程序設計整體框圖如圖3所示。

圖3 板卡功能結構圖Fig.3 System function structure diagram

3）網絡通信協議的實現

通信協議（Communications Protocol）是指雙方實體完成通信或服務所必須遵循的規則和約定[3]。反射內存網絡是一種強實時性的數據共享網絡，針對其特點，反射內存卡之間的網絡通信協議應遵循語法上，數據報文應以簡明、簡短的幀為單位，并嚴格包括幀頭、信息體和幀尾三部分；語義上，通信內容應包括數據、中斷命令、搜索命令、設置存儲范圍命令4種[4]。

①數據幀格式

數據幀包含地址連續和地址不連續兩種模式。在地址連續模式中，數據區裝載有效的數據，數據的起始地址代表數據區第一個數據的地址，其后數據可從起始地址累加獲得（即地址是連續的），如表1所示。在地址不連續模式中，數據區中的數據是不連續的，每個有效數據前都伴有相應的地址，如表2所示。為了提高數據傳輸效率，數據幀采用動態包長格式。數據幀包含幀頭區、源ID區、數據包長、數據區（地址和數據）、幀錯誤區、幀尾區和CRC校驗。

其中，幀頭區表示一幀數據傳輸的開始；源ID區指示發起此次數據更新的節點號；數據包長指示數據幀包含有效數據長度，實現動態包長；幀錯誤區指示數據幀是否出現錯誤。

表1 地址連續模式數據幀格式Tab.1 Address continuous mode data frame format

表2 地址不連續模式數據幀格式Tab.2 The address is not continuous mode data frame format

②中斷命令幀格式

反射內存網絡中各節點之間可以發送中斷命令信息，用于觸發節點中斷并做出相應命令回應。中斷命令幀包括幀頭區、源ID區、目標ID區、命令類型、幀錯誤區、幀尾區和CRC校驗，如表3所示。

表3 中斷命令幀格式Tab.3 Interrupt a command frame format

其中，源ID區指示發起此次中斷命令的節點號；目標ID指示中斷命令發送到該節點號；命令類型表示中斷命令類型。

③搜索命令幀格式

反射內存網絡各節點通過搜索命令獲取網絡上所有節點的ID號信息，因此在初始化過程中網絡上每個節點都會發起搜索命令，搜索命令成功返回后，搜索命令幀中裝載有網絡上所有節點的ID號和數量信息，從而網絡上所有節點被激活，每個節點可以方便的與其他節點通信。搜索命令幀包括幀頭區、源ID區、所有節點ID區、節點數量、幀錯誤區、幀尾區和CRC校驗，如表4所示。

表4 搜索命令幀格式Tab.4 The search command frame format

其中，所有節點ID區裝載搜索到的有效節點號；節點數量區指示搜索命令幀的有效節點數量。

④設置存儲范圍命令幀格式

為了避免一個節點更新的數據在同一時刻被另一個節點的更新所覆蓋，因此為網絡中每個節點分配自己的共享內存區域，本節點只能更新本節點內存區域的數據，對于其他節點的區域只能讀訪問，不能寫訪問，可有效的避免了由于寫訪問引起的節點沖突。設置存儲范圍命令幀包括幀頭區、源ID區、起始地址區、終地址區、幀錯誤區、幀尾區和CRC校驗，如表5所示。

其中，起始地址區要設置存儲的起始地址；終地址區要設置存儲的終地址；

2 測試結果分析

2.1 隨機數生成與對比方法

測試數據在由多塊反射內存卡組成的網絡中傳輸的性能，采用發送隨機數的方式最為合適。Donald E.Knuth的減法隨機數生成算法是一種有延擱的斐波那契序列生成方法，采用延擱（24，55）可使隨機周期達到 230（255－1）。 減法隨機數生成算法通過遞推當前已產生的隨機數據序列生成新的隨機數。設歷史序列Xi∈（0.231－1）中已有55個以上元素，則隨后的整數隨機數Xn的值可由公式（1）遞推獲得。

表5 設置存儲范圍幀格式Tab.5 Set the storage extent frame format

2.2 誤碼率計算方法

反射內存共享區數據更新的誤碼率測試，是測試反射內存網絡性能的重要參數之一，誤碼率Err可以用式（2）計算。

其中，DErr為已經出現的誤碼比特數，Nf為已經測試的子周期數，Np為網絡中節點個數，Dsum為共享內存中總共的比特數。

2.3 網絡傳輸延遲測算

反射內存網有強實時性特點，可以通過數據傳輸遲延的測式來驗證反射內存網絡的實時性[5]。本項測試主要測試數據在板卡之間傳輸遲延，為了最大程度避免操作系統對數據傳輸造成的延時影響，采用FPGA內部定時發送隨機數據的方式進行傳輸遲延測試。一幀數據從發送開始計時，經環狀網絡回傳到本節點后結束計時，所經過的時間即為網絡傳輸總遲延。采作三塊反射內存板卡組成反射內存網絡，并以公式（1）進行發送數據的生成，數據幀采用動態包長格式，使包長為1、5、10分別測試，數據由節點 0發送，經節點 1，節點2后再傳回節點0。測試記錄如表6。

從表6可以看出數據傳輸的總體速率較高，平均延時很少，傳輸320 bit的數據延時不到2 ms，傳輸速率最高可到245 Mb/s，綜合考慮可知，以此板卡組建的反射內存網絡具有很好的強實時性。

2.4 反射內存網可靠性測試

可靠性實驗即通過長時間，大批量的測試來估算反射內存網絡傳輸的誤碼率，通過誤碼率的大小來判別其數據傳輸可靠性[6]。實驗用3個節點搭建一個環狀網絡，ID號分別為Node_0，Node_1與Node_2。實驗分為3組，第一組用Node_0作為數據更新發起卡將產生的隨機數填入共享內存內，其他兩個節點作為數據校驗卡接收共享內存中的數據并根據公式（2）進行誤碼校驗并計算誤碼率，一共2小時；其他兩組分別使用Node_1和Node_2作為發起卡，測試時間分別為5小時與10.5小時。測試結果如表7所示。

表6 數據幀測試記錄表Tab.6 Data frame test recording table

表7 可靠性實驗記錄表Tab.7 Reliability test recording table

由表11可以看出在總共長達17個多小時的實驗中，在幾萬次測試中僅Node_1作為發送卡時出錯一次，總誤碼率為0.001%。經檢查，出錯原因是隨機數產生不一致造成的，而并非網絡傳輸問題。由此可見，此板卡組成的反射內存網絡誤碼率極低，具有很好的可靠性。

3 結 論

根據武器裝備半實物測試系統對數據傳輸網絡有著強實時性、可靠性、數據傳輸可預測性與高速性等要求，提出了一種反射內存卡的設計方法，并基于此卡設計了反射內存網絡數據傳輸協議，通過實驗嚴格驗證了此板卡各項工作性能。證明基于此反射內存板卡設計的反射內存網絡完全可以實現武器裝備半實物測試系統[7]對數據傳輸強實時性與可靠性的需求，對我國武器裝備的生產和發展都有著十分重要的意義。

[1]林曉煥，唐長春，柳文安.基于反射內存的實時網絡系統設計[J].西安工程大學學報，2010，24（1）:60-65.LIN Xiao-huan，TANG Chang-chun，LIU Wen-an.The realtime network system design based on the reflection memory[J].Journal of Xi’an Polytechnic University，2010，24（1）:60-65.

[2]李貴山，陳金鵬.PCI局部總線及其應用[M].西安：西安電子科技大學出版社，2003.

[3]馮旭哲，羅飛路，陳建云，等.基于反射內存網絡的實時測試系統設計與實現[J].計算機測量與控制，2007，15（11）:1447-1448.FENG Xu-zhe，LUO Fei-lu，CHEN Jian-yun，et al.Design and realization of real-time test system based on reflective memorynetwork[J].Computer Measurement&Control，2007，15（11）:1447-1448.

[4]肖衛國，爾聯潔，謝廷毅，等.基于共享內存機制微機實時網的數據傳輸實時性研究[J].系統仿真學報，2004，16（8）:1717-1720.XIAO Wei-guo，ER Lian-jie，XIE Ting-yi，et al.Research on data communication real-time based on shared-memory mechanism micro-computer real-time network[J].Journal of System Simulation，2004，16（8）:1717-1720.

[5]馮炳燦，孔德仁，商飛.反射內存網絡在實時測控系統中的應用[J].計算機測量與控制，2011，19（1）:4-8.FENG Bing-can，KONG De-ren，SHANG Fei.Application of reflective memory network in real time measurement and control system[J].Computer Measurement&Control，2011，19（1）:4-8.

[6]張西健，關國樞.基于反射內存實時網絡的分布式半實物仿真系統[J].魚雷技術,2000,2(1):2-4.ZHANG Xi-jian，GUAN Guo-shou.Distributed hardware in the loop simulation system based on reflective memory real time network[J].Torpedo Technology，2000，2（1）:2-4.

[7]安恒，楊生勝，薛玉雄，等.一種空間輻射劑量測試系統的設計與試驗[J].現代應用物理，2014（4）：256-259.AN Heng，YANG Sheng-sheng，XUE Yu-xiong，et al.Design and test of a spatial radiation dose test systems[J].Modern Applied Physics，2014（4）：256-259.