多流多科目實時數據處理算法的設計與實現

(中國飛行試驗研究院 測試所，西安 710089)

0 引言

隨著航空技術的飛速發展，現代飛行器的集成度和復雜度越來越高[1-2]，傳統的單架次單科目試飛遠不能滿足飛行試驗的需求，多科目試飛已經成為飛行試驗發展的必然選擇。多科目試飛需要的參數量大、采樣率高[3-4]，為解決這一問題，當前飛行試驗已廣泛采用網絡化測試架構，在網絡化測試架構下采集器將采集的數據以網絡包的形式發送至測試系統，多科目需要處理的參數就分布在這些網絡包中[5]。由于數據以網絡包的形式在測試系統上傳輸，所以可以使用機載實時數據處理系統來實時處理數據，這會極大地縮短獲取結果數據的時間。但是實時處理設備是機載嵌入式設備，對數據處理的性能有限，如果沒有高效的多流多科目數據處理算法，實時處理時數據就會發生錯誤從而得到不到正確的處理結果[3]。對于當前多數據流多科目數據處理的需求，如何在多數據流的情況下實時處理多個科目，在機載實時處理設備性能允許的范圍內，以最大的效率處理數據，是飛行試驗實時數據處理中必須解決的一個關鍵問題。

1 多流多科目實時數據處理

1.1 多流多科目實時數據處理特點

飛行試驗是武器裝備設計、生產、試驗的三大環節之一[6-7]，現代飛行器在飛行試驗階段需要處理性能、品質、發動機、雷達、航電等眾多試飛科目的數據，傳統單架次單科目的數據處理方式不能滿足眾多試飛科目的需求，為了提高試飛數據處理的效率和及時性，多科目試飛數據處理成為飛行試驗的必然選擇[8]。另外由于武器裝備的試飛周期比較緊，多科目數據處理有助于加快飛行試驗的進度，縮短試飛周期。

多科目試飛數據處理需求的測試參數多、采樣率大，某型飛機在進行飛行試驗時需要采集一百多條數據流，處理三十多個科目，共計四萬多個參數、科目的采樣率從8到2048不等[9-10]。為了解決參數個數多，采樣率高的問題，現在飛行試驗中廣泛采用網絡化測試系統架構。網絡化測試系統架構下，采集器將采集的數據以網絡包的形式發送至測試系統，多臺采集器會發送多條網絡數據流，多科目需要處理的參數就分布在這些網絡數據流中[11-12]。

為提高數據處理的效率，眾多型號在飛行試驗過程中使用了機載實時數據處理系統，該系統接收機載測試系統的網絡包數據，然后根據多科目處理參數進行數據處理并將結果寫入結果文件[13]。機載實時數據處理極大地縮短了數據獲取的時間，但是由于多科目處理時參數數量多且采樣率大，而機載實時數據處理設備的性能有限，所以需要設計高效的多流多科目數據處理算法，使得數據處理設備能夠滿足多流多科目數據處理的需求。多流多科目數據實時處理如圖1所示。

圖1 多流多科目數據實時處理

根據實際試飛數據處理的情況，總結出多流多科目數據處理有如下幾個特點：

1)機載測試系統有多條網絡流，每條數據流由連續的網絡包組成，每個網絡包有各自獨立的KEY值，該值是該網絡流的唯一標識；

2)網絡包的帶寬比較高，例如某型機可達50～60 Mbps，在實時處理時需要快速處理網絡包數據，否則就會發生錯誤；

3)每個科目都有各自的參數組，實時處理時需要根據每個科目的參數組處理數據，處理完成后將科目需要的結果發給課題；

4)每個科目需求的采樣率是一固定值，但科目之間的采樣率不完全一致;

5)同一參數在不同科目中需要處理的采樣率不完全一致，但參數的采樣率和課題需求的采樣率一致；

6)多科目需要的參數可能出現重復，例如：氣壓高度、馬赫數等飛機基本參數幾乎所有的科目都需要進行處理。

1.2 多流多科目實時數據處理方法

為解決多流多科目實時處理時的效率問題，設計多流多科目實時數據處理算法，最簡單的辦法是將多科目數據按照單科目數據處理的方法逐個處理，具體做法是：讀取網絡數據包數據，處理第一個科目的參數，第一個科目的參數處理完后處理第二個科目的參數，以此類推，直至處理完所有的科目，然后讀取下一個網絡包數據進行同樣的處理。按照單科目處理方法循環處理存在如下幾個方面的問題：

1)算法的處理效率比較低，對于多科目中的重復參數處理多次，浪費了寶貴的計算資源。

2)單科目處理完后需要寫入結果文件，頻繁地進行I/O操作，CPU的利用率不高；

3)數據處理時大量時間花費在對參數的輪詢查找上了，浪費了時間資源，難以保證數據處理的實時性。

因為多科目參數中有部分參數會重復出現，所以一個高效的辦法是：將多科目參數合并成一個參數列表，合并參數列表中包含所有的多科目處理參數且參數沒有重復，在處理時按照合并后的多科目參數進行實時處理，處理完成后將數據進行分流得到各科目的處理結果。采用多科目數據合并處理的有如下幾個優點：

1)多科目參數中重復的參數只用處理一次，極大地提高了實時數據處理的效率；

2)可以通過合理設置數據緩存的辦法，減少I/O操作，提高CPU的利用率，在同等設備性能的情況下可以處理更多的參數；

3)數據處理時只需要對參數進行一遍輪詢查找，節省了數據處理的時間，提高了實時性。

由此可知：采用“合并-處理-分流”方法處理多流多科目數據，能夠有效提高數據處理的效率、保證實時性，所以將其作為機載實時數據處理時的多流多科目處理算法。

2 多流多科目實時數據處理算法的實現

為解決多數據流情況下試飛科目的快速增長與實時數據處理效率之間的矛盾，設計并實現多流多科目實時數據處理算法，在保證數據處理實時性的前提下實現多科目數據的高效快速處理。按照“合并-處理-分流”的方法，首先將多科目處理參數按照參數基本信息進行合并，形成合并參數列表，在合并參數列表中參數不會重復且沒有缺失，同時該列表是實時處理時需要處理的參數列表；然后在實時處理時，讀取并分析每一個網絡包數據，對合并參數列表中的參數進行碼值提取和物理量轉化，通過合理設置緩沖區，將處理的結果數據存入緩沖區中；最后在處理完成后，按照數據分流的方法，將多科目中的每個參數從緩沖區中讀取出來寫入多科目的結果文件中，至此完成多流多科目數據實時處理。該算法的整體結構如圖2所示。

圖2 多流多科目數據處理算法結構

2.1 合并多科目處理參數

合并多科目處理參數有助于減少實時處理時對于多科目參數中重復參數的重復處理，所以數據合并時以減少參數重復為主要合并原則，多科目參數合并的方法是：

1)剔除多科目參數中重復的參數，保證合并參數列表中每個參數只出現一次，并且沒有遺漏；

2)對于同一參數的不同采樣率，取最大的采樣率作為合并參數列表的采樣率；

最終形成的合并參數列表包含的參數為P1、P2、…、Pn,采樣率分別為S1、S2、…Sn。此外為了在數據處理時準確定位某個數據包里要處理的參數，還需要分析合并參數列表中每個參數所屬的數據包。具體做法是：

1)分析機載信息配置文件，讀取網絡包的參數信息，將參數名和數據包一一對應，找出機載測測試系統的網絡包中都包含哪些參數；

2)按照合并參數列表的參數名查找每個參數所屬的數據包，形成待處理數據包列表，并詳細列出每個待處理數據包中包含的待處理參數。

2.2 合并參數實時處理

在實時數據處理時，如果對于每個參數進行解算完成之后直接寫入結果文件，這樣會頻繁的進行I/O操作,降低了CPU的利用率,所以需要設置緩存來存儲數據處理的中間結果，處理完成后再進行存儲。為了方便處理及實現，以一秒的結果數據為單位進行緩存，設計圖3所示的緩沖區，該緩沖區為一個數組，數組前三個元素存放時、分、秒信息，后面的元素存放合并參數列表的處理結果。在實時數據處理時，將一秒鐘數據處理的結果放入該緩存中，當緩沖區存滿后，對數據進行分流寫入多科目的結果文件中，然后清空緩存區繼續存儲下一秒的數據。

TIME……

圖3 實時處理緩沖區結構

合并參數列表中的參數處理結果在緩沖區的存放的原則是：

1)每個參數按照采樣率的大小占據緩存中的連續元素，參數Pi的采樣率為Si,那么該參數在緩存中占據Si個連續元素；

3)每個參數的緩沖區的元素按序存放采樣時刻的參數值，例如參數Pi的采樣率為8，那么這8個元素依次存放000、125、250、375、500、625、750、875毫秒時刻的數據。

緩沖區設置完成之后對數據進行實時處理，處理過程主要是在網絡流中找出待處理數據包和待處理參數，然后進行碼值提取及物理量轉化，最后將結果寫入緩存中，具體過程如圖4所示。

1)讀取網絡包數據，判讀網絡包的KEY值，分析其是否屬于需要處理的網絡包，若不需要處理，則跳過該數據包讀取下一個網絡包；

2)分析數據包處理列表，找出需要處理的網絡包都包含哪些待處理參數，詳細列出處理參數的信息，包括參數名、采樣率、校準方式等

3)對于每一個需要處理的參數，在網絡包中進行碼值提取及物理量轉化。碼值提取可通過直接取值的方式獲取，一般包括單字提取、雙字提取、三字提取和四字提??；物理量轉化是將碼值按照參數校準的方式轉化成物理量，校準方式一般包括點對校準、直線校準、雙曲線校準、多項式校準等；

4)判斷該網絡包的時間，分析待處理的參數屬于緩存中的位置，將處理參數的結果按照參數在緩存中的存放方法放在緩存中；

5)讀取下一個網絡包，重復進行上述操作，完成數據實時處理。

圖4 實時數據處理流程

2.3 多科目參數數據分流

數據處理時將處理結果放入了緩存中，但課題需要的是單個科目的結果文件，所以需要將緩存中的數據寫入結果文件中。緩存中存儲的是合并參數列表中的數據，而要得到多課題結果文件就需要對數據進行分流。在數據緩沖區的數據存滿后進行分流并將結果寫入課題需求的結果文件中，數據分流的方法是：

1)分析每一個科目的參數在合并參數列表中的位置，比較每一個科目參數需求的采樣率與綜合參數列表中該參數的采樣率，用綜合參數采樣率除以需求采樣率得到緩存中的取值步長。

2)分析第一個科目的參數，按照該科目待處理參數的順序，依次在緩沖區中進行取值，先取第一個時刻的數據，然后根據步長依次取下一時刻的數據，把該秒的參數值都寫入文件中；

3)按照步驟2)的方法處理其他科目的參數，將所有科目數據分流完成并將處理的物理量寫入結果文件中；

4)改變緩沖區前三個元素的時間，將秒數加一，然后該緩沖區存儲下一秒的處理數據，當緩沖區存滿后，重復進行上述操作，完成數據分流。

經過“合并-處理-分流”的過程，所有科目中需求參數都已完成處理，每個科目都能得到正確的處理結果，并且多科目中的參數都不會被重復計算，這樣節省了時間和空間資源，保證了數據處理的實時性。

3 實驗測試與驗證

利用C語言實現了多流多科目數據實時處理算法，應用該算法處理多流多科目數據，在實驗中使用某型號的機載實時數據處理設備為系統運行環境，以某機載測試系統發送的網絡流為處理對象，該系統共有128條網絡流。數據處理時共需要處理9個試飛科目，共計1 814個處理參數，多科目的名稱、采樣率、參數個數信息如表1所示。

表1 多科目參數信息

在多科目處理參數中，氣壓高度是所有科目都關注的參數，以該參數作為實驗結果準確與否的判斷依據。按照“合并-處理-分流”的方法處理多流多科目參數，合并后的參數列表中共有1 258個處理參數，每個參數的采樣率不等。實時數據處理完成后，在每個課題的結果文件中分析氣壓高度的數值，發現所有課題的氣壓高度數值相同。氣壓高度處理結果如圖5所示。

圖5 氣壓高度處理結果

由數據處理的結果可知，多流多科目數據處理算法的處理過程正確，對參數合并后能有效減少數據處理時的參數個數，并且能夠得到準確的處理結果。基于該算法設計的實時數據處理系統可應用于多個型號中，有助于提高數據處理的效率，加快試飛進度。

4 結束語

針對多流多科目數據處理的需求，提出了一種基于“合并—處理—分流”方法的多流多科目實時數據處理算法，首先將多科目數據處理參數參數名、采樣率等信息進行合并，形成一個合并處理參數列表，該參數列表包含了處理參數的基本信息；然后在實時處理時按照合并參數列表對網絡數據流進行實時處理，并將數據處理的結果存儲在緩存中；處理結束后通過書分流的辦法獲取處理結果，并將結果寫入課題需求的結果文件中。在試驗總測試了該算法的有效性，實驗結果表明，該方法能有效解決多流多科目數據處理的問題，在得到準確數據處理結果的同時大幅提高數據處理的效率。