層級數據格式在試飛數據歸檔中的應用

寇寶智

層級數據格式在試飛數據歸檔中的應用

寇寶智

（中國飛行試驗研究院，陜西 西安 710089）

論述了層級數據格式在試飛數據歸檔中的適用性探索，介紹了層級數據格式的特點及應用優點。對傳統顫振試飛數據規整和基于HDF5歸檔的數據規整進行結構對比，以某小型民機顫振試飛數據歸檔為例，介紹了基于HDF5文件的試飛數據規整思路，該方法可為其他試飛科目數據歸檔提供參考。

層級數據格式；HDF5；顫振試飛數據；數據歸檔

層級數據格式HDF（Hierarchical Data Format）是用來存儲和管理大容量復雜數據的一種數據格式，由抽象數據模型、函數庫和文件格式組成，1987年由美國伊利諾伊大學厄巴納-香檳分校國家超級計算應用中心（NCSA）開發，現在由非盈利社團HDF Group支持，HDF5為最新版本，與之前HDF4在設計和接口上有顯著區別。HDF5文件的優秀特性使得其在天文學、物理學、計算流體力學、地球科學、工程、生物醫藥及金融等領域被廣泛成熟應用，很多行業基于該文件格式設計了數據交換存儲的標準文件格式，如開放地理空間信息聯盟基于HDF5設計了其官方標準[1]。美國早在F-22的航空電子飛行試驗中經過多種文件格式對比分析，采用該數據格式進行了數據管理，并評測了該文件格式在實驗室模型數據與試飛數據對比及數據應用方面的優勢[2]。波音和NCSA合作通過擴展HDF5開發了用于飛行測試數據集中管理及傳遞的相關數據容器，并進一步挖掘其在試驗實時數據分析中的能力[3]。LOCKARD等基于HDF5設計了工程測試數據管理系統[4]。在中國試飛數據管理應用中，安然將HDF5文件格式應用到飛行試驗數據管理中，并基于HDF5函數庫和Python接口設計了性能專業試飛數據管理的專用文件格式[5]。查曉文等提出試飛數據具有大數據的特點，將HDF5文件格式應用到運輸類民機整架機試飛數據管理中，將多類型測試數據進行統一管理調度，測試了HDF5數據存儲容量及檢索速率的優勢[6]。

近年來大數據的迅速發展已經從互聯網行業擴展到各工業領域，數據挖掘及機器學習均基于大規模高價值數據實現。大數據是一種在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型以及價值密度四大特征。其中數據的價值密度與數據的規模通常成反比，所以大數據的意義不在于掌握龐大的數據，而在于對這些低價值龐大數據進行專業化處理，通過對數據的清洗、連接、聚合、分組、重塑及規整等各種加工后實現數據增值。工業生產及測試中產生的各類數據，不僅體現在特定應用中的價值，海量數據形成規模價值需要迅速挖掘，其中高價值歷史數據的積累是實現規模應用的基礎。近年來工程數據整理歸檔在飛行試驗工程中受到極大關注，數據歸檔成為了規模數據增值的基礎需求。本文所述的數據歸檔類似于傳統的文件歸檔，對原始數據及分析數據進行規范化保存，實現數據存儲、檢索、審查、交換及二次開發利用。數據的歸檔整理，使其符合相關專業的應用特征，是實現試飛工程大數據應用及數據挖掘、反哺飛機設計和工程管理的有效途徑，這種基于大數據統計的反饋，也是提高試飛效率的有效手段。

1 HDF5的特性及適用性

試飛工程管理中對過程文件及試飛報告有嚴格的管理規定，歸檔管理主要目標是文件及影像資料等，數據歸檔多體現在整架次試飛原始測試數據歸檔，這種歸檔是對試飛工作的一種記錄與保存。試飛數據是飛機設計定型及適航取證的重要依據，是對飛機設計最直接、最有效的驗證。高價值試飛數據一般由試飛分析工程師在編寫特定科目試飛報告中對數據進行規整形成，相比原始數據容量要小很多，同時數據結構組織及內容也更加復雜多樣，所以基于數據庫的高價值試飛數據歸檔相關應用及方法在近年來也發展迅速。不同的工程專業、試飛科目、試飛工程人員、數據分析軟件和數據管理系統與方式等，帶來試飛數據規整標準化的困難，使得試飛數據歸檔也面臨復雜的技術及管理問題。

HDF5是用于存儲和分發科學數據的一種自我描述、多對象文件格式，可滿足不同科學家在不同工程項目領域的需要，可以提供科學數據存儲和分布的許多必要條件。其設計具有靈活性、自述性、高性能和跨平臺等特性，這些特性使得該文件格式適用于試飛數據歸檔，在復雜的試飛工程數據管理中具有極大優勢。

靈活性體現在HDF5的層次結構、豐富數據類型和方便交互分享方面。HDF5主要包含數據集和組群兩種對象類型，數據集一般包含各種類型的多維數組，組是持有數據集和其他組的容器結構，這就產生了層級、類似文件系統的數據格式，允許用戶把各種數據對象組合在一起放到層級結構中，便于規整管理數據。通過使用合適的HDF5數據結構，符號、數字和圖形數據等許多數據類型可以同時存儲在一個HDF文件里，如可以將重要試驗現場圖片及數據圖表與原始測試數據集中到一個統一數據文檔中管理。HDF5文件不會被任何其他廠商平臺鎖定，單個文件可以便攜拷貝到需要的各種計算平臺中使用。

自述性使一個HDF5文件里的每一個數據對象，都可以定義關于該數據的綜合信息，即元數據。在沒有任何外部信息的情況下，允許應用程序解釋文件的結構和內容。其自描述特性使得一個基于HDF5標準化后的試飛數據檔案，在沒有其他說明文件的情況下不會影響工程人員對數據的解讀與調用。

優異性能使基于HDF5的數據管理，占用存儲空間少且數據存取處理速度高。隨著機載測試技術的迅速發展，測試數據種類和單架次測試數據規模急劇增加，同時試飛驗證要求增多與計算機分析技術的發展，也帶來分析計算數據規模的增加。這種優秀的空間及速度性能滿足大容量數據及高速存取接口的分析需求，也為試飛數據的實時分析與管理提供了基礎。

HDF5專門為大規?？茖W數據交互設計，具有豐富接口，HDF5可在個人電腦以及大型并行計算機等廣泛的計算平臺上構建獨立軟件庫，支持廣泛的操作系統，且受大量商業及非商業軟件和編程平臺支持，如C/C++、Java、Python、R、Fortran、Julia、Matlab、Octave等，常見工程數據分析平臺基本都對其提供較好支持。所以HDF5具有與平臺和架構無關且兼容性強的特點，適用于匹配現有數據分析系統和數 據庫。

跨平臺、可擴展、層級結構和自描述的HDF5文件可實現關聯控制，在試飛數據規整中滿足標準化要求，其便捷性及高性能滿足試飛數據歸檔需求。

2 試飛數據的規整

飛行試驗會按照規劃好的各科目試飛大綱及實施方案組織進行，試飛分析工程師一般會依據各架次規劃的試飛狀態點提取需要的有效試飛數據，通常是整架次數據中某些參數的某些時間段數據。單架次飛行機載數據通過解碼和添加校線獲得，并按試飛狀態需求所提參數及時間段處理后，得到適用于分析的原始數據文本文件。該文本數據文件關聯的參數、數據結構、獲取的試飛環境、試飛方法和飛機狀態等信息，均需要額外的描述文件來記錄。這種按照試飛組織規劃及數據處理工作流程自然形成的數據規整方式，符合試飛中大部分科目最終報告使用數據檔案形成的規律。如顫振試飛科目以試飛架次歸類，建立基于平臺文件夾和文件的數據規整結構如圖1所示。

圖1 基于平臺文件夾和文件的顫振試飛數據規整結構

科目描述文件主要記錄整體科目規劃及執行情況，包含各架次完成情況及試飛中遇到的問題、各架次執行時間及部分日志等統計信息；架次描述文件記錄架次執行的任務單號、氣象、飛機構型、執行的試飛狀態點、提取數據段的試飛狀態及激勵參數表等內容；數據描述文件記錄數據組織結構、參數及各數據段對應的飛行狀態；飛參數據文件及振動數據文件為依據目標試飛狀態選取的、各參數原始數據文件；分析結果文件記錄選定試飛狀態及激勵情況下顫振試飛數據處理結果，一般為分析得到的模態參數及對應試飛狀態的統計信息，也有數據分析形成的圖表等文件。

這種由描述文件、原始數據文件、分析結果文件和文件夾形成的試飛數據層級規整結構缺乏便捷性且效率較低，難以形成統一標準。數據歸檔需與試飛報告或專業特點相一致，一般按照規劃的試飛狀態點結合科目特征進行規整，而所需試飛狀態的數據可能存在于多個架次中，單個架次也可能包含多個試飛狀態點。通常在整個科目試飛結束后，需要重新整理數據及描述文件，以滿足數據歸檔需求，數據組織方式的改變，往往容易使部分關聯數據丟失且耗費精力。

基于HDF5文件格式設計一種結合試飛狀態點和專業特點的試飛數據規整方法，通過各元數據關聯原始數據重要信息以代替各種描述文件，方便進行標準化及統一部署?；贖DF5設計的顫振試飛數據規整結構如圖2所示。由于所有的組和數據集均可定義元數據，把傳統的數據描述文件包含的各種參數和定義均放置于對應的組和數據集的元數據中，與數據自動關聯，增強數據的可讀性。如某一掃頻激勵形成的振動數據集，其對應的激勵舵面、激勵時間、頻率范圍和激勵幅值等激勵參數可直接放置在該數據集對應的元數據中；各狀態點的組元數據存儲該狀態點所要求的高度、速度等相關參數等。采用HDF5進行數據規整管理，可以通過編程接口，方便調用其中的原始數據。通過將原始數據、數據處理分析結果和重要圖片放在一個HDF5文件中歸檔，不僅記錄了原始數據，同時與試飛報告加強了關聯，有利于過程記錄及驗證查詢需求。

圖2 基于HDF5的顫振試飛數據規整結構

基于HDF5設計的某小型民用飛機顫振試飛歸檔數據文件如圖3所示，該數據文件包含7個試飛狀態點、分析結果數據及部分分析結果圖片，每個試飛狀態點按照激勵方式分類存放在原始數據段，其他所有的描述參數均放置在各組或數據集的元數據中。這種數據組織方式便于進行數據查詢、檢索及調用。

圖3 某小型民用飛機顫振試飛的HDF5歸檔數據文件

指定傳感器振動均方根值隨速度變化趨勢如圖4所示。采用該數據格式文件，只需要通過編程接口操作該單一文件，像查詢數據庫一樣，按照數據組織結構檢索并結合元數據進行篩選，調取各數據集中符合要求的數據進行統計即可得到結果。如果基于傳統模式，需要打開各數據描述文件查找符合條件的數據文件，并打開每個數據文件提取四個加速度傳感器數據進行整合統計，最終形成統計結果，雖然文本數據文件中特定傳感器數據獲取與分析也可以編程實現，但是必須依靠數據描述文件尋找符合條件的文本數據文件，顯著降低了效率。同時這種HDF5數據規整結構可以通過接口程序轉換為基于飛行時間或其他狀態的數據規整結構，方便適配各種后續應用的數據接口。

圖4 指定傳感器振動均方根值隨速度變化趨勢

以上實例是HDF5在顫振試飛數據歸檔中的應用，主要數據為采樣率256的加速度傳感器數據。振動環境試飛的采樣率可達到8 000，噪聲更高，所需提取的試飛狀態也更多，這就極大增加了歸檔數據的規模。采用HDF5格式的歸檔數據，可應用其數據壓縮功能節省存儲空間，同時其高速訪問特性有利于分析軟件的高效調用。

3 總結

基于HDF5設計實現的數據存檔文件，是一個具有層級和自描述特性且便于標準化管理的單一文件，適用于查檔、規模數據積累及數據挖掘等。這種層級數據結構在試飛數據歸檔及實現數據規模應用價值中值得采用和持續開發，有利于高價值試飛數據的傳承及再利用。

建議以層級數據格式的試飛數據歸檔為基礎，形成相關專業的試飛數據庫，進一步開發后端及數據分析挖掘算法及工具，實現大數據在試飛工程中的更廣泛應用。

［1］OGC采用、公布第5版層次型數據格式核心標準［J］.測繪標準化，2020，36（4）：16.

［2］BARNUM J.The use of hdf in f-22 avionics test and evaluation［C］//International telemetering conference proceedings，1996.

［3］WEGENER J A，DAVIS R L.Extension of a common data format for real-time applications［C］//International telemetering conference proceedings international foundation for telemetering，2004.

［4］LOCKARD M T，RAJAGOPALAN R，ARLING J A.Mining irig-106 chapter 10 and hdf-5 data［C］// International telemetering conference proceedings，2006.

［5］安然.HDF5文件格式在飛行試驗數據管理中的應用 ［J］.中國科技信息，2013（12）：90-91.

［6］查曉文，王加熙，李成浩.基于HDF5的試飛數據格式研究［C］//2019航空裝備服務保障與維修技術論壇暨中國航空工業技術裝備工程協會年會，2019.

2095－6835（2021）06－0158－03

V217

A

10.15913/j.cnki.kjycx.2021.06.065

寇寶智（1989—），男，碩士，工程師，研究方向為飛行器顫振試飛。

〔編輯：嚴麗琴〕