航天器試驗大數據系統實現與典型應用

王建軍，向永清2，何正文

(1.北京空間飛行器總體設計部，北京 100094; 2.北京三七數據技術有限公司，北京 100085)

0 引言

航天器試驗是指為驗證和檢驗航天器功能、性能、品質和可靠性所進行的各類試驗；為保證航天器任務圓滿成功，航天器研制一直在不斷完善和實施精細化管理，圍繞著信息尤其是試驗信息進行科學嚴密的評價和決策[1]。

大數據技術是當前信息領域的發展新趨勢，大數據是支撐國家安全和國防建設的戰略資源[2]。《中國制造2025》、《促進大數據發展行動綱要》、《國家信息化發展戰略綱要》等均提出實施國家大數據戰略，要求突破工業大數據處理等核心技術，并把航天裝備列為重點領域突破發展[3-4]；《2016中國的航天》白皮書也提出要加快推進航天工業化與信息化的深度融合。

航天器研制應當抓住工業化與信息化深度融合發展這一重大歷史機遇，分析航天器試驗數據特征，運用當前先進的大數據技術，建立科學的用于航天器試驗的大數據系統(以下簡稱“航天器試驗大數據系統”)，實現航天器試驗數據采集、存儲、處理、分析和應用的數字化和統一管理，提升航天器研制水平。

1 航天器試驗數據特征分析

航天器試驗數據是指在航天器試驗設計、準備、實施、撤收、總結等各階段所產生的數據資源。航天器試驗數據具有大數據的4V特征，即variety(數據類型多樣)、volume(數據量巨大)、velocity(速度要快)、value(價值巨大)[5]，主要表現在：

1)類型。從試驗類型上來分，包括電性能測試、環境模擬試驗、飛行試驗等一系列試驗，其中電性能測試包括常規綜合測試和各種環境模擬試驗下的測試，環境模擬試驗包括力學環境試驗、真空熱環境試驗、電磁環境試驗等；從數據接口上來分，包括CAN、1553B、RS-422、以太網、VXI、GPIB、無線鏈路等；從數據編碼格式上來分，包括PSK、BPSK、DPSK、QPSK等；從數據類型上來分，包括試驗方案、大綱、細則、總結等文本，試驗監視、測量等數值，試驗圖像、視頻、音頻等記錄，還有三維模型、試驗用例、試驗統計分析和報表、試驗規章制度、試驗日志等數據，涵蓋了結構化、半結構化和非結構化數據；

2)規模。航天器自身功能越來越強大使其產生的數據量加大，包括遙測數據、遙控數據、載荷數據、總線數據、信號波形和頻譜數據等；試驗的精細化使試驗儀器設備產生的數據量加大，包括示波器、頻譜儀、供配電、測控、載荷等測試設備產生的激勵和采集的數據，采集到的數據經過解析處理后產生大量數據；航天器要經歷大量試驗使數據量加大，包括溫度、濕度、潔凈度、真空度、熱環境、力學和噪聲等環境模擬和監測數據、環境模擬分析數據、試驗現場視頻監視數據等；航天器試驗歷時周期長(1-3年)，系統通電時間長(正樣飛行產品系統級電性能測試正式通電時間約2000 h)；每年同時在試驗航天器可以達到十余顆甚至數十顆；

3)速度。每顆航天器自身高速產生遙測數據(量級103bps，射頻調制)、載荷數據(量級109bps，射頻調制)、總線數據(量級103bps)、臍帶數據(量級103bps)，試驗用各類傳感器高速產生數據流，試驗用儀器設備同樣高速產生數據；而試驗數據實時采集、分析、應用要求不斷提高；

4)價值。航天器數據中不僅包含著試驗設備和受試產品狀態信息，還包含著航天器功能、性能、品質和可靠性信息，還可以通過大數據技術進一步挖掘，摸清航天器試驗過程中所體現的特點，為設計改進、試驗技術的改進和領導決策等提供支持，具有極高的應用價值[6]。

除此之外，航天器試驗數據還具有更強的多源性、專業性、時序性、關聯性、噪聲性和更高的采集、分析和處理準確性要求等特征。

2 系統實現

2.1 部署位置

由于航天器試驗具有試驗意義重、系統和過程復雜、采用技術新、多學科交叉、規模和費用大、環境和可靠性高等特點，航天器試驗大數據系統的部署應充分繼承現有成熟試驗系統技術并與其有機結合，不影響試驗任務的順利開展，在此前提下逐步完善替換原有系統功能。航天器試驗大數據系統在整個航天器試驗系統中的部署位置如圖1所示，大數據系統直接接入綜合試驗網絡，讀取原有試驗系統采集到的數據，充分利用大數據技術實現試驗數據存儲、分析和應用。

圖1 系統部署位置

2.2 系統架構

航天器試驗大數據系統架構如圖2所示，按照數據流向自底向上分別是數據采集層、數據存儲層、數據處理層、數據分析層、數據訪問層和數據應用層，此外數據管理平臺貫穿全部層級。

1)數據采集層負責將航天器試驗過程產生的各類結構化、半結構化和非結構化數據通過離線ETL和實時采集等方式進行歸集匯總；

2)數據存儲層根據航天器試驗數據的不同特點，將數據采集層采集到的數據分別存儲到文檔數據庫、關系數據庫、圖數據庫等數據庫中；

3)數據處理層和數據分析層負責航天器試驗數據的處理和分析，數據處理可采用批處理、實時處理及交互式查詢等方法，數據分析可采用傳統統計分析、深度學習及數據挖掘等方法；

4)數據訪問層是航天器試驗數據與應用之間的橋梁，可提供命令行、Restful API、RPC、Web Service、SQL等接口，根據應用層的應用需求通過不同接口從數據分析層獲取所需數據；

5)數據應用層是航天器試驗數據各種應用的集合，包括實時監控類應用、統計分析類應用、交互式查詢類應用及日志分析類應用等；

6)數據管理平臺是整個航天器試驗大數據系統升級擴展、平穩運行、安全運維的基礎，具有對各類技術組件的透明訪問能力，完成數據設計、獲取、應用、銷毀等試驗數據的全生命周期管理，并把標準、質量規則和安全策略固化在平臺上，實現事前管理、事中控制、事后稽核與審計的全方位數據質量管理和安全管理。

圖2 系統架構

2.3 主要技術實現

2.3.1 數據采集層

航天器試驗數據的采集分為歷史數據的離線批量采集和實時數據的流式采集。

1)歷史數據的離線批量采集采用Hadoop平臺作為計算和存儲引擎，使用Sqoop工具通過ETL的方式進行數據的采集，并實現HDFS與MySQL、PostgreSQL、MongoDB等傳統數據庫之間的數據交換；

2)實時數據的實時采集采用Flume與Kafka結合的方式，使用Flume作為數據的生產者，使用Kafka作為數據的消費者，這樣可得到較高的吞吐量和可靠性。

2.3.2 數據存儲層

航天器試驗數據的存儲選用多種數據庫結合的方式：選用MongoDB作為文檔數據的存儲工具，選用HDFS作為大規模離線數據的存儲工具，選用面向網絡的數據庫Neo4j存儲試驗故障診斷相關的專家知識和決策樹信息，選用PostgreSQL和MySQL作為一些結構化數據的存儲工具(如測試數據記錄、某些設備的關鍵參數等)。

2.3.3 數據處理層

航天器試驗數據的處理分為批處理、實時處理和交互式查詢。

1)批處理選用Hadoop平臺結合數據倉儲工具Hive，Hive是傳統數據倉儲的一種分布式替代，很適合傳統ETL中數據的清洗、過濾、轉化及直接匯總等場景；

2)實時處理(如遙測數據流的處理)選用Spark Streaming工具。Spark Streaming是一個基于Core Spark API的可擴展、高吞吐量、并具有容錯能力的用于處理實時數據流的組件，可接受Flume、Kafka、HDFS、Kinesis或TCP等各種數據源傳遞來的數據，對接收到的數據可使用一些用高階函數進行封裝的復雜算法做進一步處理，最后處理好的數據可寫入到文件系統和數據庫中，或直接用于實時展示，此外還可在數據流上應用一些機器學習或圖計算等算法[7]；

3)交互式查詢選用Presto工具。Presto是一個運行在服務器集群上的分布式系統，如圖3所示[8]采用Master-Slaver架構，主要由一個Coordinator和多個Worker組成(Discovery Sever通常內嵌于Coordinator中)。Coordinator負責解析并分析Presto CLI提交的SQL語句，生成執行計劃分發給Worker執行；Worker負責實際執行查詢任務，啟動后向Discovery Sever注冊；Coordinator從Discovery Sever獲得可以正常工作的Worker節點；當讀取Hive數據時，需配置一個Hive Metastore服務為Presto提供Hive元信息；Worker與HDFS交互讀取數據。

圖3 Presto架構

2.3.4 數據分析層

航天器試驗數據的數據分析主要包括統計分析、機器學習和數據挖掘。

1)數據統計分析選用開源分布式分析引擎Kylin，它提供Hadoop、Spark之上的SQL查詢接口及多維分析(OLAP)能力以支持超大規模數據，其架構如圖4所示，由REST Sever、JDBC/ODBC接口、Query引擎、Routing、Metadata、Cube構建引擎等組成[9]；

2)MLlib是Spark對常用機器學習算法的實現庫，同時包括相關的測試和數據生成器，其主要功能包括特征提取、統計、分類、回歸、聚類、協同過濾與推薦及降維等；

3)Graphx是Spark中用于圖形和圖形并行計算的新組件，基于Spark平臺提供對圖計算和圖挖掘簡潔易用而豐富的接口，可用于試驗數據知識圖譜的構建、試驗數據診斷、數據源分析等。

圖4 Kylin架構

3 典型應用與展望

3.1 數據管理

航天器試驗大數據系統核心模塊接入現有綜合試驗網絡，通過網絡獲取原試驗系統中來自于傳感器采集、射頻設備接收以及環境模擬和監測系統和試驗設備自產生的各類航天器試驗數據，利用大數據技術提供的數據存儲、交換、倉儲、處理、分析與可視化工具完成試驗數據的采集、清洗、篩選、解析、歸一、融合、存儲、分析和展現以及數據移動和備份等，實現多學科綜合過程中復雜數據傳遞和轉換，最大限度避免試驗數據和精度損失，提供純凈、可用的數據，消除內部信息孤島[10]。

3.2 試驗實時監測

通過對航天器試驗數據的采集、清洗、分析、處理和可視化，實現試驗運行狀態的實時監視，并按照規則進行數據實時判讀，及時發現問題并報警。

1)試驗運行狀態實時監視。商用的大數據應用軟件提供了雷達圖、儀表盤、氣泡圖等大量優秀的可視化工具，通過這些可視化工具對試驗運行狀態數據實時監視、統計分析和顯示；根據試驗參數設置對試驗設備響應和航天器響應進行判斷，以確認試驗運行狀態是否正常；

2)數據實時判讀。所有采集的數據經過解析處理后，同一數據縱向比，同類數據橫向比，關聯數據聯合比，發現異常狀態實時報警。同一數據縱向比是指對同一個參數(如用于監視設備內部電源狀態的電源電壓)在航天器研制各階段的實際數據進行比對，判斷數據是否一致；同類數據橫向比是指對表征同一特征的同類參數(如粘貼在設備機殼內表面和外表面的溫度測點)進行比對，判斷數據是否合理；關聯數據聯合比是指對一些有關聯的數據聯合判斷，確定數據是否正確，比如蓄電池電壓與充放電時間、當前負載、太陽電池陣供電電源聯合判讀；

3)試驗數據網偵測。航天器和各試驗設備數據均通過網絡接口與試驗數據網連接，通過對試驗數據網通信狀態的偵測，對于航天器和試驗設備通信反應異常的判斷其工作狀態異常。

3.3 健康評估和故障預測

對航天器試驗數據進行分析、建模和管理，評估航天器健康狀態，提前預測故障避免問題發生。

1)成功包絡線建立和分析。通過對以往成功的各航天器歷史試驗數據進行分析，建立數據成功包絡線，判斷當前試驗數據是否落入成功包絡線內，對于超出包絡線的數據即認為存在異常，進一步開展分析判斷；

2)長期走勢分析和趨勢預測。可以實現試驗參數的長期走勢分析，根據長期走勢對發展趨勢進行預測，如頻率準確度是反映應答機的重要指標，通過分析發現其在各試驗中的長期走勢為一條逐漸下降曲線，那么有理由推測其性能下降并預測其后續趨勢為進一步下降，于是根據故障樹分析并結合其他試驗數據逐步排查確定其內部晶體參數發生漂移，給出更換晶體的解決建議，并建議對后續晶體加強篩選和通電老練試驗從而加速晶體應力釋放；

3)健康評估和故障預測。航天器在試驗過程中健康評估和故障預測是極其復雜的，需要對各種手段獲取的監測數據、歷史數據等進行綜合分析，利用各種預測診斷算法挖掘這些數據所反映的設備健康狀態極其變化趨勢，并推測出可能發生的故障模式，評估方法有多項式曲線擬合、ARMA模型、新陳代謝模型、層次分析法、模糊評判法、人工神經網絡法、基于貝葉斯網絡的方法、灰色理論、專家系統等方法，無論采用何種方法都需要豐富的專家知識和經驗，需要一個長期的分析和論證過程[11]。大數據提供了一種全新的思維方式，采用數據驅動方法不再依賴于預設模型的精準性，而是收集大量的數據，從海量時間序列數據中尋找規律，然后用一些相對簡單的模型去契合數據，消除信息的不確定性，實現航天器健康評估和故障預測[12]。另外，通過對試驗過程中設備運行數據進行分析，可以對試驗設備進行故障預測和健康評估，從而實現適時維修。

3.4 試驗有效性評價

航天器試驗有效性評價是一項復雜的綜合性工作，有關評價指標的定義涉及很多因素，包括試驗與故障的關系分析、試驗技術有效性分析、模型與試驗有效性指數計算、航天器在軌早期故障預示等內容[13]。航天器試驗大數據系統可以很好的將歷史航天器和在試驗航天器試驗數據(含航天器和儀器設備狀態、試驗方法、條件、工況、結果等)、故障數據、試驗標準規范、試驗文件(大綱、細則和總結等)、試驗模型等有關數據進行綜合處理，給出試驗有效性評價，同時避免過試驗和欠試驗。

通過對航天器試驗數據的深入分析給出試驗結論和建議。如通過航天器力學環境試驗和真空熱環境試驗獲得了大量的數據，對這些數據進行分析可以給出航天器抗力學和熱設計是否合理的結論，并給出有關設計改進建議，完成航天器對力學和熱環境適應性的評價。

3.5 可靠性評估與壽命預測

航天器可靠性評估與壽命預測是一項復雜的系統工程，無論是采用何種評估、預測模型和方法，都需要分析航天器故障模式、收集各層級產品多種來源的數據，試驗數據更是重要的支撐。通過將航天器試驗數據與其他所需數據結合，完成航天器可靠性評估和壽命預測。如為評估某航天器太陽翼帆板驅動機構可靠性，航天器試驗大數據系統收集相似產品歷史試驗及在軌應用情況，在軌工況分析和故障模式分析數據，所開展加速壽命試驗的考核標準、試驗狀態、試驗環境條件、試驗溫度、轉動次數、試驗前后物理特性檢驗等數據，基于指數分布模型進行可靠性評估，針對主要失效模式進行壽命預測。

3.6 發現知識

航天器試驗數據記錄著航天器所有有關試驗數據，透射著深邃的規律和知識。利用統計分析和人工智能，通過對歷史航天器和在試驗航天器海量異構多源試驗數據以及試驗中故障案例的匯總、分析和比較，對整個試驗過程進行剖析和精細建模，開展關聯度分析、時間序列分析、分類分析、聚類分析、概念分類、偏差檢測、趨勢預測、信息摘要提取等處理，從航天器試驗數據中挖掘專業、工程和管理等維度的隱性知識，形成航天器試驗標準規范、典型流程和模板、過程向導、重用庫等，用于后續航天器設計、制造和試驗，基于知識進行航天器系統研發設計和系統工程管理，從前端避免問題的發生，達到發現新知識、提升新能力的目的。

3.7 虛擬試驗

航天器虛擬試驗是一種基于數字模型的航天器試驗數據產生、獲取、分析和評價的系統工程過程，以建模仿真、虛擬現實和知識工程方法為基礎。大數據提供了一個標準的數據采集、存儲、分析、應用和展示平臺，有力支撐虛擬試驗體系的構建，解決虛擬試驗海量數據、計算復雜度、實時性、開放性、資源分散、數據異構、數據可視化的問題，并可采用各類中間件構建“虛實結合”的數據融合機制，實現數字化設計、虛擬試驗驗證、實物試驗的統一集成。通過虛擬試驗，提前發現并糾正航天器設計和試驗設計的薄弱環節，提高真實試驗的成功率和有效性[14]。如對于安裝了太陽翼和大型在軌可展開天線的航天器，采用數字化模型將機、電、熱等專業知識進行綜合，按照設計數據開展虛擬的入軌展開試驗，對入軌后溫度、展開軌跡、展開過程干涉情況、阻力矩、動力學特性、電纜運動情況進行分析，實現可視化顯示，并給出試驗結論和建議。

4 總結

本文分析了航天器試驗數據的典型特征，設計了用于航天器試驗的大數據系統，闡述了航天器試驗大數據系統的典型應用與展望。大數據技術的引入提高了航天器試驗數據的采集、存儲、處理、分析和應用水平。航天器試驗的信息化建設任重道遠，需根據航天器系統工程特點，密切關注且積極引入當今世界先進的信息化技術和管理思想，并做好本地化工作，實現航天器試驗全業務、全過程、全要素的數字化、模型化、可視化、網絡化、智能化，從而提高航天器研制水平。