基于大數據的空間目標監測數據管理系統設計與應用*

陳洪雁，張大偉，萬俊偉，齊宏為

（北京跟蹤與通信技術研究所，北京100094）

0 引言

空間目標監測站的主要任務是利用各類設備采集、處理、傳輸空間目標識別監測數據，并保證系統設備長期連續穩定運行。監測站采集和管理的數據包括軌道及態勢數據、支持數據（地球自轉、太陽輻射、地磁指數、事件分析）、已發生數據（發射、隕落、碰撞、解體）、未來數據（碰撞預警、隕落預報）等數據，以及原子鐘、衛通系統等設備工況數據。隨著我國航天事業的穩步發展，空間目標探測與識別試驗系統的信息數據獲取、處理能力的逐步提升，系統將逐步形成實用化的空間目標監視信息支持能力，監測站的數據質量是空間目標探測與識別試驗系統整體性能、服務水平、設計指標的最直接、最準確的體現。由于各種原因，監測站觀測數據的管理和深度應用方面還存在一些問題，需要研究解決。

1 現狀與問題

1.1 數據管理方法落后

目前，監測站實時接收空間目標探測與識別數據，每天產生幾十萬行的數據記錄，數據量達到了幾十吉比特，相應每年產生它比特量級的數據，而且隨著空間目標探測與識別試驗信息系統的發展建設，空間目標數目不斷增多，每年產生的觀測數據還在成倍增加。當前采用計算機單機采集、編目、短期硬盤存儲、長期光盤刻錄的方式管理數據，對某個特征數據的長期變化（一年或者幾年）進行分析，需要讀取光盤和解壓、解幀每天的原始觀測數據，才能進行相應的數據分析，耗時費力，效率低下。此外，光盤的損壞、丟失都給數據的安全性帶來很大的隱患，不利用數據的長期存儲管理。

1.2 數據利用效率不高

監測站各類數據主要用以完成實時原始觀測數據采集成功率、衛通數據發送成功率、測量數據一致性和合理性、軌道及態勢數據等基礎數據，偽距測量精度分析、載波周跳分析、測量值的單雙差分析等簡單數據處理，監測站各類數據互相獨立，缺乏橫向之間的相關關系分析，目前還沒有有效手段來深入挖掘海量觀測數據中蘊藏的有效信息，對更長周期的監測站參數指標的分析處理比較困難，無法為系統狀態評測、故障預判和性能分析提供支持。

1.3 分析方法研究不多

目前，在空間目標識別試驗信息領域，關注于用戶層面的服務性能監測與評估研究較多，關注于監測站日常運行管理研究不多，監測站運行管理存在著重事后監測、輕事前預警的問題。特別是從監測站觀測數據層面分析系統性能，運用大數據技術對監測站觀測數據進行深入分析挖掘，建立平臺進行管理、分析、評估的研究不多。同時綜合運用多個監測站數據、差分增強改正數據、用戶終端數據等多維導航數據，挖掘監測站與用戶端數據的閉環結構關系，研究探索多維數據相關性與影響規律，這類研究目前較少。

鑒于上述現實問題，有必要建立一個管理系統，將系統運行管理與日常監測評估有機結合，促成分析趨勢、預報問題、及時處理的良性互動，實現運行與服務的深度耦合。完成對監測站數據的采集、傳輸、存儲、管理、實時分析、顯示和預警、告警，實現數據的高效安全管理。利用各監測站觀測數據，分析挖掘系統及設備運行狀態和規律，查找隱患，提供監測站運行狀態的預測評估，為監測站、空間目標識別試驗信息系統的穩定運行、評估預警提供數據支持。

2 系統總體框架

按照數據從采集到使用的先后順序，從左至右流動，分為數據源、數據管理、數據挖掘、質量評估和數據訪問?？蚣芙Y構如圖1 所示。數據源從監測站和用戶終端獲取數據，通過數據解幀軟件得到原始觀測數據，并將數據存儲到管理分系統中，經過數據挖掘對監測站和用戶終端數據進行全量分析，得出各測量值和工況信息之間的相互關系，建立監測站系統狀態和用戶機定位性能的評估模型，真實客觀地反映監測站和系統服務性能的變化。

2.1 數據源采集

監測站數據包括監測接收機接收的多通道偽距測量值、多通道載波相位觀測值、多通道載噪比觀測值、多頻點多普勒觀測值和干擾電平監測值、軌道及態勢數據、氣象數據等觀測數據，空間目標識別系統、網絡通信、原子鐘系統等設備工況數據，數據預處理等數據。用戶機數據包括偽距值、星歷、環路鎖定、差分改正信息、定位結果、定位成功率等信息。

2.2 數據管理

將數據進行存儲之前首先對采集到的數據進行預處理，按照粗差理論、數據特性先驗信息、數據處理要求對數據進行粗差剔除，清除無效數據。同時對原始數據合理性、多路數據一致性、目標信號完好性進行檢驗。將預處理后的觀測數據存入HBase 非關系數據庫中，代替使用光盤保存數據的模式，提升數據存儲和讀寫效率，實現大規模數據的隨機實時訪問。

2.3 數據挖掘

使用R 語言結合Hadoop 平臺對監測站和用戶機數據進行挖掘，發現各類觀測數據之間的隱藏關系，如載噪比和偽距測量精度、軌道角度和偽距測量精度、多普勒值和載波相位等之間的關聯關系，探索監測站周圍電磁環境的變化對測量數據精度的影響等。

2.4 質量評估和數據訪問

根據故障案例的特征數據建立模型，對監測站運行狀態進行評估預警。根據特定業務需求，采用圖表結合的方式生成相關數據分析結果，方便查詢統計分析。

圖1 系統總體結構示意圖

3 關鍵技術實現

3.1 數據管理平臺設計及實現

監測站生成的海量數據的存儲管理和分析處理，需要可擴展性強、易于維護、具有可伸縮、計算處理能力強大的平臺來實現。根據業務數據處理的需求選擇Hadoop 大數據處理平臺搭建，滿足業務數據對安全容錯性、數據量可擴展、高效讀寫的需求，同時在HDFS 分布式文件存儲系統之上建立HBase 非關系數據庫，不但具有HDFS 的優點，可以實現對業務數據的實時隨機讀寫訪問，而且使得數據統計處理變得非常簡單。監測站大數據平臺網絡拓撲如圖2 所示。

圖2 數據管理平臺網絡拓撲圖

在滿足早期監測站數據存儲要求的基礎上，考慮到監測站的年度數據在TB 量級，集群在不增加節點的情況下滿足未來3 年的需求，選用HDFS 的默認備份策略（即副本數為3），經過計算集群的初始存儲能力至少為120 TB。基于此并考慮Hadoop 的計算需求，綜合成本因素，硬件構成如下：6 臺PC 服務器（內存：256 GB，硬盤：20 TB），其中包括1 臺NameNode節點、1 臺SecondaryNameNode 節點（與1 臺從節點合并使用）、5 臺從節點，集群存儲能力達到120 TB，滿足項目數據處理的需求，并且可以根據需要動態擴展。選用萬兆交換機以滿足集群對網絡帶寬性能的要求。

數據庫軟件選型方面，采用NoSQL 數據庫進行數據存儲，數據庫模型采用面向列存儲的HBase 數據模型，數據是按列存儲的，方便存儲結構化和半結構化的數據，方便數據壓縮，對針對某一列或者某幾列的查詢有非常大的I/O 優勢。而這些特點，正好滿足對監測站某些特征數據的長期分析研究需求。數據庫設計方面，根據監測站設備和類型作用劃分存儲不同的數據表，存儲不同類型和設備的數據，主要有：監測接收機原始觀測數據表、數據預處理打包數據表、衛通天線跟蹤數據表、衛通接收電平數據表、衛通基帶數據表、氣象觀測數據等表。

3.2 數據分析挖掘設計及實現

數據分析挖掘設計主要由以下6 個功能模塊構成：載波相位周跳探測評估模塊、數據質量綜合分析模塊、多路徑效應評估模塊、電離層監測分析評估模塊、衛星軌道外推性能評估模塊、監測接收機完好性監測模塊，如圖3 所示。

圖3 數據分析挖掘功能模塊

載波相位周跳探測評估模塊功能是精確探測統計監測接收機載波相位觀測數據的周跳，并評估接收機載波相位周跳探測的性能。由于監測接收機處于靜態，采用多項式擬合法比較合適。

數據質量綜合分析模塊功能是根據數據質量分析理論，建立監測站導航信號質量分析標準模型，綜合分析和統計觀測數據質量。對偽距觀測數據、相位觀測數據進行單差、雙差組合分析，提取其變化信息，對衛星測距信號、載波相位信號質量及監測接收機工作穩定性進行評估。

多路徑效應評估模塊功能是利用載波相位數據、偽距觀測數據，進行線性組合，提取偽距觀測數據上的多路徑變化量，并用載波相位平滑偽距；最后根據多路徑效應的特性，對監測站觀測環境和接收機抗多路徑效應能力進行評估。

電離層監測分析評估模塊功能是利用雙頻觀測數據解算電離層的時間序列，評估多頻數據對電離層監測能力的穩定性，并評估監測電離層對測距質量的影響。

目標軌道外推性能評估模塊功能是根據目標星歷計算評估精確動力學模型外推目標軌道技術，主要評估隨著外推時間延長帶來的誤差積累影響。

監測接收機完好性監測模塊功能是利用接收機自身的冗余觀測量進行衛星故障的檢測識別。它無需外部設備的輔助，花費較低，容易實現,是目前應用較為廣泛的一種完好性監測方法。主要通過偽距偏差值的計算進行一致性校驗。

3.3 設備狀態預警評估分系統設計及實現

根據監測站獲取大量觀測數據，研究業務數據評估分析模型，通過對各類數據的分析挖掘，尋找各類參數指標之間的相關關系，分析和提取系統運行的趨勢和規律，實現系統設備狀態預測和預警評估。采用觀測數據測量質量分析、多頻觀測數據電離層分析、多路徑檢測與分析、載波相位周跳探測與修復，以及導航信號載噪比、多路徑分析值和偽距測量值的精度、載波相位周跳等測量值的關聯關系等分析方法和手段，通過長周期的數據分析挖掘和對故障案例的參數分析比對建立監測站運行模型，為監測站系統預警評估提供數據支撐。

系統故障告警主要從系統綜合狀態顯示、分系統詳細狀態實時監測、性能指標實時監測、導航信號實時監測、衛星軌道預報顯示、告警門限設計等方面來實現。同時建立系統典型故障庫，對可能出現的故障部位和節點建立邏輯樹關系，分析其中的相互關系，從實時指標變化推斷系統設備運行狀態和健康狀況、從分系統綜合狀態預判系統可能出現故障的部位，根據可能出現的故障提前進行維護維修或者更換備件，制定預案，從而提前預判設備故障，提前進行預警，實現主動受控式的預警功能。

另外，可利用用戶端接收信號的質量、定位精度等來反推監測站運行狀態，建立從系統到用戶的閉環結構，打通系統設備狀態和性能影響的雙向反饋鏈路，從系統數據和用戶數據兩個維度，相互驗證，達到預警評估的目的，提升監測站的運維管理質量和效率。

3.4 導航數據融合評估系統設計及實現

該部分主要研究融合監測站系統運維數據和用戶端定位數據，建立監測站、差分增強接收終端、用戶接收終端間的網絡閉環結構。在監測站數據管理平臺的基礎上，建立差分增強數據接收子系統和用戶接收終端數據處理子系統。利用大數據技術融合分析并研究探索監測站、差分增強改正、用戶接收終端數據等多個維度數據間的影響與規律。

4 結束語

本文設計實現監測站數據管理系統，改變了使用光盤刻錄保存數據的落后模式。同時深入分析挖掘海量導航數據中蘊藏的有效信息，分析監測站各項數據間的相關性與耦合性，研發觀測數據分析和評估模型，實現了監測站數據質量實時分析評估，為系統狀態判斷提供有效判斷依據。研究探索空間目標探測與識別試驗系統監測站業務運維模型，建設主動受控式設備預測分析與故障預警系統，實時監測系統的整體運行狀態和性能，改變傳統“救火式”的被動工作方式，變事后應急搶修為事前分析預測，最大限度避免系統重大故障發生，大幅提升監測的運維管理質量和效率。本項目可用于單個監測站，也可聯合多站數據、差分增強改正數據、用戶終端數據，實現從大系統到用戶端閉環結構所有數據的分析挖掘，為空間目標探測與識別試驗系統服務性能提升提供可靠的綜合處理平臺。■