導航監測站數據管理系統設計與實現

劉應剛 顧超 侯光華 羅偉

摘? 要：當前導航監測站（簡稱監測站）的監測任務日益繁重，接收和存儲的各類數據隨之增多，如何有效地管理這些監測數據，為提高系統的定位精度和穩定性提供數據支持，成為急需解決的問題。針對這一問題，利用當前成熟的大數據技術開發數據存儲管理系統，改變了使用光盤管理數據的落后方式，解決了海量觀測數據存儲管理的難題，提升了監測站的運維管理質量和效率，為提升衛星導航系統服務性能提供可靠支撐。

關鍵詞：觀測數據? 監測站? 衛星導航? 大數據? HBase? 數據管理

中圖分類號：P208? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ?文章編號：1674-098X（2021）06（a）-0080-05

The Design and Implementation of Data Management System of Navigation Monitoring Station

LIU Yinggang? GU Chao? HOU Guanghua? LUO Wei

（Unit 61773， PLA， Wulumuqi， Xinjiang Uygur Autonomous Region， 831400? China）

Abstract： At present， the monitoring task of the navigation monitoring station （abbreviated as the monitoring station） is becoming increasingly heavy， and all kinds of data received and stored are increasing. How to effectively manage these monitoring data and provide data support for improving the positioning accuracy and stability of the system has become an urgent problem to be solved. In view of this problem， we use the current mature big data technology to develop data storage management system， change the backward way of using CD-ROM to manage data， solve the problem of massive observation data storage management， improve the quality and efficiency of operation and maintenance management of the monitoring station， and provide reliable support for improving the service performance of satellite navigation system.

Key Words： Observation data; Monitoring station; Satellite navigation; Big data; HBase; Data management

監測站是衛星導航系統的關鍵組成部分[1]，為導航業務提供了大量原始監測數據。隨著在軌運行的導航衛星數量不斷增多，監測站的監測任務日益繁重，接收的監測數據成倍增加，年處理數據量在10TB以上，當前采用數據文件來管理和光盤存儲數據的方式已不能滿足實際工作需要。要對這種海量的數據進行存儲管理和分析處理，單臺計算機或服務器已不能滿足數據處理所需要的讀寫速度和計算能力，迫切需要一種新的模式來存儲和管理數據，需要具有更強性能的硬件平臺，利用集群的威力實現高效的計算，完成海量數據的存儲和管理。

為了有效管理這些監測數據，以便后續分析利用監測數據，為系統長期穩定可靠運行提供強有力的支持[2]，從監測站的實際工作需求出發，提出了監測站數據管理系統設計方案，進行了數據管理系統的體系結構、軟硬件設計和存儲管理軟件具體實現的分析。

1? 數據庫設計

1.1 監測數據庫容量分析

目前監測站數據是按照單機存儲文件方式進行組織管理。監測站需長期存儲管理的數據有對衛星導航信號的偽距、載波相位、導航電文等進行監測產生的原始數據[3]，還有氣象設備采集的數據，經過處理后的中間數據，以及設備工況等數據。經過計算，監測站1d存儲各種數據需大約36G的存儲空間;按照一年365d計算，每年需要的存儲空間為36G×365= 13140G，按14T計算;因需要對數據進行長期存儲管理，目前暫定數據的存儲時間為10年，此外光盤存儲的30TB早期數據需入庫管理，則數據庫容量為14T× 10+30=170TB。

1.2 數據庫設計

在本系統的數據庫設計中按照以下4個方面的要求完成對數據庫的設計。（1）數據庫選型。數據存儲管理需要重點考慮數據存儲管理的效率、安全性及可維護性3個方面。（2）數據分類組成分析。（3）進行數據分析、數據重組、數據轉換以及數據加載操作。（4）對數據庫進行評價、調整、修改，經過反復分析得出最終結果，直到數據在工作實際、系統需求上均滿足要求為止。在設計中重點考慮了以下問題。

一是數據庫選型。由于觀測量較多，原始觀測數據表中每天要存儲近30萬條記錄，1年將產生超過9000萬條記錄。對于數量如此之大的表該如何分區進行存儲，并提高查詢效率需認真考慮。按照上述要求和實際情況，確定本系統采用Hadoop平臺構建分布式的數據存儲平臺，使用HBase數據庫代替擴展維護性能差的傳統數據庫[4]，很好地適應了監測站數據量巨大、數據類型多樣、數據關聯關系復雜的特性，提高數據存儲、查詢的效率。本項目數據庫模型采用面向列存儲的HBase數據模型，數據是按列存儲的，方便存儲結構化和半結構化的數據，方便數據壓縮，對針對某一列或者某幾列的查詢有非常大的IO優勢。而這些特點，正好滿足監測站對某些特征數據的長期管理和分析研究需要。

二是數據表設計。按照數據庫設計的基本原則來設計各個數據表，減少數據冗余，兼顧數據存取速度和存儲容量，根據監測站設備和類型作用劃分存儲不同的數據表，存儲不同類型和設備的數據，本系統數據表主要有：原始觀測數據表、衛通數據表、氣象數據表、設備工況表等數據表。以衛通數據表為例，該表記錄衛星通信天線跟蹤衛星的方位俯仰角度、衛通接收信號和衛通發射信號的電平值等信息，作為獨立的數據表進行存儲，表命名為Siglvl，其詳細表結構如表1所示。

三是行鍵（ROWKEY）設計。監測站的觀測數據是以時間為時序，每秒產生一組的觀測數據，設計HBase數據表時要注意以下幾點：Rowkey的唯一性原則，將經常讀取的數據存儲到一塊，將最近可能會被訪問的數據放到一塊;Rowkey長度原則，建議越短越好，不要超過16個字節，從而提高HFile的存儲效率，提高MemStore檢索效率;Rowkey散列原則，防止數據檢索的時候負載集中在個別的RegionServer上，造成熱點問題和域服務器的擁塞，降低查詢效率。行鍵要滿足以上條件，與數據行記錄一一對應，并且數據要能較均衡的存儲在各個域服務節點上，避免“熱點”問題，相鄰的數據盡可能分布在同一臺域服務節點，以減少磁盤I/O，提高數據查詢搜索效率。設計行鍵格式如表2所示，例如第112周第4800秒的數據記錄的行鍵為004800-0112。

四是數據表的預分區。對于數據表預先劃分多個分區，分配到不同的域服務節點上，然后根據Rowkey分配到不同域服務器，既要避免熱點問題，又要避免連續的數據過于分散，防止數據讀取效率低下。

1.3? 數據安全策略

監測站數據的安全性是系統設計時的重點之一。本系統采用HDFS文件系統作為數據存儲及管理的基本策略和實現方式，相比于傳統的關系型數據庫有明顯的優勢[5]。一是大規模數據分布存儲能力，HDFS以分布式存儲方式和良好的可擴展性提供了大規模數據的存儲能力，整個文件系統的容量可隨集群中節點的增加而線性擴展。HDFS不僅可存儲GB級到TB級別大小的單個文件，還可以支持在一個文件系統中存儲高達數千萬量級的文件數量，并且應用程序感覺不到數據在物理上分布存儲在一組不同機器上。二是強大的容錯能力，HDFS將每個文件分成若干個數據塊，通過隨機方式分布存儲在不同數據節點，同時每個數據塊有多個副本，系統能監測硬件故障，并且能自動從故障中快速恢復，確保數據不丟失。三是訪問速度快，HDFS以多節點訪問方式提供很高的數據訪問帶寬，并且可以把帶寬的大小等比例擴展到集群中的全部節點上。

2? 系統實現

2.1 系統的體系結構

本系統中，數據管理（數據的導入和導出）和數據查詢分析模塊中運算較多，并且參與運算的參數多、數據量大，采用C/S結構，以提高系統的運行速度。本系統采用Hadoop平臺構建分布式的數據存儲平臺，使用HBase管理數據，使用JDO進行數據庫的訪問[6-7]，客戶端使用Java語言開發了圖形界面程序和命令行程序，系統結構如圖1所示。

2.2? 系統環境搭建

服務器硬件配置：集群由6臺浪潮英信NF5280服務器組成。配置情為：CPU為雙路 Intel E8300，內存為256G，磁盤為4TB×8。磁盤總容量為192GB，滿足系統需要。選用萬兆交換機可以避免在數據密集型作業中，集群帶寬對系統性能的制約，完全滿足系統數據處理的需求。

服務器軟件安裝及配置主要有以下4個步驟。

（1）安裝操作系統。操作系統選用Red Hat Enterprise Linux開源代碼編譯而成的CentOS 7.2操作系統，滿足集群搭建和運行的系統環境。

（2）系統環境配置。安裝Java運行環境Oracle JDK1.8，關閉防火墻并禁止自動啟動，關閉SELINUX并禁止自啟動，關閉并禁止啟動虛擬網橋，配置DNS域名服務，為每臺服務器配置IP地址，修改每臺服務器的HOST文件配置，配置NTP網絡時間同步，在node1節點服務器上安裝時間同步服務，其它服務器通過網絡與node1進行時間同步，保證集群內時間一致。安裝SSH、配置SSH無密碼登錄。

（3）數據庫軟件安裝。更新系統軟件并安裝MySQL5.6.35，初始化MySQL，更改用戶名密碼，為Cloudera Manager集群管理平臺創建數據庫，將MySQL數據庫的Java驅動拷貝到指定目錄。

（4）Cloudera Manager集群管理平臺安裝。將下載好的CDH Parcels包上傳到node1服務器，安裝cloudera-manager集群管理平臺的服務端，在node1服務器上安裝cloudera-manager-server-5.9.0服務端，并啟動cloudera-scm-server服務，在node1至node6上分別安裝客戶端服務cloudera-manager-agent-5.9.0，并啟動cloudera-scm-agent服務。

（5）Hadoop集群安裝。使用cloudera manager集群管理平臺在6個服務器節點上安裝CDH5.9.0的Hadoop集群。安裝完成后通過查看上面的功能模塊可以查看集群的組件構成，同時還可以繼續添加新的角色服務，如圖2所示，可以查看集群內所有主機的工作狀態。

2.3? 數據庫創建和優化

首先創建各數據表，使用批命令將所有數據表創建好，以衛通數據表創建為例，代碼如下。

數據庫創建結合性能優化一并進行[8]，主要內容如下。一是選取和適當的壓縮策略，經過比較GZip、LZO、SNAPPY三種壓縮方式，考慮壓縮對CPU、內存資源消耗以及處理速度各方面的綜合因素，采用SNAPPY軟件方式對數據進行壓縮。二是提高數據的I/O效率，關閉HTable的AutoFlush屬性，關閉“寫WAL日志”參數，使寫入數據在客戶端進行緩存，直到數據達到達到某個閾值的容量時，批量寫入數據庫。三是優化合并操作，大合并（Major Compaction）過程非常消耗系統資源，默認情況下，執行大合并的周期是1d。結合項目研發實際情況，取消周期性大合并操作，手動控制在系統空閑時刻進行大合并操作。

2.4? 數據存儲軟件實現

將大量的監測數據按照相應的格式存入數據庫是必須解決的問題[9]，即實現本系統中監測數據導入和導出模塊的功能，本功能在客戶端部署。監測站每類數據都有不同的信息幀格式，按照接口協議通過網絡向外播發。播發的信息種類繁多，在程序設計時，要準確把握信息幀格式及內容，根據幀格式定位解幀出相應數據，同時需要考慮檢驗數據幀有效性、程序執行效率、數據格式轉換等多方面的問題。在程序設計時較好解決了原始數據存儲中斷、主備機問題、數據丟秒問題、數據解幀的批量處理等問題。數據存儲軟件的程序流程如圖3所示。

根據實際工作需要，數據存儲軟件分為圖形界面程序和命令行程序，均采用Java語言編程實現數據的解幀和導入大數據平臺Hbase數據庫。圖形界面程序的優點是操作簡單直觀，可視化效果好，缺點是不能批量處理數據。圖形界面程序如圖4所示。

圖形界面程序占用資源較大，每次僅能處理一個數據文件，人工干預較多，不利于批量數據處理。為此，開發了命令行程序，可處理大批量數據，節省數據處理時間。命令格式為：Data.jar [-選項] [源文件] [結果文件]，命令中[-選項]參數用來選擇監測數據類型以及是按照文件處理還是存入Hbase數據庫。

2.5? 監測站數據查詢統計功能

系統要求監測站可以存儲10年的所有數據。監測站數據查詢統計功能則提供對這些數據進行查詢統計，以方便事后分析，按照數據庫的組織方式提供相關的數據查詢、統計、顯示等，方便查閱，監測站數據查詢統計功能界面如圖5所示。

3? 結語

本文對導航監測站數據長期管理進行了探索實踐，對監測站內關鍵的數據進行了入庫管理，解決了海量監測數據存儲管理的難題，提高了工作效率，增強了數據安全性，為后續的監測數據分析、監測站性能評估和故障告警提供強有力的數據支持。

參考文獻

[1] 李洋，李路程.衛星導航系統監測站軟件主備機切換設計和實現[J].現代導航，2021，12（2）：111-115.

[2] 曹紀東，唐桂芬，劉曉萍，等.基于大數據技術的北斗導航信息服務性能提升[J].中國科學：物理學力學天文學，2015，45（7）：1-6.

[3] 劉浩.衛星導航監測關鍵技術研究與實現[D].西安：西安電子科技大學，2019.

[4] 毛江山.基于大數據分析的輸電線路管理系統及故障診斷研究[J].電子測試，2016（24）：101-102.

[5] 楊雪峰.基于大數據的交通信息采集與處理方法研究[D].北京：北京林業大學，2017.

[6] 蔡曉晨，徐勇.基于Hadoop框架在電力大數據技術的探究[J].信息技術與信息化，2019（12）：254-256.

[7] 姜文.基于Hadoop平臺的數據分析和應用[D].北京：北京郵電大學，2011.

[8] 李紹俊，楊海軍，黃耀歡，等.基于NoSQL數據庫的空間大數據分布式存儲策略[J].武漢大學學報：信息科學版，2017，42（2）：163-169.

[9] 王曉明，陳媛.基于Python的數據采集存儲軟件[J].中國無線電，2018（4）：49-51.