民航空管大數據處理平臺架構研究

潘衛軍 劉鎧源 王潤東 左青海

(中國民用航空飛行學院 四川 廣漢 618300)

0 引 言

大數據是近年來受到各行業普遍關注的新概念，大數據技術指通過新的數據處理分析技術對體量大、類型多、來源復雜的結構化、半結構化和非結構化數據進行高速采集、傳輸、分析，挖掘潛藏的數據價值。

空管行業具有應用大數據技術解決業務需求的天然環境，空管業務過程中涉及到的人員機構職能眾多，據實地統計，一個典型的民航空管單位(空管分局(站))一年收集到的數據就超過20 TB，全國民航空管一年運行產生的數據至少在PB級別以上[1]。空管業務過程中的參與單位既是空管數據的生產者和使用者，又能夠收集、維護運行過程中產生的海量數據，具備構建空管大數據處理平臺的數據資源。

空中交通管理過程涉及的海量數據除了業界普遍認可的大數據4V特征[2]，Volume(數據量大)、Velocity(速度快)、Variety(多樣化)、Value(價值密度低)，還具有以下兩個新的特征：

(1) Veracity(真實性)。不同于其他行業大數據的來源普遍帶有主觀性，空管數據直接采集自各業務單位數據系統，數據是真實有效的，數據的處理分析結果也是更加精準的，在管制決策應用中是安全可靠的。

(2) Complexity(復雜性)。空管數據來源多、種類多、格式多、非結構化數據占比大、對數據處理和分析的難度大。

隨著空管行業信息技術水平的發展，通信、導航、監視新技術涉及到的智能終端在空管系統中被快速推廣應用，空管業務產生的數據量必將快速增長，數據類型、來源將不斷增多。空管系統中落后的數據處理應用能力，導致數據分析挖掘受限、非結構化數據缺乏有效利用等問題，制約了空管行業向信息化智能化的發展。

美國在空管大數據建設方面處于領先地位，20世紀90年代開始FAA針對空管運行過程的不同階段和業務需求，建設了美國國家飛行數據中心(NFDC)，研發了全域信息管理系統(SWIM)、FAA運行與效能數據系統、增強型交通管理系統(ETMS)、NAS語音系統等多種空管大數據處理系統，并對運行過程中產生的數據進行數據挖掘、二次開發，以此來應對日益增長的航空運輸壓力，并提升空管運行安全能力和效率[3-10]。

國內在空管大數據的應用方面開展了相關研究。在空管智能化技術[11]、民航機場協同決策系統[12]、空管運行安全數據[13-14]方面有一些研究，但沒有形成支撐空管大數據處理平臺的相關技術體系，在空管系統數據處理挖掘方面也沒有自身的大數據平臺。隨著空管行業信息化技術水平的提高，對數據實時處理、數據挖掘方面需求越來越迫切。空管大數據應用與其他行業大數據應用在存在很大差異，現有大數據處理平臺并不能在容錯性、可靠性、實時性上完全適用于空管行業，因此針對空管大數據處理開發平臺顯得非常必要且迫切。

本文針對空管業務需求，對空管大數據處理平臺總體架構、功能、基礎平臺組成以及數據處理技術進行了研究，為空管大數據平臺的開發與應用奠定基礎。

1 平臺總體架構

空管大數據處理平臺架構設計主要包括硬件層、資源層、數據層、處理層及應用層設計。

圖1 空管大數據處理平臺架構

空管大數據處理平臺的底層為硬件層，硬件層為大數據處理平臺提供物理硬件支撐，主要由防火墻、文件服務器、數據庫服務器、網絡資源、存儲陣列等組成，為上層數據存儲處理平臺提供通信、網絡、存儲、計算等資源。采用虛擬化基礎平臺和硬件基礎服務平臺組成，完成對虛擬資源、業務資源、用戶資源的集中存儲和計算，同時通過統一的接口，對虛擬資源進行集中調度和管理，從而降低了空管大數據處理業務的運行成本，保證了系統的安全性和可靠性，構建安全、綠色、節能的大數據處理中心。

資源層設計主要目標為通過統一的數據平臺對空管業務數據進行集中匯集存儲，并通過建立定性或定量的數據分類、安全分級標準和政策，剔除其中的無效數據,僅對完整、存在潛在價值的數據進行處理，對涉密數據進行嚴格安全管理，提升數據的有效性、規范性、安全性，為數據交換、數據處理、挖掘預測類等子平臺提供全面、一致的數據基礎。打破現有空管系統數據來源多、格式多、數據處理復雜的現狀，提升處理平臺建設和運行效率。確保空管業務各級部門均在保證數據隱私和安全的前提下使用數據，充分發揮數據作為空管行業重要資產的潛在價值。

數據層采用開放式X86架構的PC服務器搭建Hadoop分布式系統集群架構[15],基于Hadoop的HDFS集群主要解決了空管大數據的存儲問題，隨著空管運行數據的爆炸式增長，一味地靠增加硬件數量來提高存儲量和計算能力，不僅成本高，而且效率低。Hadoop的搭建只需要普通的PC機，分布式文件系統HDFS，分布式計算引擎MapReduce，兩大組件都屏蔽了分布式及并行底層技術細節問題，使用起來簡單方便。

數據層設計包括數據交換設計和數據存儲索引設計，數據交換設計包含結構化數據交換組件、半結構化數據交換組件、非結構化數據交換組件三類數據交換組件。數據交換的設計目標有以下幾點：保證數據在平臺內高速流轉；保證數據交換過程中不失真；保證數據交換過程中不丟失；保證數據交換過程安全可靠。

結構化數據交換組件通過Perl+Hive Load技術實現，面向空管業務系統產生的結構化數據進行處理，包括存儲在Oracle、SQLSever、MySQL和MongoDB等傳統數據庫中的空域信息、航班計劃、雷達監視數據等。半結構化、非結構化數據交換組件通過SFTP協議批量進行數據傳輸，并開發JAVA應用調用資源層API，將抽取到的數據加載到分布式數據存儲平臺HDFS指定目錄，面向空管業務中產生的陸空通話語音、監控視頻、音頻、office文件等數據。數據交換采用NAS網絡存儲設計，如圖2所示。數據交換存儲設計中元數據區用來存儲大數據平臺各個Hadoop集群的元數據信息，如HDFS文件系統元數據；數據導入導出臨時數據區用來暫存數據資源層推送平臺每日推送的管制、通信、導航、監視、氣象等提供的業務系統變化數據以及暫存數據處理層處理計算結果；ETL(Extract-Transform-Load)數據處理程序區將數據加工處理程序(數據壓縮、數據加載、數據處理等)統一存儲在NAS集群指定目錄。

圖2 數據交換存儲設計

數據存儲索引設計將Elasticsearch與Hadoop中HDFS分布式文件系統深度集成，Hadoop的兩大核心HDFS和MapReduce為大數據存儲和分析提供了解決方案，但在實時搜索分析方面Hadoop還仍有欠缺。ElasticSearch是一個開源的分布式搜索引擎，將全文檢索、數據分析以及分布式技術設計用于大數據檢索，能夠進行實時搜索、交互式數據探索，并且可與Grafana、Kibana等數據可視化工具集成，提供給平臺應用層進行數據可視化展示。Elasticsearch-HDFS將Hadoop海量的數據存儲和深度加工能力與Elasticsearch實時搜索和分析功能進行連接，能夠在Elasticsearch和Hadoop之間輕松地雙向移動數據。通過數據交換組件的數據首先存入HDFS，然后與Hive結合來實現對數據的實時訪問、實時結構化、全文檢索，從而減少篩選數據量，同時借助HDFS作為存儲庫進行長期存檔，并依托Hadoop API的動態擴展構建動態嵌入式搜索應用來檢索HDFS數據，執行深度低延時分析，彌補了HDFS不能執行低延時數據訪問的不足。

數據處理包括數據批處理和數據流處理兩種方式。將存儲在HDFS中空管業務產生的結構化、半結構化、非結構化數據，通過MapRedurce進行結構化處理，并按照主題數據模型整合數據并生成匯總，將數據通過批處理和流處理計算引擎加工后，結果交付到應用服務層。

應用服務層設計主要將處理層的數據，通過Office集成、儀表盤、靜態報表、Web展示等可視化方法，針對空管業務一線單位，以及運行監控中心等業務需求提供定制化服務，為一線空管部門正確決策提供支持，保證管制服務安全有序，提升管制指揮、運行智能化水平。

2 基礎平臺組成

空管大數據處理基礎平臺采用基于Hadoop集群架構，Hadoop的分布式文件系統HDFS具有高容錯性、高吞吐量的特點，適合超大數據集的應用程序，滿足了處理平臺對大型數據集存儲分析的應用需求。HDFS由Java開發，可以在支持Java的機器上部署，并通過多副本機制，自動保存多個副本，某一個副本丟失以后，可以自動恢復，提高了空管大數據處理平臺的可靠性和容錯性。HDFS的“一次寫入，多次讀取，只能追加，不能修改”機制，保證了空管大數據的一致性，并且支持空管一線單位及機場運行監控中心多用戶的高吞吐量訪問。

HDFS放寬了可移植操作系統的要求，能實現以流的形式訪問存儲系統中的數據。空管業務中管制指揮涉及到的飛行數據、航路航線情況數據、實時天氣數據是以流的形式存儲在大數據處理平臺中。一個HDFS集群通常包含名稱節點和數據節點。名稱節點管理著文件系統的名稱、空間，并規范客戶端對文件的訪問權限，以及對各個數據節點進行統一調配。數據節點主要對空管業務產生的相關數據進行存儲。HDFS架構如圖3所示。

圖3 HDFS架構

2.1 名稱節點

名稱節點在空管大數據處理平臺作為Master服務器，提供集中式的集群管理功能，主要用于管理HDFS文件系統命名空間，執行文件系統命名空間操作，如文件打開、關閉，目錄結構等集群管理功能，并調節客戶端對文件的訪問，還確定塊到DataNodes的映射。若名稱節點終止，則對應的Hadoop集群服務也會停止，名稱節點對穩定性要求高，因此空管大數據處理平臺的名稱節點應使用穩定的小型服務器，保證集群工作的可靠性和性能。

2.2 數據節點

數據節點是一個通常在HDFS架構中的單獨機器上運行的組件，管理連接到運行的節點的存儲和讀寫。HDFS將一個文件分割成很多塊，這些塊可能存儲在一個數據節點上或者是多個數據節點上。數據節點響應來自名稱節點的創建、刪除和復制塊的命令。空管運行的數據在數據節點上是分布式存儲的，可以通過HDFS在集群數據節點進行數據平衡分配和備份，在故障的情況下也能可靠地存儲數據，保證集群計算效率和安全。

3 平臺計算引擎

3.1 批處理計算引擎

批處理計算引擎應用于流量預測、沖突預測、跑道侵入預測、尾流間隔縮減等空管業務模塊。流量預測功能采集每天所有機場的航班計劃，通過大數據技術分析航班的飛行時間、航線、高度、結合空域、天氣、機場運行狀況等信息預測未來某一時段管制空域或機場的流量，從而合理安排航班進離場順序、繞滑行道使用安排、管制人員值班計劃等，有效提升管制運行安全水平和效率。同時通過對飛行時間、飛行高度進行大數據分析，完成對航路潛在沖突的預測功能。批處理計算引擎主要面向航司、空管部門提供的航班時刻表、飛行計劃報、空域信息等歷史積累數據。

空管大數據處理平臺采用Apache Spark批處理計算引擎應對空管生產業務過程中積累的PB級歷史數據。Apache Spark與Hadoop中MapReduce引擎基于相同原則開發而來。不同于MapReduce數據處理流程中每一步都需要一個Map和一個Reduce階段，Apache Spark采用內存迭代計算模型，加快了批處理的運行速度，在處理完一個階段以后，可以繼續處理多個階段，消除了MapReduce的有限處理限制，提供了更強的計算功能。但Apache Spark在分布式存儲方面本身并沒有自身的分布式文件系統，因此磁盤存儲大多依賴于處理平臺的文件存儲系統。空管大數據處理平臺將Apache Spark集成在Hadoop的分布式文件存儲HDFS中，與Hadoop深度集成并取代MapReduce引擎，為處理平臺提供了更強大的計算功能。Apache Spark運行架構如圖4所示。

圖4 Apache Spark運行架構

Apache Spark支持Standalone、Spark on Mesos和Spark on YARN三種分布式部署方式，并支持HDFS、Cassandra、AmazonS3等接口的連接，為空管大數據處理平臺提供多種數據存儲解決方式，并允許用戶將數據加載至存儲器中，支持對其多次查詢，并集成了多種算法，支持交互式查詢、數據挖掘、統計分析、深度學習等常見的空管大數據處理場景，為空管大數據處理平臺提供了有力的支撐。

3.2 流處理計算引擎

空管業務對大數據處理平臺的實時性、快速性、準確性要求非常高，需要實時獲取飛機在飛行過程，場面運行過程中的各類數據信息，進而實時監控管制空域內飛機的運行狀態。實時監控模塊的數據來源通常是ADS-B、ACARS報文、場面運行等，包含飛機的位置、高度、速度、航向、識別號等重要信息[16]，對空管指揮、現場運行等業務來說，這些數據的價值隨著時間的流逝而迅速降低。大數據處理平臺迅速的流數據處理能力能輔助管制員對飛機的運行狀態進行實時監控，意味著管制人員可通過實時監控來判斷飛機或者機長的行為是否正當。當特情發生時，管制人員可迅速分析判斷特情原因，組織調度相關技術人員、地面工具等，一旦飛機降落，迅速進行故障解決，提高效率。目前，應對實時流計算引擎主要包括：Apache Flink,Yahoo的S4,Twitter的Storm和Facebook的Puma。空管大數據處理平臺對數據處理的實時性、準確性、容錯性要求極高，對比目前主流的流計算引擎性能，空管大數據處理平臺采用Apache Flink流處理計算引擎。

Apache Flink是一個開源的分布式的高容錯大數據流處理引擎，面向數據提供流處理(無邊界數據流)和批處理(有邊界數據集)兩種數據處理方式，并支持多種編程語言，既能兼容空管大數據處理平臺中相關的傳統數據庫、各類文件系統等數據源，也可以作為獨立集群運行，還能與所有常見的集群資源管理器(如Hadoop YARN、Apache Mesos和Kubernetes)集成，從而針對不同管制業務部門需求開發實時計算系統。Apache Flink運行在大數據處理平臺數據層搭建的開源Hadoop集群上，采用Hadoop的YARN作為資源管理器，以HDFS作為數據存儲。因此，Flink可以和空管大數據處理平臺實現無縫對接。

Flink在運行中主要有三個組件組成:工作端,主節點和從節點。用戶首先提交Flink程序到工作端，經過工作端的處理、解析、優化提交到主節點，最后由從節點運行工作單元。Flink處理架構如圖5所示。

圖5 Flink處理架構

在實現流處理和批處理時不同于現有的開源計算方案把流處理和批處理作為兩種處理類型，而是將批處理也作為流處理的一種，只是它的輸入被定義為有界數據集。Flink以數據緩存塊為單位進行數據傳輸，不同于別的執行引擎數據記錄必須填滿緩沖器才會被發送到緩存區，Flink可以通過指定緩存塊的超時值來決定數據的傳輸時機。流處理一般需要低延遲支持，Flink在進行流處理時將超時值設置為0，此時系統的處理延遲最低，但吞吐量也降低，可以通過調節緩存塊的超時值來調節系統延遲和吞吐量的沖突，達到在高吞吐量的同時實現毫秒級的數據分析處理，符合空管大數據處理平臺對吞吐量和低延時性的高要求，為實時性要求極高的空管業務提供支撐服務。

4 平臺應用分析

通過搭建空管大數據處理平臺為空管大數據提供存儲、計算、分析能力，將通信、導航、監視、氣象、空域信息、航線情況、陸空通話、廣播報文、電子進程單等數據通過相應工具采集到大數據分析平臺中，存儲到Oracle、SQLSever、MySQL和MongoDB等數據庫中，并通過不同的數據交換組件存儲在分布式文件存儲系統中對各類空管數據進行有效地融合。通過批處理和流處理計算引擎，對空管業務數據進行快速處理，并依托不同的可視化工具，提供給空管業務部門，對實時性要求極高的空管業務進行支持。為空管大數據分析者提供各類數據分析的工具，讓空管大數據的應用者不需要關注底層大數據開發技術，只需要專注于業務開發，解決空管一線業務單位面臨的問題。最終驗證了本平臺架構的可行性。

5 結 語

伴隨著民航業的快速發展和空管行業信息化建設的深入開展，智慧空管已經成為空管行業發展的方向和趨勢，智慧空管的最終目標是建設成為覆蓋空管系統整個生產過程的全景實時系統。而支撐智慧空管安全、高效、可靠運行的基礎是空管系統數據實時采集、傳輸、存儲，以及在運行過程中對累積的海量多源異構數據快速準確處理分析。基于大數據技術的空管數據處理平臺為智慧空管的建設提供了平臺技術支持，空管大數據處理平臺為流量預測、沖突探測、侵入告警等空管業務提供支撐，有助于空管行業打破信息孤島，實現行業數據共享，滿足行業數據需求，對我國空管行業邁向智慧空管有著重要的意義。