民航機(jī)場應(yīng)急救援大數(shù)據(jù)處理平臺架構(gòu)研究?

潘衛(wèi)軍 劉鎧源 朱新平 王 玄 王少杰

（1.中國民用航空飛行學(xué)院 廣漢 618300）（2.中國國際航空公司西南分公司運(yùn)行控制中心 成都 610200）（3.威海國際機(jī)場集團(tuán)有限公司 威海 264200）

1 引言

民航機(jī)場應(yīng)急救援是應(yīng)用大數(shù)據(jù)技術(shù)解決實(shí)際問題的絕佳場景，機(jī)場應(yīng)急救援任務(wù)過程中涵蓋的人員、設(shè)備、部門眾多，一次行動(dòng)有機(jī)場、消防、醫(yī)院、通信、政府等多家單位參與，2020 年10 月16 日中國民航歷史上規(guī)模最大的機(jī)場應(yīng)急救援綜合演練在上海浦東國際機(jī)場展開，演練共涉及浦東國際機(jī)場、機(jī)場公安局等14 家單位800 余人，各類設(shè)施設(shè)備100 余臺。據(jù)相關(guān)資料實(shí)地統(tǒng)計(jì)，一次應(yīng)急救援行動(dòng)需要處理的不同部門提供的數(shù)據(jù)量在TB級別，全民航累積的歷史數(shù)據(jù)量在PB級別左右，從數(shù)據(jù)體量及數(shù)據(jù)種類、數(shù)據(jù)來源上來說完全具備搭建機(jī)場應(yīng)急救援大數(shù)據(jù)處理平臺的數(shù)據(jù)資源。

應(yīng)急救援過程中產(chǎn)生的海量數(shù)據(jù)除了一般大數(shù)據(jù)的4V特征［1］，還擁有以下兩個(gè)新特點(diǎn)：1）Accu?rate（精準(zhǔn)性）數(shù)據(jù)來源于協(xié)同單位的數(shù)據(jù)系統(tǒng)，數(shù)據(jù)是精準(zhǔn)有效的，運(yùn)用在應(yīng)急決策中是可靠的。2）Complexity（復(fù)雜性）救援決策中依賴的數(shù)據(jù)來源部門多、數(shù)據(jù)種類繁雜、數(shù)據(jù)格式不統(tǒng)一、非結(jié)構(gòu)化數(shù)據(jù)較多、對數(shù)據(jù)處理和分析的難度很大。

國外在機(jī)場應(yīng)急救援建設(shè)方面處于領(lǐng)先地位，1990 年開始FAA 針對機(jī)場運(yùn)行過程中的數(shù)據(jù)處理需求，研發(fā)了全域信息管理系統(tǒng)、增強(qiáng)型交通管理系統(tǒng)、NAS 語音系統(tǒng)等多種機(jī)場數(shù)據(jù)處理系統(tǒng)，并對運(yùn)行過程中產(chǎn)生的數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，二次開發(fā)，以此來提升機(jī)場運(yùn)行安全能力和效率［2～9］。國內(nèi)在機(jī)場應(yīng)急救援方面，從機(jī)場應(yīng)急救援系統(tǒng)架構(gòu)［10］、機(jī)場協(xié)同決策系統(tǒng)［11］、機(jī)場運(yùn)行安全［13～14］、機(jī)場應(yīng)急預(yù)案推演［15～16］等方面展開了研究，但沒有形成系統(tǒng)性的支撐機(jī)場應(yīng)急救援大數(shù)據(jù)處理的技術(shù)體系，也沒有搭建相關(guān)的大數(shù)據(jù)平臺，因此開發(fā)機(jī)場應(yīng)急救援大數(shù)據(jù)處理平臺顯得非常必要且迫切。

本文針對機(jī)場應(yīng)急救援行動(dòng)中的決策需求，對機(jī)場應(yīng)急救援大數(shù)據(jù)處理平臺的整體架構(gòu)、平臺功能、基礎(chǔ)組成以及數(shù)據(jù)處理技術(shù)展開了研究。

2 機(jī)場應(yīng)急救援大數(shù)據(jù)處理平臺總體架構(gòu)

機(jī)場應(yīng)急救援大數(shù)據(jù)處理平臺架構(gòu)設(shè)計(jì)主要包括硬件層、數(shù)據(jù)層、處理層及應(yīng)用層設(shè)計(jì)，如圖1所示。

數(shù)據(jù)層通過統(tǒng)一的數(shù)據(jù)平臺對應(yīng)急救援行動(dòng)過程中產(chǎn)生的實(shí)時(shí)數(shù)據(jù)及歷史數(shù)據(jù)進(jìn)行集中聚合存儲，并針對不同類型的數(shù)據(jù)建立對應(yīng)的數(shù)據(jù)分類標(biāo)準(zhǔn)，剔除無效數(shù)據(jù)，提升數(shù)據(jù)有效性、規(guī)范性。為處理平臺提供全面一致的數(shù)據(jù)基礎(chǔ)，打破現(xiàn)有應(yīng)急救援指揮系統(tǒng)數(shù)據(jù)種類多、格式多，數(shù)據(jù)難統(tǒng)一處理的現(xiàn)狀，充分發(fā)揮數(shù)據(jù)在應(yīng)急救援行動(dòng)中重要的潛在價(jià)值，提升平臺建設(shè)和運(yùn)行效率。

數(shù)據(jù)層包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化三類數(shù)據(jù)數(shù)據(jù)交換組件及數(shù)據(jù)存儲索引，將存儲在傳統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)通過數(shù)據(jù)交換組件交換到HDFS集群中。結(jié)構(gòu)化數(shù)據(jù)交換組件通過Perl+ Hive Load實(shí)現(xiàn)，處理機(jī)場應(yīng)急救援過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，包括存儲在傳統(tǒng)數(shù)據(jù)庫中的救援車輛、裝備、人員、水源、飛機(jī)結(jié)構(gòu)等信息。半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)交換組件調(diào)用資源層API，依托SFTP 協(xié)議對應(yīng)急救援行動(dòng)中產(chǎn)生的通話語音，監(jiān)控視頻文件等數(shù)據(jù)批量傳輸，并將其加載到分布式數(shù)據(jù)存儲平臺HDFS目錄。

圖1 空管大數(shù)據(jù)處理平臺架構(gòu)

數(shù)據(jù)存儲索引設(shè)計(jì)將Elasticsearch 與HDFS 集成Elasticsearch-HDFS，同時(shí)擁有Hadoop 的海量數(shù)據(jù)存儲和Elasticsearch 實(shí)時(shí)分析能力，構(gòu)建動(dòng)態(tài)嵌入式搜索應(yīng)用來檢索HDFS 數(shù)據(jù)，能使HDFS 執(zhí)行深度低延時(shí)分析。通過數(shù)據(jù)交換組件的數(shù)據(jù)先進(jìn)入HDFS 存儲，再與Hive 結(jié)合來減少實(shí)時(shí)數(shù)據(jù)訪問的篩選量。

數(shù)據(jù)處理層主要通過調(diào)用底層數(shù)據(jù)處理資源，對處理平臺中的數(shù)據(jù)進(jìn)行批處理和流處理計(jì)算加工后，結(jié)合機(jī)器學(xué)習(xí)，深度學(xué)習(xí)，數(shù)據(jù)挖掘等處理方式，整合數(shù)據(jù)模型并生成匯總，并將數(shù)據(jù)處理結(jié)果傳遞到應(yīng)用服務(wù)層。

應(yīng)用服務(wù)層設(shè)計(jì)主要將處理層的數(shù)據(jù)，通過數(shù)據(jù)報(bào)表、數(shù)據(jù)動(dòng)態(tài)展示等數(shù)據(jù)可視化方法，針對救援行動(dòng)中的不同單位需求提供定制化服務(wù)，為救援決策提供數(shù)據(jù)分析處理支持，提升應(yīng)急救援效率，減少人員財(cái)產(chǎn)損失。

硬件層為機(jī)場應(yīng)急救援大數(shù)據(jù)處理平臺提供硬件支撐，主要由數(shù)據(jù)庫、存儲資源、防火墻等組成，采用虛擬化基礎(chǔ)云平臺，通過標(biāo)準(zhǔn)接口對虛擬資源進(jìn)行集中調(diào)度和管理，構(gòu)建實(shí)時(shí)高效的數(shù)據(jù)處理中心。

3 機(jī)場應(yīng)急救援大數(shù)據(jù)處理基礎(chǔ)平臺組成

機(jī)場應(yīng)急救援大數(shù)據(jù)處理基礎(chǔ)平臺采用PC服務(wù)器搭建Hadoop 分布式系統(tǒng)集群架構(gòu)，分布式文件系統(tǒng)HDFS 高容錯(cuò)性、高吞吐量、數(shù)據(jù)只能追加不能修改的特點(diǎn)能很好地滿足應(yīng)急救援大數(shù)據(jù)處理平臺對大型數(shù)據(jù)實(shí)時(shí)存儲快速準(zhǔn)確分析的應(yīng)用需求，一個(gè)HDFS 集群通常包含兩個(gè)節(jié)點(diǎn)，名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)。名稱節(jié)點(diǎn)管理文件系統(tǒng)及文件訪問權(quán)限，并對調(diào)配數(shù)據(jù)節(jié)點(diǎn)。數(shù)據(jù)節(jié)點(diǎn)對結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲。

3.1 名稱節(jié)點(diǎn)

名稱節(jié)點(diǎn)為主服務(wù)器提供執(zhí)行文件系統(tǒng)命名空間操作，如文件開閉、目錄結(jié)構(gòu)等集群管理功能，并控制不同客戶端對文件的訪問。當(dāng)名稱節(jié)點(diǎn)停止工作時(shí)對應(yīng)的Hadoop 集群服務(wù)也將停止，因此名稱節(jié)點(diǎn)對穩(wěn)定性的要求很高，應(yīng)急救援大數(shù)據(jù)處理平臺的名稱節(jié)點(diǎn)應(yīng)該使用穩(wěn)定的小型服務(wù)器，保證集群工作的可靠性和性能。

3.2 數(shù)據(jù)節(jié)點(diǎn)

數(shù)據(jù)節(jié)點(diǎn)管理運(yùn)行節(jié)點(diǎn)的數(shù)據(jù)存儲和讀寫，并響應(yīng)來自名稱節(jié)點(diǎn)對數(shù)據(jù)塊的命令。應(yīng)急救援過程中各單位產(chǎn)生的數(shù)據(jù)在數(shù)據(jù)節(jié)點(diǎn)上是分布式存儲的并通過數(shù)據(jù)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)平衡分配和備份，即使在某一個(gè)數(shù)據(jù)節(jié)點(diǎn)存在故障的情況下，也能為大數(shù)據(jù)處理平臺提供穩(wěn)定可靠地?cái)?shù)據(jù)來源，保證整體集群計(jì)算效率和安全。

4 機(jī)場應(yīng)急救援大數(shù)據(jù)處理平臺計(jì)算引擎

應(yīng)急救援行動(dòng)對數(shù)據(jù)處理過程的準(zhǔn)確性、快速性需求很高，需要獲取各協(xié)同部門在救援行動(dòng)中的各類實(shí)時(shí)數(shù)據(jù)信息，準(zhǔn)確描述救援行動(dòng)狀態(tài)。還需要挖掘已有應(yīng)急救援行動(dòng)歷史數(shù)據(jù)的潛在價(jià)值，從歷史數(shù)據(jù)當(dāng)中評估以往救援行動(dòng)，總結(jié)救援經(jīng)驗(yàn)，分析失事原因，對經(jīng)常發(fā)生特情的關(guān)鍵位置制定針對性的救援方案和救援措施，并進(jìn)行預(yù)案推演，提高應(yīng)急救援人員應(yīng)對突發(fā)事件時(shí)的救援能力。

通過對比目前國內(nèi)外不同架構(gòu)的流處理，批處理計(jì)算引擎性能，機(jī)場應(yīng)急救援大數(shù)據(jù)處理平臺采用Flink 數(shù)據(jù)處理計(jì)算引擎。Flink 是開源、分布式、高容錯(cuò)大數(shù)據(jù)處理引擎，面向數(shù)據(jù)提供流處理（無邊界數(shù)據(jù)流）和批處理（有邊界數(shù)據(jù)集）兩種數(shù)據(jù)處理方式。Flink 運(yùn)行在Hadoop 集群上，以Ha?doop的YARN做為資源管理器，支持對數(shù)據(jù)進(jìn)行交互式查詢、數(shù)據(jù)挖掘、統(tǒng)計(jì)分析等常見大數(shù)據(jù)處理，F(xiàn)link 可以通過調(diào)節(jié)緩存塊的超時(shí)值來調(diào)節(jié)系統(tǒng)延遲和吞吐量的沖突，實(shí)現(xiàn)在數(shù)據(jù)高吞吐量的同時(shí)進(jìn)行毫秒級處理，能滿足應(yīng)急救援平臺對數(shù)據(jù)處理高吞吐量和低延時(shí)性的高要求，為應(yīng)急救援行動(dòng)提供支撐服務(wù)。

4.1 流處理計(jì)算

流處理計(jì)算主要針對機(jī)場以及救援行動(dòng)中各協(xié)同部門實(shí)時(shí)監(jiān)控模塊傳回指揮中心的數(shù)據(jù)信息。實(shí)時(shí)監(jiān)控模塊的數(shù)據(jù)來源通常是通訊系統(tǒng)、廣播報(bào)文、場面監(jiān)控等，包含突發(fā)情況的起因，受傷人數(shù)，救援設(shè)備的位置、速度等重要信息，高效的流數(shù)據(jù)處理能力能實(shí)現(xiàn)平臺對應(yīng)急救援行動(dòng)的實(shí)時(shí)監(jiān)控及時(shí)協(xié)調(diào)各參與部門，或當(dāng)機(jī)場發(fā)生特情時(shí)機(jī)場運(yùn)行監(jiān)控中心可迅速分析判斷特情原因，組織調(diào)度相關(guān)部門等迅速進(jìn)行處理，提高應(yīng)急救援效率。

4.2 批處理計(jì)算

批處理計(jì)算主要面向機(jī)場等部門提供的人員、車輛、裝備、救援案例等歷史積累數(shù)據(jù)，針對預(yù)案推演等模塊。預(yù)案推演功能采集所有的應(yīng)急救援設(shè)施設(shè)備信息，包括人員分配，部署位置，設(shè)備型號等，通過模擬航空器突發(fā)事件和非航空器突發(fā)事件時(shí)應(yīng)急救援行動(dòng)的開展，提升應(yīng)急救援人員對救援流程的掌握程度，并可采用虛擬演練方法來實(shí)現(xiàn)應(yīng)急救援人員對不同特情的處置，包括如何安排設(shè)施設(shè)備使用順序，機(jī)場場面滑行道使用，協(xié)同部門進(jìn)場時(shí)間等，有效提高機(jī)場人員的應(yīng)急能力。

5 平臺應(yīng)用分析

通過搭建機(jī)場應(yīng)急救援大數(shù)據(jù)處理平臺將應(yīng)急設(shè)施設(shè)備部署信息、通信語音、場面運(yùn)行、廣播報(bào)文、電子進(jìn)程單等存儲在Oracle、SQLSever、MySQL和MongoDB 等傳統(tǒng)數(shù)據(jù)庫中數(shù)據(jù)通過相應(yīng)工具采集到大數(shù)據(jù)分析平臺中并通過數(shù)據(jù)交換組件對各類數(shù)據(jù)進(jìn)行融合，依托數(shù)據(jù)處理引擎的批處理和流處理功能對數(shù)據(jù)進(jìn)行快速處理，最后以可視化形式呈現(xiàn)給一線應(yīng)急救援部門，對實(shí)時(shí)性要求極高的應(yīng)急救援行動(dòng)進(jìn)行支持。并為指揮決策部門提供各類數(shù)據(jù)分析工具，讓應(yīng)用部門不需要關(guān)注底層大數(shù)據(jù)開發(fā)技術(shù)，只需要專注于行動(dòng)指揮，進(jìn)程安排，解決了救援行動(dòng)一線單位面臨的問題。最終驗(yàn)證了本平臺架構(gòu)的可行性。

6 結(jié)語

安全是民航運(yùn)行的第一準(zhǔn)則，機(jī)場安全是民航運(yùn)行安全的基礎(chǔ)，伴隨著機(jī)場行業(yè)A-CDM 等信息化系統(tǒng)建設(shè)的展開，智慧機(jī)場已經(jīng)成為機(jī)場未來的發(fā)展趨勢，而為智慧機(jī)場安全運(yùn)行的提供安全保障的基礎(chǔ)是完備的應(yīng)急救援機(jī)制體制以及先進(jìn)的應(yīng)急救援系統(tǒng)。民航機(jī)場應(yīng)急救援大數(shù)據(jù)處理平臺為機(jī)場安全運(yùn)行提供了平臺技術(shù)支持，通過對應(yīng)急救援過程當(dāng)中數(shù)據(jù)的實(shí)時(shí)存儲處理，以及對應(yīng)急救援行動(dòng)累積的海量多源異構(gòu)數(shù)據(jù)處理分析，為現(xiàn)場指揮、智能決策、預(yù)案推演、輿情監(jiān)控等應(yīng)用提供支撐，有助于在應(yīng)急救援行動(dòng)中打破信息孤島，實(shí)現(xiàn)數(shù)據(jù)共享，對我國未來機(jī)場行業(yè)提升運(yùn)行安全效率有著重要的意義。