大數(shù)據(jù)時代空管設(shè)備異構(gòu)數(shù)據(jù)集成研究

陳靜，張敏，王娟

大數(shù)據(jù)時代空管設(shè)備異構(gòu)數(shù)據(jù)集成研究

陳靜，張敏，王娟

在大數(shù)據(jù)時代，機場服務(wù)由原來被動查詢向信息推送、智能推薦的方向發(fā)展，這就需要機場在海量的空管數(shù)據(jù)和其他數(shù)據(jù)中進行挖掘出有價值的信息，而傳統(tǒng)的關(guān)系型數(shù)據(jù)由于其自身的原因不能很好地適應(yīng)在海量數(shù)據(jù)條件下進行數(shù)據(jù)挖掘和知識發(fā)現(xiàn)。針對在海量的數(shù)據(jù)條件下如何進行數(shù)據(jù)的集成，提出了基于NoSQL的空管異構(gòu)數(shù)據(jù)集成模型，該方法能夠存儲各種結(jié)構(gòu)的空管數(shù)據(jù)，同時還能夠適應(yīng)分布式存儲并達到較好的性能。

大數(shù)據(jù)；異構(gòu)數(shù)據(jù)；非關(guān)系型數(shù)據(jù)庫；數(shù)據(jù)集成；分布式存儲

0 引言

近年來隨著我國經(jīng)濟的快速發(fā)展，我國航空事業(yè)進入一個高速的發(fā)展期，經(jīng)過幾十年的建設(shè)和發(fā)展，我國機場總量初具規(guī)模，機場密度逐步提高，現(xiàn)代化程度不斷提高。每個航空機場都需要具有通信、導(dǎo)航、監(jiān)視、內(nèi)話、氣象、情報等設(shè)備，每種設(shè)備都是來自不同的生產(chǎn)廠家，不同設(shè)備所產(chǎn)生的數(shù)據(jù)的格式也不盡相同。隨著機場服務(wù)的提高，機場空管設(shè)備所服務(wù)的對象由原來的飛機轉(zhuǎn)向人時，人所需要的服務(wù)是個性化的，所需要的信息也是各種各樣，這就包含固定結(jié)構(gòu)、半結(jié)構(gòu)化和無結(jié)構(gòu)的數(shù)據(jù)。因此在“大數(shù)據(jù)”時代對航空機場的空管設(shè)備的異構(gòu)數(shù)據(jù)進行集成具有一定的理論價值和現(xiàn)實意義。

1 “大數(shù)據(jù)”時代空管設(shè)備數(shù)據(jù)的異構(gòu)問題

1.1 大數(shù)據(jù)時代

隨著計算機技術(shù)的發(fā)展，數(shù)據(jù)正以前所未有的增長速度增長。在云計算、物聯(lián)網(wǎng)、移動計算等一系列新技術(shù)的推動下，虛擬服務(wù)、社交網(wǎng)絡(luò)等新的應(yīng)用領(lǐng)域不斷的刷新人民應(yīng)用信息的范圍和形式，全面基于信息和網(wǎng)絡(luò)的生產(chǎn)和創(chuàng)新模式，正在將人們帶入“第三次工業(yè)革命”時代[1]。大數(shù)據(jù)的概念最早可以追溯到20年前，但在近幾年才開始真正被人們所關(guān)注，2008年《Nature》推出了名為“Big Data”的專刊[2]。著名咨詢公司麥肯錫發(fā)表了一篇大數(shù)據(jù)報告[3]“Big data:the next frontier for innovation,competition,and productivity”。在這篇文章里分析了大數(shù)據(jù)的影響、應(yīng)用領(lǐng)域和關(guān)鍵技術(shù)等方面。隨著各種社會團體對大數(shù)據(jù)的討論，各國政府也開始重視大數(shù)據(jù)，2012年美國政府宣布了每年投資兩億美元的“大數(shù)據(jù)研究計劃（Big Data R&D Initiative）”[4]旨在從海量的復(fù)雜的數(shù)據(jù)中提取知識和有效信息，并服務(wù)于金融、醫(yī)療、能源等領(lǐng)域。我國政府也開始關(guān)注大數(shù)據(jù)，在 2012年，科技部發(fā)布的“‘十二五’國家科技計劃信息技術(shù)領(lǐng)域2013年度項目征集指南”把大數(shù)據(jù)排在第一位。

隨著大數(shù)據(jù)的研究的深入，IT界對大數(shù)據(jù)有了一個較為全面和統(tǒng)一的認識，就是大數(shù)據(jù)需要滿足4個基本特征：規(guī)模性（Volume）、高速性（Velocity）、價值性（Value）和多樣性（Variety）[5]。

規(guī)模性：通過各種設(shè)備產(chǎn)生海量的數(shù)據(jù)，數(shù)據(jù)的規(guī)模龐大。

高速性：數(shù)據(jù)實時生成，且只有在特定的時間和控件中才有意義，這就要求數(shù)據(jù)處理的速度快。

價值性：數(shù)據(jù)的價值密度低，單條或少量的數(shù)據(jù)并無太多的價值，但對海量的數(shù)據(jù)進行挖掘，會發(fā)現(xiàn)大量有價值的信息。

多樣性：指數(shù)據(jù)類型的多樣性，大數(shù)據(jù)時代海量的數(shù)據(jù)并無固定的數(shù)據(jù)格式，這就包括各種結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)的數(shù)據(jù)。

1.2 空管設(shè)備具有大數(shù)據(jù)特征

經(jīng)過幾十年的發(fā)展，我國機場總量初具規(guī)模，機場密度逐漸加大，機場服務(wù)能力逐漸提高，現(xiàn)代化程度不斷加強。隨著機場服務(wù)能力的快速提高，機場空管設(shè)備的數(shù)據(jù)也具有了“大數(shù)據(jù)”的特點。

航空機場的空管設(shè)備種類繁多，有導(dǎo)航類、通信類、監(jiān)視類、管制類以及其他一些氣象和情報發(fā)布系統(tǒng)。每種信息系統(tǒng)都產(chǎn)生相應(yīng)的信息數(shù)據(jù)，每天產(chǎn)生的數(shù)據(jù)達到百GB甚至TB，這就構(gòu)成了大量的機場空管數(shù)據(jù)，具有了海量的規(guī)模。機場管理信息系統(tǒng)主要包括各種運營調(diào)度系統(tǒng)、航班管理系統(tǒng)、信息顯示系統(tǒng)、信息監(jiān)控系統(tǒng)等。而這些系統(tǒng)的不同性質(zhì)，系統(tǒng)建設(shè)的廠家和軟件公司各不相同，通常的做法就是每個系統(tǒng)建立自己對應(yīng)的數(shù)據(jù)庫系統(tǒng)。有多少管理系統(tǒng)就有多少系統(tǒng)數(shù)據(jù)庫。而各個系統(tǒng)之間又是相互獨立的，數(shù)據(jù)結(jié)構(gòu)也各不相同，這就構(gòu)成了大量的異構(gòu)數(shù)據(jù)，具有數(shù)據(jù)多樣性的特點[6]。

同時隨著機場管理的逐步提高，機場也建立起自己的辦公自動化和旅客信息服務(wù)等系統(tǒng)。而旅客對機場的服務(wù)要求不再局限與傳統(tǒng)的信息查詢?yōu)橹鳎枰诖罅繉崟r機場空管數(shù)據(jù)的基礎(chǔ)上進行快速的計算和挖掘，發(fā)現(xiàn)能夠為旅客進行智能推薦的實時信息，這樣機場空管數(shù)據(jù)具有實時、高速的特點。

在海量的機場數(shù)據(jù)中需要對大量的數(shù)據(jù)進行分析才能挖掘出有價值的信息，在針對旅客進行服務(wù)推薦時，往往需要了解該旅客的歷史出行信息、需要在其大量的歷史出行的記錄中及其他相關(guān)信息進行挖掘分析，得出其出行規(guī)律和特點，再進行有針對性的推薦服務(wù)，而針對少量甚至單條信息，基本沒有進行挖掘和分析的價值，也即是說機場數(shù)據(jù)具有價值稀疏的特性。

1.3 大數(shù)據(jù)時代機場建設(shè)面臨的問題

進入大數(shù)據(jù)時代，旅客的出行不只滿足于傳統(tǒng)機場的信息提示等服務(wù)。機場需要根據(jù)旅客的行為信息，發(fā)掘客戶潛在的需求，為旅客提供更智能的出行解決方案，同時也為機場進行決策提供支持服務(wù)。這就需要機場根據(jù)航班信息、氣象信息、旅客個人信息以及機場調(diào)度信息等海量的數(shù)據(jù)進行數(shù)據(jù)挖掘，為旅客提供智能服務(wù)。機場在進行海量數(shù)據(jù)挖掘和分析的時候主要面臨著兩個主要的問題。

一個是數(shù)據(jù)集成的問題，大數(shù)據(jù)時代機場的監(jiān)控系統(tǒng)、資源調(diào)度系統(tǒng)、生產(chǎn)營運系統(tǒng)、航班信息顯示系統(tǒng)等眾多系統(tǒng)產(chǎn)生了大量的數(shù)據(jù)，雖然這些數(shù)據(jù)大部分為結(jié)構(gòu)化的數(shù)據(jù)，但如何對這些數(shù)據(jù)進行集成，統(tǒng)一的進行資源的調(diào)配，統(tǒng)一監(jiān)管，就需要對這些異構(gòu)數(shù)據(jù)源進行整合。以機場航管設(shè)備信息系統(tǒng)為例，機場主要的航管設(shè)備有數(shù)據(jù)語音系統(tǒng)、AWFS系統(tǒng)、氣象數(shù)據(jù)庫系統(tǒng)、管理生產(chǎn)運行管理信息系統(tǒng)、GPS系統(tǒng)、航行情報發(fā)布系統(tǒng)、航管自動化系統(tǒng)、儀表著陸設(shè)備、二次雷達（SSR）設(shè)備、一次雷達（PSR）設(shè)備、場面監(jiān)視雷達、VHF收發(fā)信機設(shè)備等眾多設(shè)備。這些設(shè)備體現(xiàn)了三多的特點，設(shè)備類型多、設(shè)備廠商多和設(shè)備型號多，而每種設(shè)備所產(chǎn)生的數(shù)據(jù)格式都是互不相同的。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫很難建立一個合適的模型能夠完全滿足這么多異構(gòu)數(shù)據(jù)的建模需要。同時關(guān)系型數(shù)據(jù)庫很難適應(yīng)在大數(shù)據(jù)時代對海量數(shù)據(jù)進行知識挖掘，知識發(fā)現(xiàn)，進而為用戶提供決策支持服務(wù)。

二是數(shù)據(jù)存儲的問題，在大數(shù)據(jù)時代機場眾多的信息系統(tǒng)產(chǎn)生了海量的數(shù)據(jù)，這些數(shù)據(jù)實時的到達，通常航空設(shè)備數(shù)據(jù)需要長期保存，長期運行下來，每個機場所處理的數(shù)據(jù)將達到TB的級別時。單個服務(wù)器的存儲已經(jīng)很難存儲如此海量的數(shù)據(jù)，只能采用分布式的架構(gòu)進行存儲，而關(guān)系型數(shù)據(jù)庫由于其設(shè)計的原因很難適應(yīng)分布式架構(gòu)的擴展。同時關(guān)系型數(shù)據(jù)庫是需要在系統(tǒng)建立前確定好數(shù)據(jù)模式，對數(shù)據(jù)進行建模，但隨著用戶需求的迅速改變，很難提前預(yù)知用戶需求并且建議一個萬能模式來應(yīng)對不斷變化的用戶需求。關(guān)系數(shù)據(jù)已經(jīng)不能很好的適應(yīng)這種數(shù)據(jù)量大，數(shù)據(jù)結(jié)構(gòu)不固定的要求。

2 基于NoSQL的機場異構(gòu)數(shù)據(jù)集成

2.1 NoSQL技術(shù)及其特點

NoSQL是Not only SQL的縮寫，泛指非關(guān)系型數(shù)據(jù)庫。與關(guān)系型數(shù)據(jù)庫對比，NoSQL對比有著許多的不同點，其中最大的不同是NoSQL不使用SQL語言作為查詢語言，數(shù)據(jù)存儲也不像關(guān)系型數(shù)據(jù)那樣需要有事先設(shè)定好表模式。

在機場中的各個系統(tǒng)中需要根據(jù)實時的位置、參數(shù)、用戶個性化信息來實時的生成動態(tài)界面，并對用戶提供動態(tài)的服務(wù)信息，所以數(shù)據(jù)庫的并發(fā)負載非常高，在高峰時段每秒可能達到上萬次甚至更多的讀寫請求。傳統(tǒng)關(guān)系型數(shù)據(jù)在處理上萬次的SQL查詢請求還能應(yīng)付，而對于上萬次的SQL寫數(shù)據(jù)請求，磁盤I/O已經(jīng)無法承受。同時由于機場空中管制系統(tǒng)的數(shù)據(jù)量的增大，單機服務(wù)器無論是在處理能力還是存儲能力都很難滿足機場信息系統(tǒng)的要求，必須對添加服務(wù)器和存儲設(shè)備來滿足需求，而傳統(tǒng)關(guān)系型數(shù)據(jù)庫由于其事物一致性的要求很難進行橫向的擴展，無法通過添加更多的服務(wù)節(jié)點和存儲來擴展其性能和負載能力。

NoSQL數(shù)據(jù)庫種類繁多，但都能去掉關(guān)系型數(shù)據(jù)庫的關(guān)系特性，能夠很好的進行擴展，非常容易的實現(xiàn)支撐數(shù)據(jù)從TB到PB級的過渡。采用分布式架構(gòu)，能夠滿足機場海量空管數(shù)據(jù)的存儲和處理的要求。NoSQL還有非常良好的讀寫性能，能夠滿足海量數(shù)據(jù)的頻繁讀寫請求，能夠滿足機場各種個性化服務(wù)的請求。同時NoSQL還無須為存儲的數(shù)據(jù)建立字段，可以自定義數(shù)據(jù)格式，能夠隨時隨地的添加數(shù)據(jù)字段，這樣系統(tǒng)在建設(shè)之初就無需考慮數(shù)據(jù)庫表結(jié)構(gòu)的設(shè)計，把時間花在系統(tǒng)的開發(fā)應(yīng)用上，在系統(tǒng)實施之后還能夠很好的兼容其他字段，進行系統(tǒng)功能的升級和擴展。

2.2 基于NoSQL的數(shù)據(jù)集成方法

為了解決空管數(shù)據(jù)異構(gòu)的問題，從實現(xiàn)的角度出發(fā)，提出基于NoSQL的空管異構(gòu)數(shù)據(jù)集成模型。采用基于NoSQL數(shù)據(jù)庫來進行空管異構(gòu)數(shù)據(jù)的存儲。解決了異構(gòu)數(shù)據(jù)的存儲問題。基于NoSQL的空管異構(gòu)數(shù)據(jù)集成模型如圖1所示：

Research on Heterogeneous Data Integration of Air Traffic Control Equipment in The Big Data Age

Chen Jing, Zhang Min, Wang Juan
(Xi'an Fanyi University， Xi’an， Shaanxi 710105, China)

In the era of big data, the airport service develops from the original passive query to the information pushing and intelligent recommendation which need valuable information to be mined in the vast amount of air traffic control data and other data. However, the traditional relational data can not adapt to the data mining and knowledge discovery under the circumstance of massive data due to its own reasons. In order to solve the problem, an integrated model of air traffic control based on NoSQL is proposed. The model can store all kinds of heterogeneous data ,simultaneously. The model architecture can achieve very good performance in the distributed memory architecture.

Big Data; Heterogeneous Data; NoSQL Data Integration; Distribute Storage

TP311

A

1007-757X(2016)09-0044-02

陳 靜（1986-），女，陜西、西安翻譯學(xué)院，助教、碩士，研究方向：信息處理，西安 710105張 敏（1980-），女。內(nèi)蒙古、西安翻譯學(xué)院，講師、碩士，研究方向：信息處理、信息檢索，西安 710105王 娟（1980-），女，山東、西安翻譯學(xué)院，講師、碩士，研究方向：信息處理，西安 710105