大數據技術在智慧機場領域的應用研究

顧凱

摘? 要：隨著信息技術的發展，大數據技術在公共服務中的交通、醫療、教育、預測服務等領域得到廣泛應用。本文從大數據存儲、挖掘、分析和應用等幾個角度重點介紹了機場大數據分析平臺的構建方法，在機場轉型升級方面提供了信息整合及數據分析模式的創新，以大數據技術在智慧機場領域的應用為研究內容，通過多個案例討論大數據技術在智慧機場中的應用，從而加深人們對智慧機場的認識。

關鍵詞：大數據;智慧機場;數據決策;機場運營

中圖分類號：TP391? ? ?文獻標識碼：A

Application of Big Data Technology in the Field of Smart Airports

GU Kai

（Neusoft （Shanghai） CO.，LTD.， Shanghai 200241， China）

guk@neusoft.com

Abstract： With the development of information technology， big data technology has been widely used in public services such as transportation， medical care， education， and forecasting services. This paper proposes a method of constructing big data analysis platform for airports from several perspectives such as big data storage， mining， analysis and application. In terms of airport transformation and upgrading， it provides innovations in information integration and data analysis models. It takes the application of big data technology in the field of smart airports as the research content， and discusses the application of big data technology in smart airports through various cases， so that people may have a deeper understanding for smart airports.

Keywords： big data; smart airport; data decision-making; airport operation

1? ?引言（Introduction）

自2019年民航局正式印發《推進四型機場建設行動綱要（2020—2035年）》（以下簡稱《綱要》）以來，國家加快了四型機場建設的步伐。《綱要》明確，到2035年將實現標桿機場引領世界機場發展，全面建成安全高效、綠色環保、智慧便捷、和諧美好的四型機場，為全方位建設民航強國提供重要支撐[1-2]。

在智慧機場推動轉型升級，加快信息基礎設施建設、實現數字化，推進數據共享與協同、實現網絡化，推進數據融合應用、實現智能化，切實保障信息安全的主要建設過程中[3]，大數據技術是數據共享與協同、數據融合應用的重要研究內容。

基于互聯模式設計萬物互聯的機場數據中心平臺架構，研制專用的大數據交互鏈路，實現采集、交換、數據比對、數據處理、數據服務和數據應用全周期建設，建立統一、靈活、高效、便捷的機場數據中心是主要目標。為此，基于從2017年帶領團隊參與華東某機場大數據治理及相關應用工作中積累的經驗，本文提出了機場大數據應用新模式的探索，探討機場全局數據共享和分析，打造機場協同決策系統和運行數據庫，實現運行、安全和服務可視化運營解決方案。

2? ?機場大數據場景創新（Airport big data scene innovation）

機場的戰略轉型和管理變革帶來了一系列管理信息系統的建設要求，加之該區域兩機場生產信息系統的建設完善和使用，大量的信息和數據在日常管理和生產運行中產生。這些信息和數據直接反映了機場各個層面的運行狀態和效果，是支持機場戰略發展和決策執行非常寶貴的數字化資源。有效地整合和利用這些信息資源對監控戰略目標的執行情況、提高機場的決策能力都至關重要。

這些信息資源以前都存放在各自的管理和信息系統中，并經由各個部門分別向機場管理層匯報。信息本身缺少統一的管理規范，信息的匯報也沒有統一的途徑，信息使用者需要從多個源頭獲取需要的信息，且獲取信息的完整性和全面性也得不到充分保證。這些不便利增加了信息使用者獲取信息和分析信息的難度，也降低了信息本身的利用價值。隨著機場信息化總體發展規劃的推進，數據中心也是總體發展規劃中一項重要的內容，因此，提出了推進數據中心建設的要求。

方案實施中，充分利用大數據技術，整合匯聚數據資源，構建機場大數據資源體系;初步建設機場大數據平臺，并配置、開發專業化輔助支撐工具，形成能夠有效支撐機場“四個面向”業務目標的大數據平臺;依靠平臺的數據基礎，積極實現更多智慧機場管理功能，為機場運營管理、旅客服務和商業管理提供強有力的支撐。同時，建立集團層面的數據交換標準和數據治理體系，為下屬兩場及平臺提供數據治理平臺[4]。

3? ?應用目標（Application target）

為了支撐機場的智慧化應用需求，在機場范圍內建立統一、靈活、高效、便捷的數據中心，以信息的獲取、分析、管理、提供為主要目標。數據中心通過信息接口從各數據源獲取結構化以及非結構化數據，存入數據中心數據庫，為各業務、管理與決策應用系統提供數據來源，通過大數據平臺提供大數據的處理、應用及分析[5]。

大數據平臺建成后，該機場依靠平臺數據，實現了更多的智慧機場管理功能。

（1）提升機場管控的數據處理能力，增加集團管理的大數據預測、分析、展現能力。

（2）提升機場旅客服務大數據分析能力，逐步利用大數據平臺的數據實現對旅客的個性化服務，不斷提升旅客滿意度。

（3）提升機場貨運平臺的大數據處理能力，使貨運平臺提升業務分析、業務預測、精準匹配等方面的能力。

（4）提升機場對商業單位的服務能力，利用大數據平臺實現商業布局分析、商業預測、精準營銷、商鋪盈利分析等。

4? ?應用架構（Application architecture）

該機場的大數據應用架構包括資源層、采集交換層、大數據整合層、大數據服務層、大數據治理層等幾個方面，如圖1所示。

（1）資源層：管理系統、商業系統、生產系統、貨運系統、第三方數據、非結構化數據。

（2）采集交換層：對數據進行批量和實時的采集和交換。

（3）大數據整合層：結構化數據的存儲、ETL、數據集市等功能;非結構化數據的存儲、大數據模型及計算。

（4）大數據服務層：大數據服務、大數據分析、主數據及元數據管理等。

（5）大數據治理層：數據標準、數據質量等平臺的管理。

東軟SaCa Data Integration 數據集成套件為機場的數據采集、管理、分析及展現提供了一體化的解決方案，借助數據集平臺產品，使機場實現了透明地處理各類系統中龐雜的數據，建立統一數據交換和共享平臺;提升了數據標準化和統一數據視圖的建設工作，建立以數據為中心，以服務為導向的底層信息流動支撐平臺;助力客戶實現數據分析、展現，通過數據平臺的分析與展現為客戶提供強有力的決策依據。

5? 大數據平臺功能分析（Function analysis of big data platform）

機場大數據分析應用由六大模塊組成，模塊介紹如下：

（1）數據儲存：可以使用由幾臺到幾百臺常規服務器組成的集群，并提供高聚合輸入輸出地文件讀寫訪問，是實現海量數據并行挖掘和在線分析處理能力基礎。

（2）數據倉庫：針對結構化、半結構化和非結構化數據的分布式大數據數據庫，可以將數據存放在分布式文件系統中，提供大數據統計、查詢和分析功能，是突破多源異構信息融合的基礎。

（3）數據挖掘：提供可擴展的機器學習類庫，為知識的獲取提供了基礎保障，可以提供分布式數據并行挖掘功能。

（4）數據分析：提供面向大數據的分布式數據分析語言和運行平臺，確?？梢詫⒎治鋈蝿辗植疾⑿羞\行，以適應海量數據在線分析和實時處理的需求。

（5）ETL：是在大數據分析軟件和關系型數據庫之間高效傳輸大量數據的工具，提供了多源異構信息融合的功能，可以將外部多源異構數據庫中的數據導入HDFS等相關系統中，或者從內部系統中導出數據到外部多源異構的關系型數據庫和數據倉庫。

（6）分布式協議服務：提供分布式應用程序的協調服務，實現系統命名服務和同步服務等功能，使得整個分布式的大數據商業智能與數據挖掘分析軟件內部模塊可以步調一致地工作。

5.1? ?數據儲存

提供大數據平臺部署工具，提供組件部署管理及動態增加機器節點管理工具;提供組件的運行狀態、組件的負載情況監控及組件的啟動、停止、移除等管理。當組件故障自動遷移，節點組件出現故障時，集群中其他節點中的相應組件自動接管故障組件的工作，保證組件正常服務。支持分布式存儲模塊，提供分布式文件的存儲、存儲副本的管理;分布式計算模塊提供分布式數據計算處理及數據的分布式均衡訪問。支持數據采集與預處理模塊，提供數據采集與預處理框架，實現數據向大數據平臺匯聚的功能。

5.2? ?數據倉庫DWH

數據倉庫DWH是一種建立在Hadoop之上的數據倉庫架構，是為實現海量數據的高性能處理而設計的，可以高效地對TB甚至PB級的數據進行處理。

DWH在設計上是一種批處理系統，它定義了一種簡單的類SQL查詢語言NoSQL，讓熟悉SQL的用戶可以非常容易地進行查詢。

DWH自身并不存儲用戶數據，而是通過接口訪問用戶數據，這就使得DWH支持各種數據源和數據格式，可以與其他大數據的應用兼容。

5.3? ?數據挖掘

數據挖掘模塊是具有可拓展算法的機器學習框架，能夠快速創建智能應用，可以幫助系統智能地、準確地識別知識。

數據挖掘模塊內嵌了一些基于使用場景的算法，例如：

（1）推薦引擎算法：通過分析用戶的行為歷史記錄來推算用戶最可能關注的事物或習慣。

（2）聚類算法：通過分析將一系列相關的事物劃分為相關性相近的群組。

（3）分類算法：通過分析一組已經分類的事物，將其他未分類的事物按同樣規則歸入相應的分類。

（4）相關事物分析算法：識別出一系列經常一起出現的事物組。

數據挖掘模塊所處理的場景，經常是伴隨著海量用戶使用數據的情況。通過將算法的輸入、輸出和中間結果構建于HDFS分布式文件系統之上，而具有高吞吐、高并發、高可靠性的特點。最終，使業務系統可以高效快速地、實時地得到分析結果。

5.4? ?數據分析

數據分析模塊是一個大規模數據分析的平臺，它為海量數據的并行處理提供了操作以及編程實現的接口。

數據分析模塊包括可視化分析工具、流程建模工具、文本信息抽取工具、統計分析工具、算法開發支持工具。可視化分析工具提供影像、拓撲關系等數據的快速展示，提供基本的可視化挖掘功能;流程建模工具提供業務處理流程的建模、運行和監控，實現快速數據分析原型建立;文本信息抽取工具提供了命名實體識別、文本語義提取等功能，是文本結構化分析的基礎;統計分析工具提供了參數統計、統計檢驗等分析功能;算法開發支持工具提供了算法開發、測試、集成的環境，實現分析算法的快速開發和應用。

5.5? ?ETL

ETL（Extract-Transform-Load，數據抽取、轉換、裝載的過程）功能主要有如下幾點：

（1）數據抽取功能

支持主流數據接口，如Oracle系列數據庫、SQL Server、Sybase ASE、DB2、MySQL等，并實現各類數據庫接入模式，簡便易操作，支持的數據類型全面。

（2）數據清洗功能

具有各種數據檢測函數，能夠幫助用戶發現異常數據。在數據清洗過程中，支持對數據進行預覽。具有多種數據轉換函數，可以幫助用戶修正異常數據。數據轉換異常時支持數據自動轉存，幫助用戶分析數據情況。

（3）數據轉換功能

支持各種字段級的映射轉換，如類型轉換、字段運算、參照轉換、字符串處理、空值處理、日期轉換、聚集運算、既定取值、字段切分、字段合并等;支持已抽取記錄的切分、過濾;支持表的動態創建和源數據表模式到目標表模式的自動映射;支持數據庫存儲過程及函數的調用;提供了大量的API函數，可以滿足各種數據轉換需求;支持腳本編程，可相當靈活地進行數據轉換規則設計。

（4）數據裝載功能

支持將源數據庫中的記錄分發到不同的目標庫，針對每個分發目標庫都可以設置分發的條件，同時支持批量裝載。

（5）數據交換功能

數據交換功能提供三種數據交換方式，包括：

①采用“數據交換接口+前置機+數據交換軟件”進行實時交換。

②采用“人工抽取數據+前置機+數據交換軟件”進行定時交換。

③采用人工報盤方式進行定時交換。

（6）規則設計功能

規則設計功能為用戶提供向導式的數據整合規則設置，按照類別、處理階段、具體整合功能（動作）等，將設計過程劃分為階段、步驟、動作。最小的調度單元是任務，任務之間可以有關聯，手工調度則可以執行任何一個層次，最小到動作。

（7）工作流調度功能

它是內置工作流建模工具和調度引擎，用戶可自由定義任務的觸發條件及執行路徑，控制多任務的協同運行。支持多任務的并發運行，支持并發任務的同步完成;支持成功、失敗、條件等三種路徑，并支持基于全局變量的條件路徑轉移;支持任務的定時（可基于日、周、月、工作日、時、分、秒等）觸發;支持系統命令、外部程序調用[6]。

5.6? ?分布式協議服務

事務管理：在內部模塊和組件之間創建事務，依據大數據的數據請求建立事務，包含事務監控、事務提交、事務回滾、事務創建等功能。

協議包管理：提供內部模塊和組件之間協作的標準化協議管理和配置功能。

開放式的擴展接口：提高與外部大數據軟件或其他軟件之間的兼容、擴展和集成。

6? ?解決的問題（Key issues）

6.1? ?整合生產經營數據，強化協同，提供有效決策支撐

搭建統一的指標數據統計分析平臺，整合集團生產經營源數據和合同管理，進一步強化各管理條線及業務條線的總體信息化水平，解決各下屬部門數據收集煩瑣、數據源復雜、人工干預多等問題，進一步提高數據完整性、準確性、及時性和一致性，通過生產經營分析平臺對數據進行各類自動化統計分析處理，提升日常工作效率等，使機場及時了解生產經營業務實情，有效地幫助各項決策的制定。

6.2? ?預測航班延誤時間

影響航班延誤較為重要的因素有前序航班的延誤情況、出發地以及目的地的天氣狀況、機場當前的出港率（平均每架飛機的起飛時間）和排隊等候起飛的飛機數量、航路流量數據等。此外，還要考慮飛機加油、配餐、打掃衛生等多個因素，而且延誤時間主要以實際起飛時間與計劃起飛時間的差值為準，也就是說從飛機降落直至飛機起飛這段時間內的各個因素都會影響飛機起飛的延誤狀況。所以，在連接原始表的時候以飛機降落至起飛為主線構建數據表，以保證數據的全面性，并預測第二天的航班延誤情況[7]，如圖2所示。

6.3? ?預測機場免稅店暢銷商品

影響機場免稅店產品是否暢銷的較為重要的因素有國際航班的客流量及其在機場的滯留人數、促銷活動、新品活動、機場淡旺季等。由于POS系統中的商品分類為“單品、商品品牌、小分類、中分類、大分類”，單品和小分類的種類過多，中分類和大分類過于分散，不利于統計分析和預測，因此選擇商品品牌作為商品的名稱標簽，以每天商品品牌的銷售額度構建主線數據表[8]。

7? ?結論（Conclusion）

大數據技術應用是機場大數據平臺管理需求的集中體現，也是底層平臺技術組件選擇和數據源采集的指導。大數據技術既體現在傳統核心業務和內部各信息系統的數據需求上，也體現在大數據挖掘所產生的數據潛在的價值上;既能夠支撐管理及商業業務升級完善的功能，也具有一定的前沿性探索作用。

綜合利用大數據技術底層數據資源和海量異構數據的處理能力，構建應用支撐層的分析工具和模型算法，以支撐未來機場的智慧化應用需求。

參考文獻（References）

[1] 陳燕，劉川民，曾珂.創新應用全覆蓋站坪管理系統推進四型機場建設[J].航空航天科學與工程，2020（06）：36-38.

[2] 徐蒙.新時期智慧機場發展的思考[J].民航管理，2020（06）：39-42.

[3] 中國民用航空局.推進四型機場建設行動綱要（2020—2035年）[R].北京：中國民用航空局，2020：3-20.

[4] 吉向東.基于大數據技術的智慧機場管理平臺的設計與研究[J].信息系統工程，2020（07）：40-41.

[5] 魏君.民航“新”基建[J].大飛機，2020（06）：60-65.

[6] 翁業林，周泓，侯兵.面向企業級數據中心的分布式ETL研究與設計[J].軟件工程，2018（12）：15-18.

[7] TIPAVINEE S， APICHAT S. The impact of delay affecting airport efficiency： Sustainability perspective[J]. International Journal of Logistics Systems and Management， 2020， 37（4）：445-464.

[8] 徐敏.機場行業發展數字經濟的思考[J].民航管理，2020（11）：

17-21.

作者簡介：

顧? ?凱（1975-），男，本科，軟件工程師.研究領域：軟件開發，信息研究.