基于StarRocks 的機場飛行區數據治理研究與應用

摘要：機場飛行區數據面臨著多樣性、復雜性和孤島化等挑戰，傳統數據庫在數據整合、計算、處理和分析方面存在局限性。StarRocks憑借向量化、MPP架構、實時更新的列式存儲引擎等技術，實現了高可用、實時、高并發的數據分析能力，為機場飛行區數據治理提供了新的解決方案。通過StarRocks實現機場飛行區的數據治理，將FOD、鳥情、燈光、航班、車輛、設備、航空器等不同業務系統數據匯聚、接入、清洗、轉換、分析，為機場運行管理、航班調度、安全監控等提供決策支持，快速構建報表大屏完成數據分析，可視化呈現數據處理全過程。該方案有助于推動機場核心數據的高效供給、流通和應用，實現數據融合共享和價值挖掘，提升數據管理效能和運行保障效率，為機場發展提供新動力。

關鍵詞：StarRocks；機場飛行區；大數據

中圖分類號：TP311文獻標識碼：A

文章編號：1009-3044（2024）35-0076-04開放科學（資源服務）標識碼（OSID）：

1引言

1.1民航機場飛行區的數據復雜性

隨著航空業的快速發展，作為機場飛行區數據量增長較快，以青島機場為例，由2019年的每月幾十萬的數據量增長至2023年每月幾百萬的數據量，業務范圍也由適航保障業務拓展到適航保障、區域管理、綜合管理三大業務板塊，存在數據采集難度大、缺乏信息的直觀展示、數據標準不統一、數據質量參差不齊等問題，給飛行區帶來安全風險隱患，嚴重制約著機場的總體發展，為了高效、安全地管理和利用這些數據，民航局發布“7+1”民航業數據治理規范[1]。

為了整合空管數據、航信數據、A-CDM數據、地服數據和飛行區各業務系統數據，利用大數據分析、匯總，最終實現平臺化管理，能夠真正做到“數據全面、功能多樣、流程合理、穩定可靠、平臺管理”，可全面提升飛行區的空防安全裕度，保證飛行區安全、有效地運行。

1.2傳統飛行區系統的局限性

傳統飛行區系統大多以業務主體為分類，形成圍界系統、道面系統、助航燈光系統、鳥情系統等獨立系統，導致存在數據孤島，無法整合數據，形成有價值的數據資產。StarRocks作為高性能、高可用、高可靠的分析型數據庫系統[2]，其快速加載、實時更新以及復雜查詢的高效處理能力為機場飛行區數據實時同步、校驗和存儲提供有效手段，幫助機場打通數據孤島，建設數據標準體系，提升數據質量，全面盤點數據資產，快速構建報表大屏完成數據分析，實現數據處理全流程可觀測。推動機場數據融合共享和價值挖掘，提升數據管理效能和運行保障效率。

2基于StarRocks的飛行區數據治理平臺優勢

通過StarRocks實時數倉技術的飛行區管理平臺在民用機場的應用，完全突破了飛行區信息化的傳統思維模式，利用視頻分析、物聯網、移動通信和數據建模技術對數據進行處理，使用2D、3D技術以可視化形式呈現飛行區運行狀態，打造全流程、全要素、全場景的一體化飛行區數據治理平臺。其優勢主要體現在以下幾個方面。

2.1充分面向機場飛行區的數據治理模型

依據機場相關數據規范以及多年機場數據治理經驗，平臺內置完善的機場數據標準模型，包括圍界、鳥情、助航燈光、FOD、道面、車輛、設備、人員八大類。

2.2整合業務流程，提升飛行區空防安全能力

整合飛行區業務、流程、資源，全面監管機場飛行區圍界、跑道的安全運行，實現及時預判、智能分析，有效提升空防安全能力和運行效率。

2.3高速實時處理，提高工作效率

StarRocks基于MPP架構，采用全向量化執行引擎和列式存儲技術，能夠實現數據的快速加載和實時更新。傳統數據庫并發量和實時計算能力不足，在每秒接入并處理飛行區內上百輛車的實時位置數據等業務場景下，StarRocks通過高并發量實時和離線的數據處理能力，滿足機場飛行區對實時數據處理分析的需求[3]。

2.4擴展性強，用戶易學習

StarRocks支持多種查詢方式和復雜查詢語句，能夠滿足機場飛行區在數據分析、報表生成等方面的多樣化需求。同時兼容MySQL協議，用戶可以利用現有的MySQL客戶端工具進行查詢和數據分析，降低用戶的學習成本和使用門檻。

3系統整體設計

本系統的設計結合民航機場飛行區的業務特點，充分發揮StarRocks在實時數倉領域的優勢，既支持從各類實時和離線的數據源高效導入數據，也支持直接分析數據湖上各種格式的數據。同時具備水平擴展、高可用、高可靠、易運維等特性。

3.1總體功能設計

本系統功能主要包括面向機場飛行區用戶的飛行區管理平臺，以及面向數據管理用戶的數據可視化平臺、數據治理與共享交換平臺、數據開發平臺、基礎組件管理平臺、統一門戶。

飛行區管理平臺包括數字孿生、適航保障、區域管理、綜合管理、移動端模塊。數字孿生模塊通過可視化2D/3D地圖展示整個飛行區的全貌和實時運行狀態，兩側通過圖、表等多種形式顯示整體的運行指標和報警信息。適航保障集成機場飛行區的FOD監測、道面管理、鳥情管理、道面除雪、助航燈光五大業務數據。區域管理提供包括全景監控、安全監管、安全準入、智能圍界、施工管理、督查管理六大領域功能。綜合管理包括排班派工、定時提示、知識庫、應急管理、運維支持五大主題相關功能[4]。同時為現場一線保障用戶提供適航保障、區域管理、綜合管理的移動端功能。

數據可視化平臺提供自助報表和可視化門戶功能，包括機場數據治理整體看板、數據交換看板等。

數據治理與共享交換平臺提供資產目錄和門戶，用戶可申請數據資產，同時支持數據標準、數據資產、數據質量、元數據管理、數據報表、數據模型、數據血緣、接口/文件開發與集成等功能，把數據倉庫的數據提供給第三方系統。

數據開發平臺支持把業務系統的數據通過庫表、文件、接口、消息等方式接入數據倉庫，并在數據倉庫進行清洗、轉換、校驗、計算等，形成ODS（原始表）、DWD（根據參考數據標準完成參考值的標準化，根據查詢統計需求完成寬表構建，以及數據的清洗和轉換）、DWS（數據統計分析）三層數據架構。

基礎組件平臺提供組件配置、服務啟停、運維監控等功能。

統一門戶支持統一認證、用戶權限、審計日志、任務調度配置等功能。

3.2技術架構設計

本系統分為獲取層、存儲計算層、服務層、展示層4個層級，開發平臺貫穿全局。充分利用業內主流前沿技術，結合企業數據服務需求，融合構建統一數據治理工具。

獲取層：負責采集各種數據源的數據，匯聚存儲至存儲計算層。通過數據同步工具，如JDBC、DATAX等完成數據獲取，通過消息中間件，如Kafka、Rab?bitMQ等完成數據的分發與傳輸，通過Flink、Spark等數據處理腳本，完成結構化數據和非結構化數據預處理。此外，ETL技術還包括爬蟲技術和事件采集技術，應用于多場景的數據獲取。

存儲計算層：支持大數據分布式計算、MapReduce大規模并行計算[5]、Spark并行計算、基于Flink或SparkStreaming的實時流式數據計算[6]，支持基于MPP數據的復雜關聯分析和基于NoSQL數據庫和內存數據庫的交互式查詢與分析，支持基于Hadoop分布式、MPP分布式數據庫和傳統數據庫等進行存儲。

服務層：負責數據治理相關配置管理及數據服務。數據服務主要通過OpenAPI技術對外提供數據交換接口；通過即時查詢工具，如Hue、Zeepelin等，支持即席查詢；通過SQL解析等技術實現自定義報表及可視化大屏詢功能。

展示層：集成多種前端組件庫來實現數據服務的多元化前端展示。

開發平臺：通過虛擬化環境及容器管理，實現應用容器化部署及編排。

3.3部署架構設計

平臺采用MySQL數據庫、MongoDB數據庫、Post?greSQL數據庫作為業務數據庫；StarRocks作為數據倉庫，承擔數據倉儲、計算、轉換等功能；核心服務包括適航保障、區域管理、綜合管理、配置管理、數據適配服務；輔助服務包括Zuul網關、Eureka注冊中心、統一認證、視頻推流服務、移動管理平臺、即時通信、任務調度中心、工作流引擎、知識庫、GIS服務；中間件包括RabbitMq、VerneMq、Redis、Seatunnel、flink、zookeeper、Nginx。

3.4業務流程設計

本系統根據StarRocks既支持從各類實時和離線的數據源高效導入數據的特性，將民用機場飛行區的FOD數據、鳥情數據、圍界數據、燈光數據、安全防范數據、道面數據、車輛位置數據、航空器位置數據、航班數據、保障數據等實時導入StarRocks數據倉庫，根據業務場景的不同進行清洗、轉換、計算、分析，最終將結果以報表、大屏、第三方接口的形式展示呈現。

以跑道FOD的業務流程為例，詳細闡述本系統數據治理過程。本系統通過實時同步防跑道入侵系統的FOD數據表，存入StarRocks的ODS層。經過數據計算，將錯誤報警數據自動清除，獲得有效的FOD報警數據，利用StarRocks的數據校驗、數據訂正等功能，對機場FOD數據進行質量檢查和修復，確保數據的準確性和完整性后，通過關聯航班信息、跑道信息等，形成DWD層FOD數據表，將業務數據展示在平臺中，用戶可進行報警確認、派工、處理、催促等操作。將DWD層FOD數據表利用StarRocks的復雜查詢能力根據日期、部門、區域、種類等信息進行分析，對機場飛行區FOD數據進行深入分析和挖掘，形成DW層FOD統計表，為機場運行管理、航班調度、安全監控等提供決策支持。此過程中平臺通過數據生命周期全過程的安全防護體系，包括數據加密、訪問控制、審計日志等措施，保證數據傳輸、計算、存儲的安全性和可靠性。

3.5應用效果評估

飛行區數據治理技術底座實現數據匯聚、共享交互和數據服務，通過數據庫表、接口、消息、文件等方式匯聚生產運營系統、站坪無線調度系統、跑道防入侵系統、鳥情系統、圍界系統、助航燈光系統、空管系統、道面系統等10多個系統數據；通過數據清洗、轉換、融合、質量校核，建立機場飛行區統一的數據標準模型，包括圍界、鳥情、助航燈光、FOD、道面、車輛、設備、人員八大類；平臺支持PB級存儲，具備高性能計算能力，其中離線計算48TB，實時計算15萬TPS，支持作業調度5萬以上并發量。

基于StarRocks構建的數據治理平臺，利用數據治理技術全面展示機場飛行區的總體運行情況，可宏觀掌控飛行區的運行安全、日常管理和運營效率等各個方面。平臺的建設不僅能提高值班效率，提升空防安全和管理效率，更能提升整個機場的運行品質，帶動機場全面發展。日常管理方面，拓展飛行區實際應用，實現飛行區資源和人員的統一管理，優化日常保障和監管流程，提升綜合管理水平；安全管理方面，利用GIS和可視化等技術，結合實際應用場景，合理派工，自動上報，可視化查看現場情況，減少不必要的人工巡視，提高巡視效率，機坪防跑道入侵自動化報警，提升空防安全，實現整個飛行區安全體系建設；部門建設方面，通過專家知識庫建設，幫助飛行區管理部擺脫靠經驗管理的模式，實現數據沉淀，實時在線分享經驗，查閱技術文檔。流程管理方面，實現飛行區工作的電子化、智能化、移動化辦公，提高飛行區的信息化整體水平，多系統數據互聯互通，打破信息孤島，實現信息數據的深度挖掘。

4未來發展方向

4.1技術改進和創新方向

1）仿真模擬：機場吞吐量不斷增加，航班與資源不匹配問題日益突出，通過海量歷史數據結合仿真模型，模擬仿真飛行區未來運行情況，評估航班與資源的需求情況，為機場管理人員提供決策參考。

2）國產化改造：目前機場逐步替換信創產品，平臺全面支持操作系統、數據庫、開發語言SDK、應用框架、技術組件、數據倉庫等國產化適配。

3）物聯網技術結合：機場飛行區內有數以萬計的攝像頭、門禁等物聯設備，存在設備監測難、數據采集難等問題，通過物聯網技術把設備數據采集并接入平臺，實現飛行區設備的數據治理。

4）結合視頻分析技術：目前機場通過人員巡檢的方式來實現飛行區安全監管，研究和開發基于視頻分析的異常行為識別和預警算法，能夠及時發現和報警異常行為，有效提升飛行區安全能力。

4.2應用拓展的方向

1）隨著民航業的快速發展，數據治理范圍可以由機場飛行區進一步擴大至整個民航機場領域，如公共區、航站樓、貨運區等，以提升機場整體數據治理水平。

2）隨著通用航空等產業日益發展，與其深度融合的飛行區數據治理應用，擁有廣闊的市場前景。

3）隨著數據要素化的開展，將機場飛行區數據以要素化的方式在數據交易平臺中登記交易，賦能行業共同發展。

5結論

隨著民航業的旅客量不斷提升，基于StarRocks的機場飛行區數據治理在民用機場會更加舉足輕重。在未來，隨著技術的日益完善和成熟，數據要素化制度和法律法規進一步完善，數據將得到更全面的應用。首先，采用StarRocks實時數倉的飛行區數據治理平臺，隨著業務數據增加，結合大語言模型和人工智能應用，可進一步分析機場飛行區的潛在風險和業務瓶頸，為機場高質量發展提供夯實的數據支撐。其次，挖掘機場飛行區數據交易場景，初步建立相應數據資源計量、定價策略，通過數據交易平臺，完成數據資產登記和掛牌交易。

另外，目前數據資本化已處在早期探索階段，以銀行貸款為主，輔以數字資產保險、數據信托、證券化產品、作價入股和交易等多元資本化方式，平臺可以在交通運輸、金融服務、文化旅游、城市治理等更多領域進行復制，服務數據要素高效有序流通。

綜上所述，基于StarRocks的機場飛行區數據治理平臺不僅提高機場數據運營效能，發揮數據價值，還提升旅客服務水平，最終打造出一個平安、綠色、智慧、人文的四型機場。

參考文獻：

[1]袁婷，劉一.基于“7+1”智慧民航數據治理規范的行業數據治理[J].民航管理，2024（4）：21-25.

[2]高海峰，葉春明.基于StarRocks的實時數倉設計[J].計算機時代，2023（2）：46-50，60.

[3]張楠.StarRocks引領數據庫革新[J].軟件和集成電路，2023（12）：55-57.

[4]鄭廣，李建政，張義軍.應用數據倉庫技術實現民航決策支持系統[J].計算機工程與應用，2002，38（5）：249-252.

[5]滕長青.大數據平臺建設關鍵技術研究[J].數字通信世界，2019（12）：62.

[6]劉輝，陳剛.基于Flink的工業大數據實時分析平臺[J].電子技術與軟件工程，2021（6）：185-187.

【通聯編輯：梁書】