青島膠東國際機場空港地面保障節點視頻采集監管技術研究

摘" 要：當前民航發展迅速，機場現場運行核心業務在于航空器保障、旅客服務和貨郵處理。已有旅客服務和貨郵處理系統化比較成熟，但機坪航空器保障還多以人工報送進展為主。通過利用新一代信息技術，研究智慧空港監管系統的關鍵技術，設計一套維護行李、貨物安全及便利化監管技術方案，以促進民航業的自動化處理和智能化提升。其中，對小目標檢測可靠性進行探索提升，以提高機坪小型車輛的探測準確度，平衡性能與算力，并為機場業務應用提供底層技術支撐。最后介紹了復雜場景下控制成本與提升目標的檢測速度的方法與效果。

關鍵詞：智慧機場；機場監管；視頻分析；人工智能

中圖分類號：TP311" 文獻標識碼：A" 文章編號：2096-4706（2024）23-0145-05

Research on Video Acquisition and Supervision Technology for Airport Ground Support Nodes at Qingdao Jiaodong International Airport

LI Kun， DING Jicun， CHEN Yusong

（Qingdao Civil Aviation Cares Co.， Ltd.， Qingdao" 266061， China）

Abstract： With the rapid development of civil aviation currently， the operation core business of airport onsite focuses on aircraft support， passenger service， and cargo handling. The systematization of existing passenger service and cargo handling systems is relatively mature， but aircraft support on the apron is mainly reliant on manual reporting of progress. This paper researches the key technologies of smart airport supervision system by utilizing next-generation information technology to design a set of technology scheme to maintain luggage and cargo security and convenient supervision for promoting automatic handling and intelligent improvement in civil aviation industry. Among this， it explores to improve the reliability of small target detection， so as to improve the detecting accuracy， balancing performance and computational power of small vehicles on the apron， and provides foundational technology support for airport business operation. Finally， it introduces the methods and effect of controlling cost and improving the target detection speed of in complex scenarios.

Keywords： smart airport; airport supervision; video analysis; Artificial Intelligence

0" 引" 言

近年來，為提升機場運行效率和服務能力，中國民用航空局下發了《機場協同決策系統技術規范MHT 6125—2022》，為航班保障作業規范性和新技術在航班保障過程中得使用提供了參考和新要求，明確了基于視頻分析實現保障節點自動采集得節點項、性能指標等具體要求因受制于信息共享機制和信息采集條件，但經過這兩年的實際運行，協同決策所需的航班地面保障節點數據在及時性、完整性等方面仍存在問題，有一定的提升空間。隨著機器視覺（CV）與人工智能（AI）的持續演進，借助視頻智能分析與機場業務系統數據可以為機場監管提供更多參考。

1" 業務現狀分析

1.1" 機場保障業務分析

機場業務保障關鍵是航班正常率，為了保障航班正常率需要即時獲取當前保障進展狀態，而此類保障進展多由人工通過對講機或者手持機APP手動報送。目前國內機場主要依靠傳統的視頻監控系統進行安全監管。傳統的視頻監控平臺雖然擁有豐富的監控視頻數據資源，但功能相對單一、對于業務數據價值尚未深入挖掘、事后回查費時費力，缺少聯動高效處置的方法，存在一定的滯后性和被動性，不能有效地起到實時預警的作用。通過智能分析視頻方式實現對地面保障節點的進程監控、時間采集和動作記錄，有效管控航空器地面運行。借助對保障車輛及航空器的檢測和追蹤，實現保障進展的狀態自動化監測。全面提升機場運行效率，優化地面資源配置。航空器保障監管還是貨郵、行李處理，計算機處理的核心都是目標檢測。目標檢測也是近年來機器視覺領域發展最快、應用最為廣泛的一種研究方向。從傳統的特征點檢測到逐步轉化為神經網絡、深度學習的算法，目標檢測的效果逐步提升。使用人工智能算法對各個環節進行自動分析上報，有效解決人工上報存在的漏報誤報等問題，節省了人力成本，提高了監管效率。

1.2" 民航標準要求

2022年3月，由中國民用航空局下發了《機場協同決策系統技術規范MHT 6125—2022》，為航班保障作業規范性和新技術在航班保障過程中得使用提供了參考和新要求，明確了基于視頻分析實現保障節點自動采集得節點項、性能指標等具體要求。

2" 整體方案

2.1" 系統結構

系統結構如圖1所示，主要包含攝像機、分析單元、存儲設備和智能分析四個部分。

2.1.1" 攝像機

攝像機主要采用可見光高清攝像機，通過安裝在機坪特定的多個角度相機，對識別區域內的航空器、人員、車輛及對應的保障任務節點進行采集，同時可以提供實時視頻以協助完成監管。

2.1.2" 分析單元

分析單元作為本系統核心部件，主要由高性能GPU服務器集群構成，對可見光相機傳回的動態數據流進行實時處理及分析，該分析單元可以根據保障識別任務的業務類型及業務總量進行靈活配置，可以滿足中大型機場高峰期吞吐量的識別要求，同時技術上集群采用高可用及冗余設計，保持業務的持續性。

2.1.3" 存儲設備

根據機場業務體量可以靈活的配置分析單元的集群規模和存儲設備規模，系統支持中大型機場的極大數據量存儲，并支持數據備份及冗余設計，滿足上百路視頻分析數據流的接入，支持實時查看，歷史回放。

2.1.4" 智能分析

智能分析使用深度學習算法，事先學習到各種保障車輛的關鍵特征，需要劃定的記錄時間的圖像區域，然后將該區域的圖像輸入到深度學習算法模塊中，根據車載GPS定位輔助信息確認車的類型，一旦確認后記錄時間節點，并開始計時，直到檢測到保障車輛離開該區域，記錄離開時間節點，完成整個計時。

2.2" 核心架構

智慧監管系統整體架構自底向上分為五層：基礎設置層、基礎服務層、算法層、AI架構層、業務數據層、業務服務層，如圖2所示。

基礎設施和基礎服務與算法算力層進行解耦，可以無縫接入滿足要求的基礎設施，整個底層架構具備更優的開放性。

算法算力層在基礎服務基礎設施所提供的資源基礎上，提供算法、算力基礎能力。算法能力支持包括但不限于多攝像頭、機坪檢測、機坪追蹤、機坪定位算法，包含人、車輛、航空器、物體以及事件算法，同時算法算力平臺具備接入第三方算法的能力，具備持續迭代、擴展開放的良好能力。算法算力平臺采用前沿云原生架構，通過云原生、容器虛擬化的能力，將整體資源池化，實現智能資源調度，資源服務器使用量低，資源使用靈活高效。同時集成模型管理、算法自訓練、推理加速，更加適配算法整體所需的計算能力。

業務數據層可以更好地產生業務應用所需數據，達到優秀指標。從現實世界真實邏輯出發綜合人、場、物、車關聯邏輯進行融合計算產出數據。

業務服務層中人員安全、車輛安全、航空器安全及航班保障節點的功能基于智能分析平臺的算法算力平臺，完成海量視頻數據預處理以及人、車、物、航空器時空數據結構化、事件檢測分析，極大地減少了煙囪架構模式，減少成本，為各應用系統提供業務服務能力。

2.3" 主要識別節點

主要識別節點如表1所示。

2.4" 技術難點分析

監控視頻中飛機占比巨大，而保障車輛、保障人員、保障設施體積相比飛機十分渺小，導致實際視頻中分辨率很低，而實際運行中存在雨雪霧等不利天氣，實際分辨率和干擾更大，而機場的機位眾多，需要在盡量低的硬件條件下，實現盡可能高的識別率，并盡量減少相應的時延，需要持續優化相關模型與參數，保證識別率。

視頻采集過程中受到攝像機安裝位置影響，往往單一攝像機不能完整覆蓋一個完整機位，需要多個視角整合，同時由于安裝位置不同，視角不同、不同航司的飛機與保障車輛型號、涂裝、部分設備存在變形與多環節共享的情況，需要針對實際運行進行持續完善。

2.5" 實現分析

結合業務模型，本方案對目標檢測算法中的二階段算法RCNN、FastR-Cnn[1-2]、FasterRCNN與一階段目標檢測算法SSD、YOLOV3[3]、YOLOv4[4]、YOLOV5進行了評估，經分析保障節點智能視頻分析算法是一個以目標檢測算法為基礎的解決方案，目標檢測算法優劣主要分為兩個指標：

2.5.1" 識別的準確率

識別的準確度決定了算法識別的代表具體環節的物體是否準確，算法的執行速度，決定了1臺服務器算法能夠接入多少路視頻，接入的路數越多整體方案的成本越低。二階段目標檢測算法準確率更高，但是執行速度很慢，一階段目標檢測算法犧牲了一定的準確率，但是執行速度更快。

深度學習算法需要大量圖像標注，通過將標注數據進行迭代訓練從而找出一個較好的算法模型進行部署測試。機場的環境中，飛機尺寸巨大，而車輛目標較小，部分保障設備如輪擋等在視頻中占比極小，作為小目標分辨率低，在多種不利條件下容易收遮擋、光照、陰影、反光等因素導致識別率低[5]，需要通過持續跟蹤小目標，構建相應的處理網絡[6-8]，進行綜合判斷[9]才能保證最終的識別率。

在選型過程中，YOLOV5是一階段檢測器中兼顧準確率、識別速度相對較好的一個算法，因此經過綜合考量[8]最終選擇了YOLOV5算法作為本方案的初步選擇，并在此基礎上進行優化[10]。

2.5.2" 算法的執行速度

算法主要分為算法模塊和地面保障后臺模塊，算法模塊分為目標檢測算法、消息推送以及視頻流處理部分，目標檢測算法主要基于OpenCV接入rtsp視頻流通過對視頻流的切分處理對每一張圖片上的物體進行識別，視頻推流直播主要通過ffmpeg對識別后的圖片轉成rtmp流進行推送處理，消息推送部分負責將目標檢測算法識別到的物體信息，通過rabbitmq傳輸給地面保障后臺系統。地面保障后臺分為直播流處理、基礎數據、邏輯判定三部分，直播流處理主要處理對目標檢測算法處理后的rtmp視頻流進行直播并對相關視頻數據進行本地保存，基礎數據主要是對不同的保障環節進行標注，輔助邏輯判定進行任務完成情況的判別，邏輯判定服務主要是通過讀取基礎數據以及消息隊列中的物體信息，判定當前執行的是什么任務，這個任務的完成狀態是什么，并對識別到的狀態進行上報。

保障節點采集算法采用分布式部署的方案，可以通過多臺深度學習服務器進行部署，每臺GPU服務器分別識別不同機位上的攝像頭視頻，并將識別結果通過消息隊列推送給地服后臺通過讀取每個環節的基礎數據，并根據環節的不同，分別判定該環節開始時間與結束時間進行自動上報。視頻數據則會通過ffmpeg推送到nginx-rtmp端，前端可通過nginx-rtmp視頻流進行播放。

算法首先配置具體的保障環節、機位、視頻設備，然后對算法事件與保障環節的關系進行配置，通過視頻攝像頭實時接入機位視頻，對接入的視頻進行切分，對圖像進行歸一化等預處理工作，對處理后的圖像輸送到算法中獲得識別結果，并將識別到結果通過消息隊列進行推送，處理后的圖像通過ffmpeg推送的視頻服務器端，可供前端直接展示。邏輯判定模塊通過讀取消息隊列中的識別結果，根據識別到的物體找到與物體綁定環節，對目前正在進行的保障環節及開始結束時間并進行實時上報。

3" 應用成果

實驗數據收集了5天青島機場的視頻數據，每個環節隨機選擇40個航班的結果與算法分析的結果進行比對分析，對航空器入位、航空器推出、引導車開始、引導車結束、靠廊橋、撤廊橋、開艙門、關艙門、開貨艙門、關貨艙門、皮帶傳送車開始、皮帶傳送車結束、牽引車開始、牽引車結束、配餐開始、配餐結束、放輪擋、撤輪擋18個環節，進行比較分析。結果如表2所示，通過表2可以看出，整體保障準確率可以滿足民航局指導要求，也可以滿足機場實際運行需要。

4" 結" 論

機坪作為機場核心業務場景，通過視頻節點采集可以有效地提升整體運行和協同效率，是機場運行指揮的關鍵抓手。未來可以擴展更多保障環節，并實現更多業務聯動，保證航班正常率。

參考文獻：

[1] REN S Q，HE K M，GIRSHICK R，et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks [J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence，2017，39（6）：1137-1149.

[2] REDMON J，DIVVALA S，GIRSHICK R，et al. You Only Look Once： Unified，Real-Time Object Detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016.

[3] XIA C Q，LI X R，ZHAO L Y，et al. Infrared Small Target Detection Based on Multiscale Local Contrast Measure Using Local Energy Factor [J].IEEE Geoscience and Remote Sensing Letters，2010：157-161.

[4] 黎航，鄒衛軍，沈運.基于fast-LOF與光流軌跡的弱小目標檢測算法 [J].電光與控制，2019，26（4）：39-43.

[5] WEI Y，CHENG Z D，ZHU B，et al. Multiscale Hysteresis Threshold Detection Algorithm for a Small Infrared Target in a Complex Background [J].Optical and Quantum Electronics，2019，51（4）：1-14.

[6] HE K M，ZHANG X Y，REN X Q，et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition [J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence，2015，37（9）：1904-1916.

[7] RAZAKARIVONY S，JURIE F. Vehicle Detection in Aerial Imagery： A Small Target Detection Benchmark [J].Journal of Visual Communication and Image Representation，2016，34：187-203.

[8] 王海濤，姜文東，程遠，等.兩級上下文卷積網絡寬視場圖像小目標檢測方法 [J].計算機測量與控制，2019，27（6）：199-204.

[9] 李廷玉.基于深度學習的多目標跟蹤算法研究 [D].成都：電子科技大學，2024.

[10] 羊釗，陳怡欣，張智杰.基于地面保障流程的過站航班延誤預測方法 [J].重慶交通大學學報：自然科學版，2023，42（9）：122-129+154.

作者簡介：李坤（1986—），男，漢族，山東淄博人，工程師，本科，研究方向：民航行業數據采集、分析與挖掘、民航人工智能；丁繼存（1982—），男，漢族，山東兗州人，高級工程師，碩士，研究方向：民航行業管理、業務流程仿真/建模、數據可視化；陳昱松（1996—）男，漢族，山東青島人，本科，研究方向：大數據分析、民航業務流程管理。