基于計算機視覺的客機艙門識別與定位技術研究

葉 潤，張 成，李 旭，陳 銘

(1.電子科技大學 自動化工程學院,成都 611731;2.北京博維航空設施管理有限公司，北京 100621)

0 引言

旅客登機橋是大型的機電設備，作為活動通道將飛機與航站樓連接在一起，實現飛機與機場航站樓之間的活動聯接，供旅客及工作人員方便安全地通行。旅客登機橋包含旋轉平臺、活動通道以及幫助通道運動的運動機構等。旅客登機橋有效利用了多層空間，節省運營成本，提高機場運行效率，優化機場的管理，對發展現代化機場有重要意義[1]。

登機橋的發明和使用最早是在歐美等國家開始研究[2-4]。2002年，德溫·C·斯潘塞等提出自動登機橋成像系統[5-6]，在飛機艙門附近安裝多個光學反射裝置，在登機橋端設置照明裝置和攝像頭，通過計算機軟件進行處理并控制登機橋實現對接。該方法缺點在于需要對飛機機身進行改造。2012年，鄧覽提出利用基于數字圖像處理技術和雙目視覺測量原理的登機橋全自動系統[7]，提取圖像邊緣，生成艙門的外接矩形框，與艙門模板進行比對識別，利用矩形框坐標實現艙門的定位對接，但該方法對圖像質量敏感。2017年，馬科斯·佩雷斯·佩雷斯和赫塞·門迪奧拉歌蒂亞·朱莉安娜申請了用于將乘客登機橋定位在飛機上的方法[8]。該方法類似人臉識別的思路，從艙門周圍其他多個特征入手，是先對飛機艙門和舷窗的形狀位置分布特征進行檢測，再計算擬合它們中心點的沿線，并分析圖像的透視情況來計算橋頭轉動的角度。2016年，Tan Hong Soon等[9]提出使用攝像頭和傳感器識別飛機，并使用高精度有源線激光輪廓傳感器檢測飛機艙門的垂直邊緣和下邊緣，通過控制器模塊對登機橋進行控制與移動。2018年，波音公司J·W·格拉特費爾特等也提出了自動部署旅客登機橋的系統和方法[10]，使用傳感器與控制器相互協作達到登機橋自動完成對接的目的，但該方法著重于控制艙門與登機橋的距離，不能全局精確定位。2019年，李劍思等提出一種登機橋停靠方法[11]，通過構建登機橋本地坐標系和地面坐標系，利用登機橋前端的雙目攝像機進行外部參數標定，識別、跟蹤艙門并計算出艙門下方兩個角點與連線中點的位置，實現登機橋的自動停靠。

基于計算機視覺的客機艙門識別與定位系統的處理對象是客機與登機橋對接過程的視頻，用于拍攝的攝像機安裝在登機橋上。對獲取的視頻進行分析，由于登機橋運動時晃動明顯，導致目標圖像發生模糊，對接過程中由于攝像頭視角變化，視頻中的艙門發生畸變，并非規則的矩形；登機橋和客機艙門對接處于室外環境，而且系統需要保證能夠全天候工作，所以系統需要克服日間艙門上由于遮擋產生的陰影與夜間的偏暗畫面帶來的識別困難；同時客機艙門并非完全相同，不同機型與所屬航空公司有不同的涂裝；檢測模型需要有較高的檢測速度來滿足實時檢測的需求。

針對上述情況，本文對目標檢測算法、深度學習理論進行研究，對SSD模型進行深入地學習，利用遷移學習在深度學習上的應用實現對機場實地拍攝的艙門圖像進行識別與定位的關鍵任務，完成艙門位置的解算。

1 輕量級卷積神經網絡

隨著CNN在圖像識別領域的廣泛應用，深度神經網絡將計算機視覺任務的性能大大提高，對于網絡結構而言，目前總體的趨勢為了構建具有更高準確性的網絡而建立更深、更復雜的網絡結構。但是復雜的高維度神經網絡在尺度和速度上很難適應普通設備的運算能力。而MobileNet[7]提出了一個高效的輕型網絡架構，基于深度可分級卷積(Depthwise Separable Convolution)構建了一種輕量化的卷積神經網絡。通過引入兩個超參數構建體積小、延遲低的模型，可有效地在延遲和準確率之間折中。這些超參數允許依據約束條件選擇合適大小的模型。

1.1 深度可分離卷積

MobileNet中的核心部分是用于替代標準卷積的深度可分離卷積，通過深度可分離卷積提取輸入特征。方法的基本原理是將標準卷積分解為深度卷積(depthwise convolution)和逐點卷積(pointwise convolution)，大幅降低參數數量和計算量，減小模型架構復雜度和尺度。卷積的分解過程如圖1所示。

圖1 深度可分離卷積原理示意圖

其中:輸入的特征映射F尺寸為(DF,DF,M)，采用的標準卷積K為(DK,DK,M,N)，輸出的特征映射G的尺寸為(DG,DG,N)。

標準卷積的計算公式為：

(1)

設定輸入的通道(channels)數目為M，輸出的通道數目為N。對應的計算量為DK,DK,M,N,DF,DF。

標準卷積(DK,DK,M,N)可以被拆分為深度卷積和逐點卷積，其中深度卷積負責濾波，卷積尺寸為(DK,DK,1,M)，輸出大小為(DG,DG,M)；逐點卷積負責進行通道的，尺寸為(1,1,M,N)，得到輸出為(DG,DG,N)。

深度卷積的卷積公式為：

(2)

深度卷積和逐點卷積的計算量為DK,DK,M,N,DF,DF+M,N,DF,DF，與標準卷積相比較減少了：

(3)

一般情況下，N比較大，而如果采用3×3卷積核，對比標準卷積，深度可分離卷積將降低8～9倍的計算量，參數量也減少了，而只有很小的準確率上的損失。

1.2 網絡結構與超參數

標準卷積與MobileNet使用的深度可分離卷積的結構對比如圖2所示。

圖2 深度可分離卷積網絡結構示意圖

深度可分離卷積作為MobileNet的基本組件，在實際應用中在其后加入批標準化層(batchnorm,BN)，并使用ReLU激活函數。分析整個網絡與參數和計算量的分布可知，MobileNet共有28層(不包含平均池化與softmax層)，其中利用步長為2的深度卷積進行下采樣，而非采用池化層。計算量和參數基本大部分集中在1×1卷積上，除此之外全連接層占用較多參數。值得關注的是，深度可分離卷積中引入更多的ReLU函數，增加了模型的非線性變化，增強了模型的泛化能力。

MobileNet還提供兩個超參數用于模型的輕量化：寬度乘數α(width multiplier)與分辨率乘數ρ(resolution multiplier)。

(1)寬度乘數α使得輸入通道M更新為αM，輸出通道更新為αN，則深度卷積和逐點卷積的計算量為DK·DK·αM·DF·DF+αM·αN·DF·DF，通常設α∈(0,1]。計算量減少了：

(4)

寬度乘數將計算量降低了約α2倍，其參數量也會下降，能方便地控制模型大小。

(2)分辨率乘數ρ的作用是控制輸入的分辨率。

深度卷積和逐點卷積的計算量為DK·DK·αM·ρDF+ρDF+αM·αN·ρDF·ρDF，通常設ρ∈(0,1]。通常設置輸入分辨率為224，192，160和128。計算量減少了：

(5)

分辨率乘數將計算量降低了約α2倍，但不改變參數數量。參數的引入對MobileNet的性能有一定影響，其提出是為了能在準確度與計算量和模型大小之間做出折中。

2 客機艙門的檢測模型構建

對于目標檢測與識別，國際上有多種不同場景的公開數據集。本文利用在大型數據集上訓練后的模型，即預訓練模型，進行對本地目標數據集的遷移學習。本文選用MS COCO數據集上預訓練得到的MobileNet-SSD模型作為預訓練模型。

2.1 MS COCO數據集

COCO(Common Objects in Context)數據集由微軟等企業贊助，是大規模的對象檢測、分割和描述數據集。COCO包含91個物品類別，150萬個目標實例，80個目標類別，進行了目標分割、上下文識別、超像素物體分割，包含33萬張圖像，已標記的圖像大于20萬張，每張圖像有5條圖像描述，圖像中含有標記有關鍵點的25萬人。COCO在2017年更新的數據集中，分配了11.8萬張訓練圖片，5千張測試圖片。

COCO數據集的標注以JSON格式存儲，對數據信息的格式和數據類型有明確的標準。類似于PASCAL VOC數據集，COCO數據集的標注文件包含文件ID，種類ID，分割和區域信息、邊界框信息等。

2.2 基于MobileNet網絡的SSD艙門檢測模型構建

2016年Liu等人提出了SSD算法[13]，該算法結合了YOLO的回歸思想以及Faster R-CNN的anchor機制，使得檢測速度和精度均得到了保證[14]。

將SSD算法的主干網絡VGG-16替換為MobileNet-v1就得到了MobileNet-SSD模型，在COCO數據集上進行訓練，提取圖像特征。對習得的特征提取參數進行凍結，即凍結網絡前端的層，保留網絡提取圖像特征的能力，對最后的卷積層(SSD算法把VGG的FC6、FC7全連接層替換為卷積層)進行分類訓練，得到期望的艙門檢測模型。

SSD通過對主干網絡后的5個卷積層的特征圖輸出用大小為3×3的卷積核進行卷積，計算分類與回歸的置信度。

MobileNet-SSD的損失函數由分類和回歸兩部分組成：

(6)

式中，N代表選取的預設框數量，Lloc表示定位的偏移量損失：

(7)

其中:lim,gjm分別代表m類別之中的第i個預測框、第j個真值框。xijk指的是第i個預測框與第j個真值框對于類別k是否匹配，匹配時值取1，否則取0。邊界框的中心點坐標為(cx,cy),邊界框的寬為w，高為h。

損失函數中的另一部分Lconf為分類損失，定義為正例損失與負例損失：

(8)

3 基于MobileNet-SSD模型的艙門識別與定位

3.1 網絡參數初始化

在開啟模型訓練之前，首先要創建標簽(Label)類別文件，其次要對管道配置文件自定義，重要參數見表1。

表1 模型配置部分參數表

其中batchsize與learning_rate兩個參數需要動態地調節，通常batchsize減半時，learning_rate需要降低一個數量級。而batchsize的大小與實驗設備的GPU顯存密切相關，由于本實驗平臺GPU顯存僅為2GB，經多次嘗試，可以進行訓練的最大batchsize為8，而更大的batchsize能更全面地擬合圖像特征。若初始學習率過大，則很可能導致梯度爆炸，出現訓練Loss為Nan的錯誤，導致模型發散，訓練失敗。

3.2 檢測性能評估與分析

使用上述的配置文件對所設計的模型進行50 000步迭代后，MobileNet-SSD模型對視頻圖像中的艙門識別已經有比較好的效果，效果如圖3所示。

圖3 不同環境下的艙門識別結果

由圖3可知，構建的MobileNet-SSD微調模型準確率高，漏檢率低，對光照、姿態、模糊、陰影等變化具有較好的魯棒性，對不同樣式的艙門也有著較好的普適性。

1)對模型在測試集上進行評估。

IOU即交并比，指的是預測框與真值框的重疊部分與兩者并集做除法，mAP(Mean average precision)為均值平均精度，AR(Average recall)為平均召回值，classification loss即分類損失，localization loss即定位損失，total loss為模型的總損失。

從圖4～6中訓練過程的loss圖像可以看出，訓練過程中20 000 step前loss的平均水平下降速度較快，隨后loss保持在2.6左右，跳動幅度在1左右。在30 000 step時loss的平均水平已經趨近穩定。證明該實驗選取了合適的學習參數使整條loss曲線平穩下降。

圖4 訓練集定位損失

圖5 訓練集分類損失

圖6 訓練集總損失

同時圖像中loss曲線雖然整體下降，但曲線的“寬度”較大，在訓練后期不利于模型的擬合，準確度難以進一步提高。說明相鄰兩次訓練中使用樣本的方差太大，需要增大batchsize，增加樣本量，來不斷訓練和完善模型。

從圖7～9的測試集準確度圖像可以看出，由于采用預訓練模型提供的特征提取器，訓練過程中模型準確率在10 000 step前后已經有很大提升，達到0.6 mAP，最終穩定在0.849 mAP。如果放寬預測框與實際標注框的重合比例，當IOU取0.5時，在50 000 step后mAP到達了0.99的水平，即使IOU取0.75時，在50 000 step后mAP也到達了0.97的水平。說明該模型對艙門的檢測能力很強，后通過對比訓練集和測試集的數據，也證明模型沒有發生過擬合。

圖7 測試集平均準確度

圖8 測試集平均準確度(IOU=0.5)

圖9 測試集平均準確度(IOU=0.75)

從圖10和圖11的模型訓練集與測試集的表現看出，模型訓練充分，loss函數收斂速度較快，識別準確率高，未見過擬合，訓練集與測試集數據符合預期結果。

圖10 測試集分類損失

圖11 測試集定位損失

2)識別的效率分析。

使用100張分辨率為1 920×1 080的圖像進行測試，前10張模型推斷用時(秒)為：5.566 57，0.068 96，0.068 95，0.068 95，0.070 95，0.069 95，0.070 95，0.070 95，0.072 97，0.069 96。

由于第一張圖像的計時包含了模型初始化、創建會話(session)等操作，耗時較長且不能代表模型推斷的速度，所以排除該數據，對剩余99條計時數據計算平均值，得到結果為：0.071 36(秒)。

本模型得到平均檢測耗時約為0.072秒每幀。從攝像機獲取的實地檢測視頻的最高幀率為12幀每秒，檢測耗時需要低于0.083秒每幀即可完成實時檢測任務。由此可知，本方法平均檢測耗時低于需求耗時，能夠完成實時艙門識別與定位。

相比Github中TensorFlow Object Detection子頁面detection_model_zoo.md提供的數據顯示，MobileNet-SSD在MS COCO數據集上的預訓練模型的推斷速度平均為30毫秒。本模型與其的差距在于兩個方面：1)使用的圖片分辨率不同，本實驗的使用的測試數據是分辨率為1 920×1 080的圖像，圖像尺寸越大，檢測耗時越高；2)本地模型相比預訓練模型，沒有對硬件資源進行充分利用。

3.3 艙門位置信息的輸出與交互

由模型獲得檢測結果后，提取邊界框(bounding box)的坐標數據，計算出中心點坐標并利用OpenCV庫中的函數進行標記。

在進行艙門檢測前，需要獲取艙門對接后的圖像，以確定艙門移動終點的位置坐標。利用終點坐標與邊界框中心點坐標進行比較，判斷出當前艙門相較于終點還需要移動的方向，為下一步登機橋的移動做出指導。同時將相關信息打印在圖像上，使得輸出更加直觀。

輸出的視頻截圖展示如圖12和圖13，兩圖由上至下分別為匹配中、需要向左、向上移動、x軸坐標、完成匹配對接成功。輸出框的中心紅點即為對艙門中心的檢測，圖片的左上角給出了該預測中心點的坐標信息，同時也給出了當前情況下的動作要求，如前進、左轉、對接完成等信息。

圖12 輸出的視頻截圖(對接中)

圖13 輸出的視頻截圖(對接完成)

4 結束語

本文首先對基于計算機視覺的客機艙門識別與定位系統的要求進行分析，綜述了艙門識別對接的研究現狀，后對MobileNet的結構與特點進行介紹，根據任務需求構建基于MobileNet與SSD的艙門檢測網絡模型，對模型的損失函數進行分析，實現了基于MobileNet-SSD的艙門檢測模型。并對MobileNet-SSD模型各個環節進行詳細闡述，對開發環境的選擇與配置、數據集的預處理、模型訓練的參數配置與輸出結果進行設計與分析，展示了訓練后的模型的性能和含有對接指導信息的輸出圖像結果。從實驗的結構中分析可以看出，本文設計的MobileNet-SSD模型對艙門的識別有著很好的識別效果，而且在不同的環境、角度、距離、艙門類型等干擾下仍然有很強的魯棒性。該實驗對客機艙門自動對接的實現具有十分重要的工程意義。