基于改進YOLOX-s的機場跑道冰雪狀態感知

邢志偉, 闞 犇, 劉子碩, 李 彪, 羅 謙

(1. 中國民航大學 電子信息與自動化學院, 天津 300300; 2. 天津航空機電有限公司, 天津 300308;3. 中國民航局第二研究所 工程技術研究中心, 成都 610041)

2021年11月4日,國際民航組織(International Civil Aviation Organization, ICAO)要求按照統一的全球跑道表面狀況報告格式(Global Reporting Format,GRF)[1]評估和報告跑道表面狀況.按照新的模式,跑道摩擦系數僅用于干跑道表面狀況的日常監測和道面維護,不再作為跑道適航性的認定標準.對于有冰雪覆蓋物污染的跑道,機場運行方應根據跑道道面污染物的種類、覆蓋范圍、深度等跑道表面狀況,確定跑道狀況代碼,提供給管制和航空情報服務部門.因此,如何科學精確地感知跑道表面狀態及演化規律,確保跑道運行的適航性,是冬季冰雪氣象條件下機場不停航運行需要突破的核心關鍵技術.

目前,國內外學者針對ICAO提出的跑道運行新標準,展開了多方面的研究:一是道面冰雪污染物的狀態識別,如Kim等[2]提出一種利用毫米波傳感器和人工神經網絡(Artificial Neural Network, ANN)接收信號強度統計特征來識別冰雪種類;Ma等[3]利用多波長非接觸光學技術,發現黑冰、結冰和下雪條件下的歸一化反射率不同,用于辨識路面冰雪狀態;Baby等[4]基于電容傳感原理,提出一種可以集成到遠程操作車輛(Remotely Operated Vehicle, ROV)中的電容式傳感器,用于自動檢查跑道等重要位置的冰層及形態;Troiano等[5]設計了一種用于估計路況的低成本電容式傳感器,建立了一種當水或冰覆蓋其表面時傳感器的電容變化模型,并評估環境溫度變化對道面冰雪厚度及狀態的影響.二是道面冰雪污染物的厚度、界限檢測,如Hoshino等[6]針對跑道受冰雪污染問題,在道面嵌入檢測冰雪的激光傳感器,通過光散射理論檢測冰雪厚度;任宏宇等[7]針對復阻抗式結冰檢測技術,提出一種溫度漂移補償方法,提升冰雪厚度測量精度以及穩定性;Hong等[8]利用系統動力學理論,建立隨時間變化的道路結冰的界限和位置檢測模型;勾一等[9]基于紅外熱波檢測技術,搭建了閃光紅外熱波檢測系統,并提出將高斯-拉普拉斯金字塔算法與面積濾波算法兩者相融合識別冰雪界限.三是道面冰雪污染物的演化規律研究,如Qin等[10-11]基于Bessel函數提出一種描述冰膜演化動力學的熱傳導數學模型,通過該模型計算地溫分布,研究冰膜的狀態演化規律;Chen等[12]利用改進粒子群優化算法對最小二乘支持向量機的核函數和懲罰函數進行優化,實現道面冰雪厚度與多氣象因子的非線性映射演化模型;Costa等[13]提出一種基于道面溫度、濕度等氣象因子的ANN模型,模擬路面積冰狀態演化過程.

上述在跑道埋設傳感器等接觸式冰雪檢測方法受環境影響大,且多傳感器間的數據難以實現深度融合,無法實現對道面冰雪狀態的精確感知,但是基于圖像理解的冰雪狀態感知受氣象條件影響很小,無需龐大的數據融合,可在不接觸道面冰雪的前提下對冰雪狀態進行感知;與上述利用電磁波、光波等非接觸式冰雪檢測方法相比,以圖像作為狀態感知的依據,幾乎不受環境限制,對黑冰、雪水混合物、冰水混合物等污染物復雜情況感知精確、可信度高.

本文從圖像層面實現機場跑道冰雪狀態感知,設計并搭建跑道冰雪實驗系統,采集冰雪狀態微觀圖像并制作數據集,通過改進YOLOX-s[14]模型來感知冰雪狀態.在CSPDarknet53主干特征提取網絡中,添加全局上下文模塊(Global Context block, GC block)來提高網絡注意力;使用雙向特征金字塔網絡(Bi-directional Feature Pyramid Network, BiFPN)替換原加強特征提取網絡,提高網絡對多尺度的特征提取能力;同時引入自適應空間特征融合(Adaptive Spatial Feature Fusion, ASFF)結構,進一步提升特征融合能力;使用α-EIoU損失函數代替原有的IoU損失函數,進一步提高模型的收斂速度與感知準確率.實現跑道冰雪狀態智能感知,可為道面除冰提供決策依據,有助于提高冬季機場跑道適航性.

1 實驗系統與數據采集

1.1 跑道冰雪實驗系統

跑道模型結構分解如圖1所示,在距道面10 cm處鋪設電熱線,向上以2.5 cm為間隔分別埋設3層PT-100,每層均勻埋設8個PT-100.電熱線層主要用于對道面進行加熱,控制道面溫度,使冰雪呈現不同狀態,模擬道面冰雪狀態演化的過程.3層PT-100用來監測跑道每層溫度分布,利用傳熱學研究跑道導熱效率對道面冰雪狀態的影響.

圖1 跑道模型結構分解(cm)

跑道冰雪實驗系統如圖2所示,當實驗系統實際運行時,將跑道模型置于高低溫試驗箱或者冬季戶外冰雪環境中,模擬冬季機場跑道表面實際情況,運行狀態如圖3所示.

圖2 跑道冰雪實驗系統

圖3 實驗系統實際運行

1.2 數據采集與分類

通過實驗系統模擬冬季機場道面環境,共采集到 2 592 像素×1 944 像素的圖片 5 668 張,并根據北海道大學低溫科學研究所對冰雪的分類方式[15-16]與ICAO發布的GRF標準中的跑道表面污染物分類,結合文獻[17]中的冰雪狀態圖像灰度區分表,得到如表1所示的道面冰雪狀態分類標準.將由實驗系統采集的 5 668 張冰雪污染物圖片劃分為6類:雪、雪漿、融雪、凍冰、濕冰、水,如圖4所示.使用Labelimg工具對圖像進行標注,生成xml類型的標簽文件.

表1 跑道冰雪狀態分類

圖4 冰雪狀態

2 基于多尺度特征的冰雪狀態感知模型

YOLOX-s算法是2021年曠視科技研究院提出的高性能One-Stage目標檢測網絡[14].它巧妙地將解耦頭、數據增強、無錨點等目標檢測領域優秀進展應用到YOLO上,其網絡結構由3個部分組成,如圖5所示.其中Backbone部分即主干特征提取網絡使用的是CSPDarknet53網絡,Neck部分加強特征提取網絡使用的是路徑聚合網絡(Path-Aggregation Network,PANet),Prediction部分即檢測頭使用了3個解耦頭(Decoupled Head).Backbone部分對輸入圖片進行淺層特征提取得到3個特征層,Neck部分再對3個特征層進行深層特征提取,最終再分別傳入3個Decoupled Head進行目標框檢測,得到檢測結果[14].

圖5 YOLOX-s網絡結構

基于YOLOX-s框架,在CSPDarknet53主干特征提取網絡中引入GC block,將提取后的3個特征圖經過BiFPN加強特征提取,得到3個具有不同尺度信息的特征圖,再引入ASFF自適應地學習各尺度特征,增強特征融合效果,最后使用α-EIoU損失函數代替原有的IoU損失函數,提高模型精度和加快收斂速度.改進后的YOLOX-s(Improved YOLOX-s,IYOLOX-s)網絡結構如圖6所示.

圖6 IYOLOX-s網絡結構

2.1 基于GC block的主干特征提取網絡

主干網絡提取特征的能力可以直接影響目標檢測效果,在對圖片淺層特征提取階段使用改進的CSPDarknet53作為主干網絡.由于卷積受限于局部感知的特點,只可以對局部區域進行上下文建模,限制感受野的大小.并且在道面冰雪污染物圖像中,冰雪晶體狀態呈現大小和形狀不同的特點,且有灰塵等雜質以及相干斑噪聲的干擾,不易進行狀態感知.所以引入GC block到CSPDarknet53特征提取網絡的CSP結構后,不僅可以提取全局上下文信息,以此獲得更豐富的淺層和深層特征,還可以大大降低計算量.

如圖7所示,GC block[18]由非局部均值模塊(Non-Local block,NL block)[19]、壓縮激勵模塊(Squeeze-Excitation block,SE block)[20]組合而成,組合過程及機理如下.圖中:C為特征層的通道數;H為特征層高度;W為特征層寬度;r為縮減比例.

圖7 組合機理

Step1簡化并融合NL block.

圖7中,xi為輸出信號代表當前位置的像素,xj為所有與xi位置特征相似、大小相等的像素,NL block利用嵌入高斯計算wij,其表示xi與xj之間的歸一化注意力權重即兩者位置的相關性,可以使兩者相隔一定距離的xi與xj建立聯系來增強識別效果,同時還可以明顯降低圖像中的噪聲,計算公式為

(1)

式中:f(xi,xj)為xi與xj的關聯系數;C(x)為歸一化因子;m為任意位置像素點;xm為任意位置的像素;Wq、Wk為卷積操作.

由于NL block以其他位置xj的信息為基礎去增強當前xi的信息,xi均需計算與其他xj的關系,導致計算量激增[18].所以,GC block對其先簡化再融合.如圖7所示,簡化后的NL block(Simplified Non-Local block,SNL block)不再對xi進行操作,將原始NL block中的Wq卷積模塊移除,以節省計算成本,此外再將Wv卷積模塊移至下方乘法運算后來替換Wz,形成Context Modeling模塊.GC block將該模塊融合,繼承了NL block適應特征之間長距離依賴的性能.wij由式(1)簡化如下,即GC block中的全局注意力池化的權重αj:

(2)

式中:Np=H×W表示特征層中位置的數量.

Context Modeling模塊數學表達式∑?jαjxj如下:

(3)

Step2引入SE block.

GC block在融合NL block的過程中對其進行了簡化,在減少計算量的同時,會犧牲一定的準確率,為此引入SE block中Transform模塊.

GC block引入SE block中Transform模塊,并在線性激活函數ReLU非線性激活前加入層標準化LN(Layer Normalization,LayerNorm),可以降低優化難度,提高網絡泛化能力,彌補主干特征提取網絡重復堆疊相同函數導致提取的特征缺乏多樣性的問題,進而填補步驟一所損失的準確率,改進后的Transform模塊數學表達式δ(·)為

δ(·)=Wv2ReLU(LN(Wv1(·)))

(4)

式中:Wv1、Wvw分別為兩次卷積操作.

Step3特征融合.

如圖7所示,GC block融合SNL block中Context Modeling模塊,引入SE block中添加層標準化的Transform模塊,再使用相加操作進行特征融合,得到最終輸出結果:

zi=F(xi,δ(∑jαjxj))=xi+

(5)

2.2 基于BiFPN的加強特征提取網絡

圖8 PANet網絡結構

圖9 BiFPN網絡結構

改進之后的加強特征提取網絡如圖10所示.

圖10 改進后網絡結構

圖中:ω1～ω9表示可學習的參數.YOLOX-s通過CSPDarknet53主干網絡提取出3個有效特征層,然后輸入PANet,但是PANet有5個輸入特征層,因此將PANet簡化為3個輸入特征層(記作PANet-s),網絡結構如圖10(a)所示,同理也對BiFPN做上述簡化操作(記作BiFPN-s),以此來減少計算量,提高精度,并與YOLOX-s網絡結構相匹配,網絡結構如圖10(b)所示.

對不同尺度特征進行融合時,通常將所有尺度特征視作同等重要,賦予相同特征權重,再進行相加等融合操作,但是不同尺度特征對融合的貢獻是不一樣的,在融合過程中會丟失一些有用的信息.BiFPN為每個尺度的特征賦予不同權重,讓網絡自主學習不同尺度特征的重要性[23].加權特征融合表達式為

(6)

式中:Ii、O分別為融合前和融合后的特征;ωi和ωj為可學習的權重;ε為遠小于1的極小量,用來保證數值穩定.

(7)

(8)

(9)

(10)

式中:Resize是對輸入特征進行上采樣(Upsample)或下采樣(Downsample)操作.

2.3 引入自適應空間特征融合結構

本文使用BiFPN-s代替原有的PANet-s,以此提高網絡對多尺度特征的提取能力,同時在BiFPN-s的尾部添加ASFF結構[23],進一步增強多尺度特征融合效果.其本質是自適應地學習各尺度特征融合的空間權重,以此來抑制加強特征提取網絡中不同尺度的不一致性缺點,使得多尺度的特征被自適應地融合,達到最優融合效果.ASFF結構如圖11所示.

圖11 ASFF結構

如圖11所示,Level 1、Level 2、Level 3分別是通過BiFPN-s提取得到的加強特征層,以ASFF-3為例,經過BiFPN-s得到的特征層Level 1、Level 2,對其進行1*1卷積操作將其通道數壓縮成與Level 3相同,再分別對其進行4倍、2倍上采樣形成與Level 3相同維度的特征圖,記作Resize_Level 1與Resize_Level 2,接著對Resize_Level 1、Resize_Level 2和Level 3進行1*1卷積操作得到權重參數αij、βij、γij,最后將權重參數與Resize_Level 1、Resize_Level 2和Level 3相乘并求和得到特征融合后的ASFF-3,上述過程可由下式來描述:

(11)

對于通過道面冰雪污染物微觀晶體狀態來對其狀態進行感知,需要底層特征中的細粒度特征來辨識,通過在BiFPN-s的尾部引入ASFF結構,使每一層的權重參數與特征相乘再相加來實現融合,學習了空間濾波沖突信息以抑制不同尺度的不一致性,從而使得提取的特征更加層次化,并且幾乎沒有引入推理開銷,提升了模型的訓練效率.

2.4 損失函數

YOLOX-s的損失函數由3個部分組成:邊界框定位損失函數Lloc、分類損失函數Lcls、置信度損失函數Lconf,本文的損失函數為L=Lloc+Lcls+Lconf.對于定位損失函數Lloc,YOLO系列最早使用的是IoU損失函數LIoU,其原理為1減去預測框和真實框的交集與預測框和真實框的并集之比,計算公式為

(12)

式中:A為預測框的面積;B為真實框的面積.IoU損失函數具有尺度不變性、非負性、同一性等特點,且輸出值在0～1之間,能夠較好地體現預測框和真實框的檢測效果.但實際會存在預測框與真實框沒有相交的情況,此時LIoU恒為1,因此沒有梯度的回傳將無法繼續學習,而且IoU損失函數針對預測框和真實框的位置關系無法做出判斷,更無法反映預測框和真實框的相交情況.

因此文獻[24]中提出使用GIoU損失函數LGIoU,在IoU損失函數的基礎上引入預測框和真實框的最小外接矩形,計算公式為

(13)

式中:C′為最小外接矩形的面積.引入最小外接矩形不僅可以反映重疊區域的面積,還可以計算非重疊區域的比例,因此GIoU損失函數能夠更好地反映預測框和真實框的重合程度與遠近距離.此外由于最小外接矩形的存在,使得GIoU損失函數在兩個矩形框不重合時,也可以繼續計算回傳梯度,模型進而可以繼續學習.GIoU損失函數雖然解決了IoU損失函數的上述兩個問題,但是當兩框相互包含時,GIoU損失函數會退化成IoU損失函數,在水平和垂直方向上,誤差很大,導致收斂速度大大減緩.

所以本文采用EIoU損失函數[25]來替換GIoU損失函數,并根據文獻[26]對EIoU損失函數增加冪指數α且α=3,變成α-EIoU損失函數Lα-EIoU,以加快收斂速度,其計算原理如圖12所示.圖中:b和bgt分別為預測框和真實框的中心點;ρ(·)為兩個中心點的歐氏距離;c、cw、ch分別為預測框和真實框最小外接矩形的對角線距離以及寬度和高度;w、wgt、h、hgt分別為預測框和真實框的寬度和高度.α-EIoU損失函數使用最小化兩個框中心點的歐氏距離替代GIoU損失函數中最小外接矩形,同時分開計算目標框的長和寬.α-EIoU損失函數包含3個部分:重疊損失LIoU、中心距離損失Ldis、寬高損失Lasp,計算公式為

圖12 α-EIoU計算原理

(14)

由于EIoU損失函數將目標框的長、寬分開計算,彌補了GIoU損失函數在水平和垂直方向上誤差大的問題,并且在EIoU損失函數的基礎上增加α(α=3),進一步加快收斂速度和提高精度.圖13為4種損失函數L在同一數據集上的效果對比.圖中:N為迭代次數.從圖中可以看出,α-EIoU損失函數在訓練初期下降速度更快,當迭代次數N=5時,train_loss和val_loss就已經達到了6以下,最后能達到2左右,比其他3種損失函數更容易收斂,定位精度更高.

圖13 4種損失函數效果對比

3 實驗驗證

3.1 模型環境設置

在訓練環境方面,操作系統為Windows10,CPU為Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40 GHz,內存為64 GB,GPU為NVIDIA GeForce RTX 3080Ti,顯存為12 GB.使用Pytorch 1.7.1深度學習框架,底層使用CUDA 11.0作為并行計算框架.

在訓練策略方面,將數據集圖片按照8∶1∶1的比例劃分為訓練集、測試集和驗證集,為防止工作站性能不足,將訓練分為兩個階段,分別是凍結階段和解凍階段,凍結階段、解凍階段迭代次數均為75次,批處理量(batchsize)為64,圖片尺寸為640 像素×640 像素.

3.2 評價指標

(1) 平均準確率(Average Precision,φAP),

(15)

式中:μTP(True Positive)為感知正確的正樣本;νFP(False Positive)為感知錯誤的正樣本;P(R)為PR曲線中P(Precision)值即準確率值,R(Recall)為召回率.

(2) 平均準確率均值(mean Average Precision,ψmAP),

(16)

式中:M為冰雪污染物的種類數;φAP(i)為第i類冰雪污染物的平均準確率.

(3) 平均召回率均值(mean Recall,φmR),

(17)

式中:θFN(False Negative)為感知錯誤的負樣本;Ri為第i類冰雪污染物的召回率.

(4) 檢測速度,使用每秒幀數(Frames Per Second, FPS)作為檢測速度評估指標.

3.3 實驗結果

3.3.1對比實驗結果及分析 目標檢測算法主要分為兩種:① Two-Stage目標檢測算法,最具代表性的有R-CNN、Fast R-CNN、Faster R-CNN等;② One-Stage目標檢測算法,最具代表性的有YOLO和單次多邊框檢測(SSD)等.將IYOLOX-s與其中部分算法進行性能對比,如表2 所示.可以看出算法IYOLOX-s對于道面冰雪狀態感知獲得了較好的效果,與Faster R-CNN相比,使得雪、雪漿、融雪、凍冰、濕冰、水6種冰雪狀態的φAP分別提高了8.13%、7.33%、10.99%、8.24%、8.96%、5.94%,ψmAP提高了8.26%,φmR提高了13.2%,檢測速度提高了5 幀/s,由于IYOLOX-s算法在速度、精度和召回率都比Faster R-CNN高,由此可見One-Stage目標檢測算法更適合于道面冰雪狀態的感知;與SSD相比,使得6種冰雪狀態的φAP均有7%～12%不同程度的增幅,此外ψmAP提高了10.16%,φmR提高了15.11%,檢測速度提高了7 幀/s;與YOLOv5-s和YOLOX-s相比,雪的φAP分別提高了7.55%、6.04%,雪漿的φAP分別提高了6.12%、3.29%,融雪的φAP分別提高了9.81%、4.76%,凍冰的φAP分別提高了6.26%、4.70%,濕冰的φAP分別提高了8.13%、5.75%,水的φAP分別提高了5.06%、3.54%,ψmAP分別提高了7.15%、4.68%,φmR分別提高了10.83%、4.43%,但是檢測速度分別降低了2、1 幀/s,IYOLOX-s相較于YOLOX-s在損失1 幀/s的基礎上,ψmAP、φmR分別提高了4.68%、4.43%是可以接受的.此外,不同網絡模型訓練結果對比如圖14所示.IYOLOX-s訓練150次的ψmAP曲線均在另4種目標檢測算法之上,可見IYOLOX-s算法在道面冰雪狀態感知中比其他主流目標檢測算法有著一定的優勢.

表2 不同網絡模型測試結果對比

圖14 不同網絡模型訓練結果對比

3.3.2消融實驗結果及分析 消融實驗可以用來檢驗各種改進的有效性.為了驗證IYOLOX-s算法中各改進的有效性,將其分為5組進行訓練測試.第1組(G1)為原始YOLOX-s算法,第2組(G2)為在主干特征提取網絡中添加GC block,第3組(G3)是在G2的基礎上將原始的加強特征提取網絡PANet改成BiFPN-s,第4組(G4)是在G3的基礎上引入ASFF結構,第5組是在G4的基礎上使用α-EIoU損失函數.表3為5組消融實驗結果,表中“√”代表使用該改進方法,“×”代表不使用改進方法.在表3中,通過G2與G1相比較,在主干特征提取網絡中添加GC block,ψmAP、φmR分別提高了1.29%、1.10%,這是因為冰雪晶體狀態大小不一、形狀不同,且圖像中有相干斑噪聲干擾,影響CSPDarknet53主干網絡提取特征,通過加入GC block,實現對全局上下文的建模獲取全局信息,獲得更豐富的淺層和深層特征,使得感知效果變好;通過G3與G2相比較,使用BiFPN-s代替原始PANet-s,在輸入層與輸出層之間增加跳躍鏈接,使輸出層不僅可以得到自下而上已參與特征融合的信息,還可以保留原始節點未參與特征融合的信息,進一步加強特征提取,使得ψmAP、φmR分別提高了1.07%、1.11%;通過G4與G3相比較,在BiFPN-s得到的3個加強特征層中,大、小目標分別在高層、底層被檢測到,因此引入ASFF結構,自適應地學習各尺度特征映射融合的空間權重,通過學習權重參數將各層的特征融合到一起,使得ψmAP、φmR分別提高了1.08%、1.16%;通過G5與G4相比較,使用α-EIoU代替IoU更好地反映真實框與預測框的重合程度與遠近距離,進一步提高收斂速度,使得ψmAP、φmR分別提高了1.24%、1.06%,表明α-EIoU損失函數提高了感知精度.

3.3.3感知效果對比及分析 圖15和16分別為使用YOLOX-s和IYOLOX-s感知出來的結果.通過兩者的對比,可以看出對于雪、雪漿、融雪、凍冰、濕冰這5種冰雪晶體狀態,YOLOX-s均存在1處漏檢,并且感知精度基本上都要比IYOLOX-s低,說明對于冰雪晶體狀態圖像而言,IYOLOX-s感知效果要優于YOLOX-s感知效果.

圖15 YOLOX-s感知結果

4 結語

通過搭建跑道冰雪實驗平臺模擬冬季機場跑道環境,采集道面冰雪狀態微觀圖像,并根據冰雪狀態分類制作數據集.基于YOLOX-s提出IYOLOX-s模型,把GC block應用到CSPDarknet53中,在保持精度的同時增強全局建模,減少計算量;使用BiFPN-s作為加強特征提取網絡,保證較高推理速度前提下,提高感知精度;在BiFPN-s的基礎上引入ASFF結構,自適應地學習空間權重參數,讓特征更好地進行融合,提高了狀態感知準確率;使用α-EIoU損失函數,更好地反映預測框與真實框的重合度與遠近距離,提高收斂速度.實驗結果表明,使用IYOLOX-s模型,在每個冰雪狀態類別的感知都有較好的表現,雪、雪漿、融雪、凍冰、濕冰、水6種狀態的精度分別提高了6.04%、3.29%、4.76%、4.70%、5.75%、3.54%,平均精度達到了91.53%,為新模式下保障冬季民航機場的安全高效運行提供決策依據.

目前,機場跑道冰雪狀態感知依舊存在許多不足,如冰雪狀態圖像分類仍存在很大的細分空間;通過實驗平臺采集圖像,易受冰雪表面灰塵、道面凹凸不平以及不良光照干擾,對微觀冰雪結構識別造成困難.以上問題需要對圖像進行有針對性的預處理,完成圖像增強和重建等工作.此外,改進后的感知模型相比改進前在檢測速度上略有下降,說明檢測速度還有提升空間,以上問題均是后續工作的重點研究方向.