周 睿 孟雙杰 李 明 邱 爽
(中國民用航空飛行學院空中交通管理學院 廣漢 618307)
在航空客運方面,承運人秉承安全、經濟、舒適、便利的原則組織旅客實現快速位移,安全是航空公司一切工作的奠基石[1]。造成安全事故的因素有很多,如天氣原因、空管原因、機場原因等。據調查顯示,40%以上的飛行事故發生在航空器起飛降落階段,低能見度是造成航班延誤和飛行事故征候發生的重要原因[2]。
霧是造成能見度降低的主要天氣因素。由于大氣中的懸浮粒子對光的吸收和散射,會導致機場區域的監控系統在采集視頻圖像時,產生色彩亮度低,紋理模糊不清、細節丟失等問題[3~5],這會干擾空中交通管理人員在塔臺對航空器的識別及距離判斷。機場圖像去霧,對提高安全運行效率非常重要。低能見度下的目標識別在監控航空運行并確保其安全和效率方面發揮著至關重要的作用[6],然而受到天氣不確定性的影響,機場低能見度霧圖的獲取具有隨機性,阻礙了相關研究的進展。
近年來,圖像加霧方法主要有兩種:基于RGB通道合成霧和基于大氣散射模型合成霧。基于RGB通道合成霧主要是調整三通道的像素值,霧的濃度越大,三通道的值越接近于225,可以根據圖像景深[7]的不同去調節不同顏色的霧,以適用不同場景。基于大氣散射模型合成霧通過調整大氣散射系數[8]來合成不同濃度的霧霾圖像。這種方法主要有兩種形式:中心點合成霧和圖像深度信息合成霧。中心點合成霧是利用一個點擴散函數對圖像中的一個點進行霧合成擴散,從而得到合成霧圖;而另一種是借助圖像深度信息,考慮圖片中的物體以及距離等信息估計景深,進一步合成霧圖。陽溢等[9]提出一種隱藏軍事目標的加霧算法,在圖像上通過區域分割得到近景、中景和遠景,通過邊緣檢測圖像軍事目標,加上濃霧遮罩,最后平滑遮罩邊緣。院老虎等[10]利用暗通道先驗算法計算真實霧氣圖像的透射率值,并將其移植到原始圖像中,生成霧氣模擬的遙感數據集。肖進勝等[11]提出了一種新的基于生成對抗網絡的霧霾場景圖像轉換算法,通過改進GAN 網絡的生成器和判別器,得到霧霾生成圖像像素與像素的對應關系,從而實現無霧圖像和有霧圖像之間的轉換。
然而,這些方法無法基于能見度對機場圖像進行定量化模擬,實現這種模擬的前提是明確能見度與大氣散射系數之間的函數映射關系。寇式定律將能見度與大氣散射系數聯系起來,然而該定律不適用于夜間和目標物遮蔽嚴重的情況[12],因此適用場景受到限制。本文提出了一種基于大氣散射模型的機場霧圖定量化模擬方法,通過建立大氣散射模型中大氣散射系數與能見度的映射關系來模擬定量能見度的機場霧圖,利用機場實測數據訓練了一個用于機場圖像能見度檢測的神經網絡來驗證該方法的準確性。
大氣散射模型是經典的霧霾天氣成像模型[13~15]之一,其表達式如下:
其中I(x)和J(x)分別表示有霧圖像和無霧圖像;A為大氣光值;t(x)為透射率:
其中β為大氣散射系數,d(x)為場景深度。式(1)中J(x)t(x)為入射光衰減模型;A(1-t(x))為大氣光成像模型。從模型中可以看出,若要對無霧圖像進行加霧仿真得到有霧圖像,需對大氣光值和透射率進行估算。由式(2)可以看出透射率會隨景深的增加呈指數衰減。傳統的景深估計方法需要使用激光雷達或雙目相機等專業設備,不僅對設備的要求較高,且難以從單幅圖像中估計出精確的景深,因此圖像的深度信息難以獲取。
本文通過固定大氣光值同時改變大氣散射系數來控制霧的濃度,從而達到生成不同能見度機場有霧圖的目的。首先設置一個大氣光值初始值,為了更方便地表示圖像中心,令row 表示圖像的寬度,col表示圖像的長度,則霧化中心C可以表示為
進一步地,霧化尺寸S表示為
根據式(3)、(4)確定霧化中心和霧化尺寸,在計算透射率之前,景深d(x)定義如下[16]:
其中ρ是從當前像素到霧化中心的歐幾里得距離,即:
定義了景深后,透射率t(x)由下式給出:
將式(7)帶入式(1)中便可得到有霧圖像:
其中,c?r,g,b;Jt(p,q,c)為圖像Jt在c 顏色通道第p行第q列的像素值;Jf為加霧后的圖像。
顯然通過調節大氣散射系數β就會導致圖像的透射率發生改變,霧的濃度會隨β的增大而逐漸變大。因此,模擬不同濃度的機場霧圖可通過調節大氣散射系數來實現。在霧圖合成方法合理的前提下,如何構建圖像能見度和大氣散射系數之間的映射關系成為定量化機場霧圖模擬的關鍵研究內容。
為了建立機場圖像能見度與大氣散射系數的映射關系,本文先利用霧天機場實時監控視頻和與之對應的實時能見度觀測值找到圖像平均梯度和能見度之間的映射關系。在圖像處理中,平均梯度用來衡量一幅圖像對細節對比的表達能力以及紋理變化,常被用于表示圖像的清晰度,通常來說平均梯度值越大,圖像越清晰,該幅圖像的能見度則越大[17]。
采用視頻分幀的方式對機場實時監控視頻進行預處理。按照能見度測量頻數對視頻分幀得到標記了能見度的N 張機場霧圖,令vi為第i 張機場霧圖的能見度。圖像平均梯度通過下式給出[18]:
其中,m×n為圖像大小。通過曲線擬合建立能見度與平均梯度之間的映射關系:
在式(10)的基礎上,本文提出如下方法來建立大氣散射系數和能見度的映射關系,如圖1 所示。該方法分為如下幾個步驟:

圖1 建立大氣散射系數和能見度之間的映射關系流程圖
1)給定一張機場無霧圖,通過調節大氣散射系數βi生成k張不同含霧程度的機場霧圖;
2)通過式(9)計算k張機場霧圖的平均梯度gi;
3)通過式(10)得到k張機場霧圖的能見度vi;
4)利用k 張圖像的能見度vi與對應的大氣散射系數βi構建二維坐標系,通過曲線擬合建立映射關系:
綜上所述,若需要模擬能見度為vj的機場霧天圖像,首先通過式(11)找到與之對應的大氣散射系數βj,再利用式(7)、(8)對圖像加霧即可。
為了驗證所提的機場霧圖定量化模擬方法的準確性,本文對模擬霧圖進行能見度檢測,將能見度檢測值v′j與2.2節中指定能見度vj進行對比,分析誤差。
近年來,圖像能見度檢測研究聚焦于深度學習領域[19~20]。隨著計算機視覺技術以及人工智能的發展,用視頻圖像理解進行能見度測量的方法具有速度快、成本低、數據更易于獲得等優點[21],尤其利用神經網絡來檢測視頻圖像的能見度[22]已成為越來越多學者的研究熱點。
數學上,利用神經網絡來檢測圖像能見度可以使用如下模型來描述:
其中x為圖像;v為能見度;模型參數η從訓練中學習得到。在不失一般性的前提下,通過基函數的展開,模型變為
在式(13)中,η=(η1,η2),η1=(W,b)。通過這種方式,遞歸地重復這個過程,以生成越來越復雜的函數。經過L 次遞歸運算,得到如下L 個嵌套函數的堆棧:
其中f(l)(x)=f(l)(x;ηl)是第l層的函數,最底層的函數形式為f(L)(x)=f(1:L-1)(x;ηL-1)。網絡第l 層的模型可以寫成:
理論上可以使用各種深度神經網絡(DNNs)來學習式(15)中的模型參數。本文在VGG-16 的基礎上自建13 層深度卷積神經網絡進行能見度檢測,網絡結構如圖2所示。

圖2 能見度檢測網絡結構
圖2 中使用了殘差連接,以改善特征圖在訓練過程中信息丟失嚴重的問題;卷積核的大小為3×3;通道數隨著網絡的加深越來越大,從32 變化為128;Pool表示對特征圖進行池化操作;最后通過全連接層將能見度檢測值輸出。
基于圖2 構建的神經網絡,本文提出了如下方法來驗證2.2 節中模擬的機場霧天圖像是否準確,如圖3所示。該方法分為如下幾個步驟:

圖3 驗證方法流程圖
1)若要模擬一張vj米能見度的機場霧圖,通過式(11)找到與之對應的大氣散射系數βj;
2)利用式(7)~(8)對圖像加霧;
3)將該圖片送入提前訓練好的能見度檢測網絡中,輸出能見度v′j;
4)將v′j與vj進行對比,判斷加霧效果是否準確。
首先建立圖像平均梯度和能見度之間的映射關系。通過收集某機場受大霧影響下的實時監控視頻,機場能見度檢測儀每15s 工作一次,記錄監控圖像的能見度。對這段視頻進行預處理,將視頻按幀截取,間隔15s 為一幀,與能見度記錄頻數逐一對應,共計1500張圖像。
根據式(9)計算圖像的平均梯度g1,g2,…,g1500,將點(v1,g1),(v2,g2),…,(v1500,g1500)繪制在二維坐標系上,在通過多項式擬合的方式建立圖像平均梯度g 和能見度v 之間的函數映射關系,如圖4 所示。圖4中曲線的方程為

圖4 平均梯度與能見度之間的映射關系
在獲得了圖像平均梯度與能見度之間的函數映射關系后,根據圖1 所示的流程圖對機場清晰圖像進行不同程度的加霧,以獲得不同能見度的合成霧圖。本文大氣光值A設置為0.8,大氣散射系數β的變化區間為(0.001,0.02),等距增加。圖5 給出了加霧效果的部分展示圖。顯然,隨著大氣散射系數的增加,霧的濃度逐漸增加,圖像能見度逐漸降低,該加霧算法通過調節參數可以得到不同含霧程度的合成霧圖。

圖5 加霧效果展示圖
改變大氣散射系數,根據式(7)~(8)得到了100 張不同含霧程度的合成霧圖,根據式(9)計算它們的平均梯度g1,g2,…,g100,式(16)給出了機場圖像能見度與平均梯度之間的函數映射關系,根據式(16)得到100張圖片的能見度v1,v2,…,v100。將點(v1,β1),(v2,β2),…,(v100,β100) 繪制在二維坐標系上,并進行曲線擬合。通過實驗發現指數擬合更符合這些點的分布規律,擬合情況如圖6 所示。圖中曲線方程為

圖6 能見度與大氣散射系數之間的映射關系
式(17)即為能見度與大氣散射系數的函數映射關系。
本文利用3.1 節中獲得的1500 張機場圖像來訓練能見度檢測網絡,其中70%作為訓練集,剩下30%作為測試集對網絡進行訓練。使用平均絕對誤差(MAE)來評估模型精度,其表達式為
一般來說,誤差越小證明能見度檢測精度越高。圖7 給出了測試集在訓練過程中MAE 的變化趨勢。圖8 給出了該網絡在部分測試集上實際能見度和能見度檢測值的對比情況。從圖中看出,誤差可以收斂,經過200 次迭代后,能見度檢測網絡的平均誤差小于20m。因此,基于神經網絡的能見度檢測是可行的。

圖7 測試集上MAE的變化趨勢

圖8 能見度檢測值和實際能見度的對比情況
為了驗證機場霧圖模擬方法的準確性,給定100 組不同能見度值(100m,120m,140m,…,2100m),根據式(17)對應100 組大氣散射系數,通過加霧算法合成100 張機場霧圖。利用提前訓練好的能見度檢測網絡對100 張圖片進行能見度檢測,圖9 給出了能見度檢測值與給定值的對比情況,若能見度檢測值越接近給定值,那么圖9 中的樣本點越接近45°對角線。

圖9 能見度檢測值與給定值的對比情況
從圖9 可以看出,樣本點都聚集在45°對角線上,陰影區域覆蓋了相對誤差在±3%以內的樣本點,幾乎所有的點都被陰影區域所覆蓋。
本文提出了一種基于大氣散射模型的機場霧圖定量化模擬方法,通過建立大氣散射模型中大氣散射系數與能見度的映射關系來模擬定量能見度的機場霧圖。在機場實測數據上訓練了一個用于圖像能見度檢測的神經網絡來驗證該方法的準確性,通過實驗發現指數函數更符合機場圖像能見度與大氣散射系數之間的函數映射關系。此外,能見度檢測網絡的檢測誤差為20m左右,基于神經網絡的能見度檢測是可行的。最后,使用該方法模擬的機場霧圖在能見度指標上相對誤差小于3%,證實了本文提出的機場霧圖定量化模擬方法的可行性。未來的研究將涉及擴展造成能見度降低的氣象因素,比如降雪、霧霾、粉塵等,以模擬復雜環境下機場低能見度圖像。