基于多先驗約束和一致性正則的半監督圖像去霧算法

蘇延召 何 川 崔智高 姜 柯 蔡艷平 李艾華

(火箭軍工程大學作戰保障學院 西安 710025)

1 引言

在霧、霾等惡劣天氣條件下，視覺傳感器產生的圖像將出現模糊、對比度下降等明顯退化現象，進而導致目標檢測、語義分割等高層視覺任務性能嚴重下降[1]。因此，在智能交通、無人駕駛等諸多應用領域，圖像去霧不僅要提高去霧圖像的視覺質量，同時還需保證高層視覺任務模型在霧霾等惡劣環境中的性能[2]。

由于霧霾圖像成像過程非常復雜，研究中常采用文獻[3]提出的簡化物理模型對霧霾圖像形成進行描述。為估計該模型參數(大氣透射率和全局光照)進而得到復原圖像，許多研究提出利用統計先驗如暗通道、顏色衰減以及顏色線等對模型中的透射率參數進行估計[4–6]。然而由于這些先驗并不適用于所有場景，因而其去霧結果容易出現過度增強、偽影、顏色偏差等現象。近年來，大量基于深度學習的去霧算法被提出。文獻[7]和文獻[8]分別利用邊緣約束的多尺度網絡和結合先驗設計的網絡估計大氣散射模型的透射率參數，取得了較好的去霧效果。但上述方法均采用傳統方法估計場景光照信息，容易出現顏色漂移等問題。Zhang等人[9]同時利用兩個神經網絡分別估計透射率與大氣光照參數，進而獲得清晰圖像。由于簡化模型并不能完全描述復雜霧霾場景，因此該方法容易受參數估計噪聲干擾，對真實霧霾場景適應性不高。

為解決上述問題，研究人員提出直接通過端到端網絡學習將霧霾圖像映射為清晰圖像[10]。文獻[11]和文獻[12]分別提出基于多尺度boosting機制和基于注意力機制融合多尺度特征的去霧模型，可直接恢復清晰結果。然而，由于沒有圖像退化機理模型約束，上述方法不僅需要大量合成樣本進行訓練，并且容易出現過擬合現象，在真實霧霾場景中性能下降明顯。Su等人[13]提出利用傳統先驗去霧結果引導條件生成對抗網絡的去霧方法，進而提升合成樣本訓練模型在真實場景中的去霧效果。Li等人[14]提出了同時在合成與真實霧霾圖像上訓練的半監督去霧算法，結果表明該方法在真實場景具有較好的去霧性能。Shao等人[15]將真實霧霾與合成霧霾圖像視作不同的域進行相互轉化，提出了基于領域自適應的圖像去霧算法。Chen等人[16]利用多種先驗知識作為約束條件，對合成樣本上訓練的去霧模型進行遷移學習，有效提高了真實場景去霧結果的視覺質量以及高層視覺任務性能。

受上述方法啟發，本文提出基于多先驗約束和一致性正則的半監督圖像去霧算法。與文獻[14]不同，本文采用多種局部正確的先驗去霧結果作為監督約束，能夠更好地恢復出場景結構信息；與文獻[15]不同，本文無需針對不同霧霾場景進行領域適應，并且取得更好的結果；與文獻[16]不同，本文進一步利用多霧霾圖像及多先驗去霧隨機增強對局部正確去霧結果進行一致性約束，較好地克服了先驗去霧結果差異以及所含噪聲的干擾，并且同樣可以適應多種已有端到端的去霧網絡結構。

2 本文算法

2.1 算法原理

本文提出的基于多先驗約束和一致性正則的半監督圖像去霧算法，其總體框架如圖1所示。

圖1 本文算法總體框架示意圖

2.2 去霧網絡結構

在許多圖像增強與復原研究中，編碼器-解碼器網絡是最為常見的一種形式[17,18]。受文獻[19]啟發，本文在去霧網絡結構設計上采用基本的編碼器-殘差-解碼器結構，具體設計如表1所示。在編碼器部分，有霧圖像首先通過由一個卷積核大小為7，步長為1的卷積模塊進行初始特征提取，然后再利用3個連續下采樣卷積塊(卷積核大小為4，步長為2)將圖像特征分辨率減小為原來的1/8。為增強去霧網絡的特征表征能力，本文采用連續16個殘差塊作為特征變換模塊以學習霧霾特征與清晰圖像特征之間的變換關系。解碼器與編碼器在結構上保持對稱，在對解碼器特征進行2倍上采樣(除去最后一個卷積層)后通過跳連接與編碼器特征相連，然后再通過兩個3×3卷積對疊加特征進行處理，進而逐步恢復出清晰圖像。

表1 本文圖像去霧網絡結構詳細設計表(數字表示圖像序號)

2.3 合成霧霾圖像去霧

通過合成霧霾圖像能夠學習霧霾圖像與清晰圖像之間的映射函數。以JS表示真實場景清晰圖像，IS表示合成霧霾圖像，fθ(·)表示去霧網絡，則利用合成霧霾圖像對fθ(·)進行訓練，可將輸出結果與真實圖像之間的偏差表示為

其中，φ(·)表示損失函數。常用的圖像處理損失函數包括L1, L2損失，但這兩種類型損失將每個像素視為獨立變量，并沒有充分考慮圖像的局部相似性。因此，本文采用負結構相似性函數(Structural SIMilarity, SSIM)[20]作為損失函數，φ(·)可表示為式(2)：

其中，N表示圖像總像素，SSIM(P?)表示區域P的結構相似性指標，P?表示該區域的中心點。通過計算損失函數值，并將梯度反傳進而對fθ(·)的參數θ進行更新。

2.4 真實霧霾圖像去霧

由于合成霧霾圖像與真實霧霾圖像之間存在較大差異，且真實霧霾圖像缺乏像素級對應的參考真值，難以直接進行監督學習。為此本文引入多種先驗去霧結果對真實場景進行監督，并通過多張真實霧霾圖像隨機混合與多先驗混合輸出的一致性對多種先驗知識的差異與缺陷進行正則，以提高真實場景去霧效果。

2.4.1 多先驗去霧結果監督

傳統去霧方法雖然不適用于所有場景，但具有較好的泛化應用能力。如圖2所示，傳統先驗去霧結果在一定程度上已經能夠恢復出真實霧霾場景的結構信息，但不同先驗知識的側重點不同，其恢復結果也存在明顯差異。

圖2 不同先驗去霧方法處理結果對比

2.4.2 混合霧霾圖像一致性正則

2.5 總體損失函數

由于本文方法通過參數共享的方式，同時對合成樣本與真實霧霾圖像進行訓練，因此網絡訓練時其總體損失函數包括合成樣本的監督損失、真實霧霾圖像的半監督損失以及一致性損失3部分，具體如式(6)所示。

3 實驗結果與分析

3.1 實驗設置

為有效驗證所提方法，本文從廣泛使用的圖像去霧訓練數據集RESIDE[26]中隨機抽取合成霧霾圖像以及真實場景的霧霾圖像對去霧網絡進行訓練。RESIDE數據集中包括了室內與室外的合成數據集(ITS和OTS)以及真實霧霾圖像數據集(URHI)，具體訓練時本文分別從ITS和OTS中各抽取1000對合成樣本，從URHI中抽取2000張真實霧霾圖像。同時，對于真實霧霾圖像以文獻[21](簡寫為BDCP)和文獻[22](簡寫為NLD)的兩種先驗去霧方法為例，對其進行去霧，從而得到4000對真實霧霾圖像訓練樣本。

網絡訓練時采用Adam優化器進行優化，初始學習率為0.0002，每隔5輪訓練進行線性衰減，總計訓練30輪。每次訓練時輸入合成樣本、真實樣本以及混合真實樣本，相當于樣本批量大小為4。總體損失函數中的權重超參數λ1,λ2,λ3根據經驗分別設置為1, 0.4, 0.4。

算法測試時，本文分別選取RESIDE中的SOTS、合成數據集HAZERD[27]、真實場景的IHAZE[28], OHAZE[29], BeDDE數據集[30]以及部分傳統真實霧霾場景對圖像去霧效果進行驗證，并與現有代表性算法BDCP[21]，NLD[22], MSBDN[12],SED[14], DAAD[15], PSD[16]進行對比分析。此外，為進一步驗證圖像去霧對高層視覺任務性能提升能力，本文還在RESIDE的RTTS數據集上進行目標檢測任務性能測試。實驗對比分析時，對圖像去霧結果評價采用常見的SSIM, PSNR(Peak Signal to Noise Ratio)以及文獻[30]提出的VI(Visibility Index)，RI(Realness Index)指標進行分析，而目標檢測任務則采用平均準確率(Average Precision,AP)和總體平均準確率(mean of Average Precision,mAP)指標進行結果對比。最后，在HAZERD和RTTS數據集上對算法的不同關鍵部件設計進行消融實驗驗證。

3.2 實驗結果

3.2.1 圖像去霧實驗

(1)定性實驗結果

圖3和圖4分別顯示了本文算法在合成數據集及真實場景中與現有代表性算法的定性實驗對比結果。

圖3 本文方法與現有代表性方法在合成數據集上的去霧處理結果對比

圖4 本文方法與現有代表性方法在真實場景中的去霧處理結果對比

從圖3可以看到傳統先驗去霧方法存在過度增強或去霧不充分的問題，如圖3(a)中BDCP方法結果在地面出現明顯的顏色偏差，而圖3(b)中傳統方法在柜子以及墻體等位置均出現了明顯的顏色失真。基于深度學習的方法在大量數據驅動下能夠較好地恢復室內圖像如圖3(a)和圖3(b)中MSBDN和DAAD的處理結果。相比較于側重解決真實霧霾場景的SED, PSD等方法，本文方法能夠得到視覺質量更好的去霧圖像。在室外場景的去霧結果中，傳統方法能夠更好地處理場景中遠處霧霾比較嚴重的區域，但其去霧結果在色調和亮度等方面出現了明顯偏差(如圖3(c)和圖3(d)所示)。MSBDN方法對場景中霧比較濃的區域復原效果不佳，存在明顯的霧霾殘留。引入真實霧霾圖像作為訓練樣本SED, DAAD以及PSD方法具有一定的遠景區域去霧能力，但其去霧結果仍然存在較多霧霾殘留(如圖3(d)所示)。相比之下，本文方法能夠有效去除參考圖像中存在的部分霧霾(如圖3(c)所示)，并且在亮度、色調等方面沒有明顯偏差。圖3(e)和圖3(f)展示了7種去霧方法在合成數據集HazeRD中的去霧結果。從結果中可以發現，傳統方法能夠適應多種霧霾場景，但其突出問題仍然是容易過度增強，如圖3(f)中NLD去霧結果。如圖3(e)所示，除了PSD方法外，本文方法與MSBDN, SED, DAAD方法均取得了較好的去霧效果(如場景中的草地部分，色差相對較小)。圖3(f)中測試圖像的霧霾程度比較嚴重，導致SED算法去霧結果存在明顯的霧霾殘留和偽影區域，本文方法與DAAD方法對高樓附近的霧霾區域具有一定的復原能力，能夠提升其清晰度。綜合對比分析，本文方法能夠減少傳統方法過度去霧的影響，并且能夠泛化到不同合成場景。

圖4為不同方法在真實場景中的圖像去霧結果對比示意。從圖中可以發現傳統方法BDCP和NLD雖然能夠恢復場景結構信息，但其去霧圖像呈現明顯的過度增強。如圖4(a)—圖4(f)所示，BDCP方法其去霧圖像整體偏亮，而NLD方法的去霧結果則相對較暗。相比之下，MSBDN方法在真實場景中其去霧圖像存在明顯殘留，如圖4(b)中樹林區域和圖4(f)中遠景區。SED方法利用了先驗知識與真實場景數據進行訓練，其去霧結果明顯好于MSBDN。但如圖4(a)、圖4(b)所示，由于暗通道先驗的約束會導致圖像整體偏暗，在樹林局部區域以及火車頭附近其亮度存在明顯區別，此外在圖中還可以發現較多的霧霾殘留。DAAD方法和PSD方法的去霧結果相對比較自然。與PSD方法相比，DAAD方法去霧相對比較徹底，但面對不同真實場景時，部分結果(如圖4(c)和圖4(d)所示)也出現了明顯的顏色漂移。不同于上述方法，本文方法的去霧結果在視覺效果上更貼近于真實場景，去霧效果明顯優于其他方法，說明本文方法能夠較好克服局部正確先驗去霧結果存在的不足與多種先驗知識之間差異，并且能夠較好地泛化到不同的真實霧霾場景。

(2)定量實驗結果

為了進一步對所提算法性能進行驗證，本文分別在合成數據集與真實場景霧霾圖像數據集上進行了定量實驗對比分析。表2為不同方法在合成與真實圖像數據上的定量對比結果，其中所選擇的評價指標值越大，說明去霧圖像質量越好。

從表2可以看到，在合成數據集SOTS上，總體性能最好的是深度學習算法MSBDN，本文方法排在第3位，與基于領域適應的DAAD方法和半監督方法SED基本相當。其主要原因在于MSBDN方法采用了大量成對合成樣本進行訓練，并且對網絡結構進行精心設計，而本文方法只使用了2000對合成樣本與4000對真實場景霧霾圖像對常規的編碼器與解碼器網絡進行優化訓練。但在合成數據集HAZERD上，本文方法的SSIM指標最優，PSNR指標排名第2。與MSBDN, PSD, BDCP, NLD等方法相比，本文方法具有更好的泛化能力。對于IHAZE, OHAZE以及BeDDE等真實場景霧霾測試數據，本文方法同樣在VI, SSIM等指標上優于MSBDN, PSD以及SED方法，與典型代表算法DAAD基本相當，但本文方法在VI以及SSIM指標上略微優于DAAD。上述定量分析結果進一步驗證了本文方法對真實霧霾場景的有效性。

表2 圖像去霧定量實驗結果對比(紅色表示第1，綠色表示第2，藍色表示第3)

3.2.2 霧霾圖像目標檢測實驗

本文在圖像去霧視覺質量實驗對比的基礎上，進一步分析對比了7種去霧方法對霧霾圖像目標檢測任務性能的提升能力。參照文獻[16]和文獻[14]，本文采用YOLO V3[31]作為目標檢測器，在RTTS數據集上將7種去霧方法處理之后的圖像送入目標檢測器，并對人(person)、自行車(bicycle)、摩托車(motorbike)、小汽車(car)以及公交車(bus)5類目標的檢測精度進行對比，其結果如表3所示。

從表3結果可以看到，傳統方法對圖像進行去霧之后，其目標檢測結果準確率反而低于未進行去霧的檢測結果，其可能原因是傳統方法通常會過度增強霧霾圖像，在提升視覺質量的同時也放大了噪聲，甚至破壞了圖像的局部空間結構。基于深度學習的去霧方法通常能夠提升目標檢測準確率，但從表3可以看到提升的比例并不高，單純基于數據驅動的MSBDN方法僅能提升0.27%。在所有方法中，本文方法對目標檢測準確率的提升最為明顯，達到1.28%，PSD方法排名第2，能夠提升0.69%。綜合前文結果可以發現，雖然PSD方法的視覺質量定量指標不高，但對于目標檢測任務卻有較好提升，超過了DAAD與SED方法，說明對于高層視覺任務圖像的視覺質量不一定是影響其性能的關鍵。

表3 霧霾圖像目標檢測實驗結果對比(紅色表示第1，綠色表示第2，藍色表示第3)

3.2.3 消融實驗

為了充分說明設計提出方法的有效性，本文在BeDDE和RTTS兩個真實數據集上分別對不同的變體方法進行圖像增強以及霧霾場景目標檢測消融實驗分析。實驗對比包括一個基準去霧網絡和4類變體：(1)基準方法：利用表1的去霧網絡作為基準進行監督學習，即不利用真實場景霧霾圖像進行訓練；(2)變體1：在基準方法基礎上結合真實霧霾圖像進行半監督學習，但不引入先驗去霧結果，只是通過真實圖像去霧隨機拼接進行一致性約束；(3)變體2：在變體1的基礎上，引入一種先驗去霧結果(如文獻[21])進行監督，同時保留一致性約束；(4)變體3：變體2的基礎上將先驗去霧方法替換為文獻[22]的方法；(5)變體4：在變體3的基礎上進一步引入兩種先驗去霧結果進行監督，不采用一致性正則；(6)按照本文所提方法進行訓練。消融實驗結果如表4所示。從表中結果可以看到，變體1能夠提升去霧網絡的泛化性能以及目標檢測任務性能，表明加入真實場景霧霾圖像進行一致性正則訓練對去霧有益。變體2和變體3的實驗結果表明，引入先驗去霧圖像作為監督標簽后，對比原始先驗去霧結果不論在圖像視覺質量還是對于高層視覺任務提升上均有提高，說明結合數據學習與先驗知識進行去霧能夠取得更好的去霧效果。在此基礎上，變體4的結果表明通過結合兩種先驗去霧方法能夠進一步增強圖像去霧性能，說明通過數據驅動能夠自動從多種先驗去霧結果學習其共性特征，從而更好地適應真實去霧場景。本文方法在變體4的基礎上進一步利用一致性約束方式對兩種先驗之間的差異進行正則，增強了去霧模型訓練的穩定性，并能夠微弱提升去霧網絡的性能。

表4 消融實驗結果對比

3.2.4 其他場景去霧霾測試

本文方法雖然在城市場景中進行訓練，但對于其他圖像退化場景如水下霧霾圖像以及沙塵天氣不加微調也能進行增強，得到視覺效果較好的清晰圖像，其結果如圖5所示[32]。從圖5可以看到，本文方法能夠較好地克服水下以及沙塵天氣的退化圖像導致的模糊、對比度下降等問題，但從結果中也可以看出，對于水下以及沙塵天氣導致的顏色偏差，本文方法無法有效恢復出對應的清晰顏色。因此對于特殊的退化場景還需要針對性建模和訓練，從而消除惡劣環境導致的顏色差異。

圖5 本文方法在其他場景去霧霾結果

3.2.5 算法運行時間分析

本文通過統一的測試環境對5種基于深度學習的去霧方法的運行時間進行驗證分析。測試采用SOTS 500張室內圖像去霧，以其平均時間作為每種去霧方法的運行時間。測試對比結果如表5所示，從表中可以看到本文算法運行時間低于MSBDN,PSD以及DAAD 3種代表性算法，對于620×460大小的圖片處理時間約為0.028 s，且本文所提算法性能與上述方法基本相當，因而從整體上看本文所提方法在實際應用中具有一定優勢。

表5 5種去霧方法運行時間對比(s)

4 結論

本文以提升真實霧霾場景中的圖像去霧及高層視覺任務性能為目標，提出了一種基于多先驗約束和一致性正則的半監督圖像去霧算法。本文方法的主要貢獻如下：(1)提出利用去霧網絡參數共享的方式分別對合成圖像與真實霧霾圖像進行訓練，并通過多種先驗去霧結果與一致性正則增強了網絡對真實霧霾圖像的去霧效果；(2)提出一種利用局部正確的多先驗去霧結果半監督方法，通過數據驅動的方式自動學習多種先驗去霧的共性優點，從而較好地恢復霧霾圖像的結構信息，增強去霧模型在真實場景中的泛化能力；(3)提出一種基于隨機混合增強的一致性正則方法，能夠消除多種先驗去霧結果的偏差以及去霧噪聲的影響，提升圖像去霧質量。實驗結果表明，本文方法能夠有效提高真實場景圖像去霧視覺效果以及高層視覺任務性能，具有較強的泛化能力。后續還將進一步研究將圖像去霧作為高層視覺任務的預處理步驟，其增強結果對高層視覺任務提升不明顯的問題，以解決惡劣天氣條件下通用視覺模型應用瓶頸。