基于遷移學習的三子網圖像去霧方法

武明虎 丁 暢 王 娟 陳關海 劉子杉 郭力權

(湖北工業大學湖北能源互聯網工程技術研究中心 武漢 430068)

(湖北工業大學太陽能高效利用與儲能運行控制湖北省實驗室 武漢 430068)

1 引言

霧霾天氣中大量懸浮粒子會對大氣光產生反射、折射、吸收等作用，降低場景的能見度，導致在視覺采集過程中得到的圖像細節模糊，圖像對比度低，場景色彩失真，圖像信息丟失等問題，因此對采集后圖像進行去霧復原處理至關重要。在去霧算法中，通常使用大氣散射模型[1]描述霧霾圖像與無霧圖像之間的關系

早期用于去霧的圖像增強方法包括直方圖均化[2]、同態濾波[3]、小波變換[4]和Retinex[5]等，該類算法基于圖像的低對比度、低飽和度等特點通過增強圖像中的有用信息而抑制或刪除不需要的信息來提高圖像質量和圖像清晰度。而后基于先驗知識的方法在去霧工作上利用模型中參數的特征作為假設，使參數可解。暗原色(Dark Channel Prior, DCP)[6]先驗算法是基于先驗知識的霧霾圖像復原方法的典型代表，以局部區域的最小值作為疊加環境光的初步估計，結合大氣散射模型的邊緣優化算法可以直接恢復無霧圖像。最大化局部對比度算法(Maximum Contrast, MC)[7]基于無霧圖像比霧圖像對比度高的特點，提高了霧圖像的對比度，獲得了高能見度的圖像。近年傳統方法，楊燕等人[8]使用改進后的暗通道模型自適應地估算并擬合獲取暗通道圖像，以得到最佳透射率用于霧圖復原。Raikwar等人[9]將傳輸估計問題轉化為模糊圖像與無霧圖像最小顏色通道差的估計用于圖像去霧工作。

隨后出現的基于深度學習的方法在低級圖像處理領域上進行實驗后，發現其效果對比于傳統方法在圖像去霧、去模糊[10]和去噪等小方向上得到了處理速度和圖像質量的進步，去霧算法通過網絡自行學習圖像與圖像之間的特征對應關系從而達到快速且有效果的圖像去霧目的。DehazeNet[11]作為早期使用了神經網絡和先驗知識結合的網絡，使用多尺度的深層卷積神經網絡來學習霧圖到透射率之間的映射關系。端到端去霧算法(an All-in-One Network,AOD-Net)[12]是首個將端到端網絡使用在深度學習去霧中的算法，提出了一種通過估計參數K來恢復無霧圖像的卷積神經網絡，其為網絡的端到端和輕量化提供了設計思路。密集金字塔去霧算法(Densely Connected Pyramid Dehazing Network, DCPDN)[13]提出了帶邊緣保留的金字塔編碼器-解碼器網絡結構，通過邊緣保留損失函數進行網絡訓練優化，同時由于大氣散射模型估計的透射率與霧圖相關，算法還使用了生成對抗網絡對樣本進行判定。Grid-DehazeNet[14]提出了一種端到端可訓練的卷積神經網絡，算法中可訓練預處理模塊相較于手工選擇的預處理方法，可以產生更加豐富的信息多樣性和更強針對性的輸入。主干模塊使用了新的基于注意力機制的多尺度估計方法，極大地解決了傳統圖像多尺度方法中的信息傳遞問題。密集特征融合多尺度增強去霧網絡(Multi-Scale Boosted Dehazing Network, MSBDN)[15]提出了一種基于U-Net的具有密集特征融合的多尺度增強去霧網絡，基于boosting和誤差反饋原理設計，并在模型解碼器中使用增強-操作-減去(strengthen-operate-subtract)策略用于圖像去霧。兩階段弱監督去霧算法(RefineDNet)[16]將基于先驗和基于深度學習的知識進行結合，并將去霧分為兩個子任務，包括能見度恢復和真實度提高，算法通過暗通道恢復圖像可見性，再使用對抗學習提高圖像真實感，最后使用感知融合用于混合多類信息以得到最終去霧輸出。除去以上算法外還使用了集成學習的算法、兩分支去霧算法(Two-Branch)[17]、域適應算法(Domain Adaptation,DA)[18]、基于生成對抗網絡或對抗學習的算法融合鑒別器的生成對抗網絡(Fusion-Discriminator GAN, FD-GAN)[19]、非齊次離散小波變換去霧網絡(Discrete Wavelet transform GAN, DW-GAN)[20]和基于潛在集成結構和對抗學習的深度去霧網絡(Deep Dehazing Network, DDN)[21]，視頻去霧算法[22]等適用于去霧工作。

大自然界中絕大多數圖像都有著相似的特性，例如圖像花叢部分經常呈現高對比度和較為劇烈的邊緣改變特性等，因此遷移學習可以通過使用現有研究中他人已經在自然界圖像中學習到的特征進一步對特定圖像數據集有針對性地訓練以減少網絡的初始化和起步階段的試錯困難程度。基于此，本文將遷移學習用于去霧工作中，使得模型快速學習自然界中圖像色彩規律，保證去霧算法模型處理后的圖像更加貼近自然圖像。

模型的遷移學習體現在使用ImageNet[23]已學習后的初步參數作為本文模型中編碼器初始參數以替代隨機參數，以此縮短網絡初步學習困難度并規范網絡學習方向。通過這種方法可以做到克服現有算法中出現的長時間訓練和數據集針對性等問題。本文的主要創新點如下：

(1)通過遷移學習的方法降低網絡訓練過程中的不確定性和困難程度，避免了網絡初始化時的隨機參數給網絡訓練目標帶來的偏差，加速網絡收斂過程。同時，使用少量數據圖像訓練得到良好的模型質量，增強網絡模型在實際工作中使用的可行性。

(2)本文提出的3子網各有側重，缺一不可。模型使用整體特征子網增強網絡在全局特征提取上的能力。使用平滑膨脹卷積和大尺度卷積保證模型擁有更大的卷積感受野，有效避免網格偽影，達到去霧圖像擁有更均衡的整體特征信息的目的。實驗結果證明了3子網集成的有效性。

2 相關理論

2.1 遷移學習

遷移學習作為一種機器學習思想，具體實行過程為將某個領域、工作上已學習到的知識或參數應用到相似問題中的網絡模型中幫助新模型的訓練。因為相似問題中大部分數據是具有相關性的，故使用遷移學習可以加速模型的訓練過程。其中遷移學習使用的手段包含以下：(1)Transfer learning，固定預訓練模型中的全部卷積層，單獨訓練新模型的全連接層。(2)Extract feature vector，首先提取出預訓練模型對于參數的特征向量，再訓練新模型的簡易網絡。(3)Fine-tuning，固定預訓練模型中部分卷積網絡層，只對其余網絡層進行訓練。將遷移學習嵌入去霧算法可以達到快速訓練和更佳的模型處理效果的結果，模型對于含霧圖像的復原過程中，可以得到更加貼近于自然色彩結構的去霧圖像。

2.2 集成學習

機器學習中被訓練模型常出現單獨偏好的情況，這表明了單一的常用模型對于多方面任務并沒有完全的掌握能力。而集成學習則是通過構建、結合多個學習器集眾家之所長來完成多方面需求任務，如果算法能達到適當的多樣性，每個學習器(子網)的誤差不同，通過一定的策略進行組合可以達到減少總體誤差，增強模型最終效果的作用。集成學習可以用于分類、特征選取和檢測等各類機器學習、深度學習問題，集成學習可分類為Bagging，Boosting和Stacking。集成學習用于去霧算法中可以將多種針對不同圖像特征的子網進行結合，綜合各類子網關注特征以達到單一算法完成各類圖像特征學習的作用。

3 網絡結構

本節將詳細介紹本文模型結構，包括網絡中的3子網：殘差特征子網、局部特征子網和整體特征子網，并在尾部進行融合。由于本模型主要側重于像素級圖像信息復原，全局特征作為信息補充子網權重占比略小，因此算法設定3者比例為1:1:0.5。局部特征子網因為其對于圖像細節特征的把控能力，其去霧圖像在物體細節邊沿及顏色的保留程度較高，但是過于注重局部特征而導致較大像素級的目標信息保留不完整，因此本文在其基礎上加上了整體特征子網，其與局部特征子網相結合以達到大小目標信息都能得到保留的目的。如圖1所示。

3.1 殘差特征子網絡

在Res2Net[24]被提出后，殘差網絡結構被應用于各類主流網絡模型之中用于網絡訓練過程中更新過的梯度的相關性保留，以便網絡更好地進行擬合學習，編碼器-解碼器結構作為常規的特征提取結構被應用于本文網絡中，將以上兩者結合成殘差特征提取子網絡。

從模型處理效率方面考慮，模型將局部特征子網的殘差通道注意力組和殘差通道注意力塊數量分別置為3和5，在保證圖像質量的前提下控制模型參數、提高處理效率。

為了盡可能多地保留圖像信息，因此沒有使用上下采樣的步驟。在殘差連接的編碼器部分，在訓練開始前預先加載ImageNet預訓練模型參數，與隨機的初始化的參數相比，ImageNet中的參數將會更好地幫助提取并學習特征。對于殘差網絡的調用而言，本文模型采用的是Res2Net，16次下采樣的前端。

3.2 局部特征子網

由于上節中的子網使用編碼器-解碼器結構只能提取基礎的圖像特征信息，而更加精細的物體信息無法進行學習，因此在本節中將殘差通道注意力模塊應用于其中，該部分所提取的精細的圖像特征可作為殘差特征提取子網絡的信息補充。為了盡可能多地保留細節圖像信息，本文使用了CBL(卷積+批量歸一化+LeakyReLU)模塊，通過Leaky-ReLU激活函數給負值賦予非零的斜率，在子網輸入部分作用于保留圖像信息。

局部特征子網首先由CBL模塊作為輸入的第1個處理模塊，再用4個殘差編碼塊對輸入特征圖進行特征提取和3次下采樣，縮小特征圖大小，然后經過4個通道注意力模塊進行3次上采樣達到圖像局部特征的精細處理的目的，最后將還原后的特征圖加入尾部進行融合。

3.3 整體特征子網

以上兩類子網，通過遷移學習和注意力機制將網絡的訓練目標轉移到小目標、小感受野的環境中。網絡層傳遞過程中卷積核所對應的圖像感受野較小，網絡中較多注意力集中于局部特征而忽略圖像中局部特征相關性。因此，3子網模型中添加了整體特征子網作為信息補充子網，該子網使用膨脹卷積[25]和少量5×5大尺度卷積代替殘差特征子網和局部特征子網中常用的3×3卷積核，以增加卷積過程中卷積核的感受野并避免出現網格偽影。膨脹卷積和大尺度卷積的多次使用保證了網絡層的深度。算法保留了平滑膨脹卷積塊中5層中的第1,3,5層在門控融合塊中進行了信息融合，進一步增強不同層次圖像信息的保留程度。

同時，為了保持模型整體參數量不激增，整體特征子網只采用了一次上下采樣。由于一個周期內訓練中的輸入圖像數量較少，使用實例歸一化(Instance Normalization, IN)以防止網絡訓練中的梯度消失，并使網絡更加關注單幅圖像的整體信息而非一次迭代內的所有圖像的相關特征信息，以便獲得更好質量的訓練模型。最后，整體特征子網使用門控融合子網集合不同級別的特征。通過以上模塊組合構成整體特征子網，以補充網絡中圖像全局特征提取能力。

3.4 損失函數

損失函數用于規范網絡訓練中參數的學習方向，本文方法模型的損失函數由4個類型函數組成，分別為重建損失函數、多尺度結構相似損失函數、視覺損失函數和對抗損失函數。重建損失函數作為主要規范函數，用于圖像像素級的差異修正，多尺度結構相似損失函數與視覺損失函數結合用于規范處理后圖像符合人類視覺感知，最后使用對抗損失用于規范網絡中生成對抗結構的訓練平衡。

3.4.1 重建損失

重建損失由L1和L2兩類像素級損失函數結合作用，使得去霧后圖像的像素信息更加接近于清晰圖像的信息，算法給予兩類函數各自的權重α1和α2，其中，i代表圖像像素，y和y?分別代表去霧后和無霧圖形

3.4.2 多尺度結構相似損失

多尺度結構相似損失從多尺度圖像大小的亮度、對比度和結構3個指標進行考慮，使用該損失規范網絡處理后的圖像更加符合人眼視覺感知

3.4.3 視覺損失

通過使用VGG預訓練網絡模型的參數來評價模型處理后圖像與清晰圖像之間的高級感知信息和其語義差異，為網絡訓練過程中圖像復原提供更加全面的規范條件

3.4.4 對抗損失

生成對抗網絡中為還原圖像的真實性，對抗損失是最為常用的一類損失函數，除了以上3類損失函數，3子網模型將其共同使用以恢復圖像更多細節

綜上所述，總體的損失函數為

4 實驗

本節將介紹模型訓練與測試所使用的數據集、運行環境、訓練過程中所設定的參數和圖像評價指標。同時為了證明本文模型的有效性，本章也會將本文模型結果與現存算法進行比較分析。

4.1 數據集

為了驗證本文模型對于較困難的非均勻霧圖的處理能力，本文選擇了兩個非均勻的公開霧圖數據集NTIRE2020和NTIRE2021作為模型的訓練數據集和測試集，其中NTIRE2020中包含了45張非均勻霧圖，NTIRE2021包含了25張非均勻霧圖，每張霧圖都有對應的無霧圖像。兩個數據集圖像都是真實場景霧圖，使用此類數據集可以更好地驗證算法模型在實際項目中的去霧效果，其中共70張圖像選用60張用于訓練，10張用于測試。

因選擇的兩個數據集屬于同類型的數據，訓練前將其合并作為單一數據集進行訓練和測試，但由于兩個數據集收集時的環境光不同，會造成圖像亮度不同，模型在亮度不同、風格略有差異的圖像中進行訓練時會出現學習效率低下的問題。為了解決這個問題，兩類數據集進行灰度直方圖分析，然后對于整體灰度值較低的數據集進行伽馬矯正，將兩個數據集中圖像的亮度保持一致，以便獲得更好的網絡訓練效果。

4.2 訓練設置

對于訓練數據集，本文未使用過于繁雜的增強技術，僅采用了圖像剪裁方法，將60對1600×1200大小的訓練圖像每張平均剪裁分為4張800×600大小的圖像用于增加訓練數據集的數量。網絡中Adam優化器使用默認參數β1= 0.9,β2= 0.999，學習率設定為1e-4，整體訓練迭代次數為2000，batchsize為4，損失函數L1與L2的權重α1和α2分別為0.6和0.4。本文所有涉及模型運行環境均為英偉達GTX 1660 SUP，神經網絡框架為Pytorch。

4.3 實驗結果

本實驗對NTIRE2020和NTIRE2021兩個真實世界霧圖數據結合而成的數據集進行測試，并與近年的去霧方法進行定量和定性的比較，本文選取了3種評價標準，包括峰值信噪比(PSNR)、結構相似性(SSIM)和深度特征度量圖像相似度(LPIPS)，運行時間為算法對于單幅圖像的導入、處理和保存的整體流程時間，如圖2和表1所示。

表1 3子網模型結果與主流去霧算法去霧圖像數值比較表

由于算法DCP是基于先驗知識設計的模型，去霧效果受到先驗知識的限制，圖像處理過程使用手工特征遍歷圖像，因此處理速度較為復雜緩慢，在非均勻霧圖的情況下得到的圖像出現了顏色偏移現象。AOD-Net和GCA-Net類似，都屬于輕量級的神經網絡，GCA-Net去霧視覺效果較好，但圖像整體顏色偏深，而AOD-Net對于非均勻和濃霧部分處理效果較差。兩者的PSNR較DCP有8.15%和2.78%的提升，但AOD-Net的SSIM有11.76%的提升。GDNet使用了U-Net作為主體框架進行去霧工作，結果中可以看出其去霧效果圖未發生嚴重的色彩偏移，SSIM指標較前3算法均取得了提升，但其去霧圖仍殘留了較大面積的帶霧部分。DMSHN框架設計目標為非均勻霧去除，結果圖中展示了大面積霧區域的處理效果較好，小面積霧仍有殘留。算法MSBDN對于濃霧區域無法進行圖像復原，大面積的霧區域殘留嚴重。

本文算法使用了遷移學習，將ImageNet的參數作為模型初始參數權重，以幫助模型明確訓練方向，加速收斂速度，并使用3子網通過集成學習的方法構建模型。從結果圖中可看出，本文算法對于非均勻霧圖進行了完整的去霧，在3個圖像評價指標上分別提升了16.01%, 18.96%和13.29%。圖像中未出現大面積的殘留霧區域，且色彩還原度較高。

3子網結構涵蓋了包括整體、局部特征信息，其中整體特征子網主要注重圖像全局特征和結構相關性方面信息學習，因此模型SSIM和LPIPS指標數值結果更佳，而局部特征信息子網側重于像素級圖像信息學習，對PSNR指標有著較大的提升作用。由于3子網模型組成部分中卷積、轉置卷積和上下采樣等大計算量和參數量的操作少于MSBDN，因此模型處理速度高于DCP和MSBDN等傳統或復雜神經網絡算法，卻低于AOD-Net和DMSHN等簡單網絡層連接方式的端到端小計算量和參數量算法的處理時間。

4.4 消融實驗

模型框架分為3個部分進行對比結果如圖3和圖4(整體與細節圖)，從(b)組圖像中可以看出僅使用全局特征提取子網后的去霧圖對比度較高，濃霧區域無法得到還原且色偏移嚴重。(c)組圖像對于顏色和物體細節的還原度較高，但整體圖像對比度仍然略高，真實性欠缺，濃霧處無法恢復或補充信息。本文方法整體顏色更加貼近于無霧圖，濃霧處進行了丟失信息的補充，使得圖像完整性提高，圖像整體對比度偏低，符合現實生活中成像設備展現的風格。本文算法圖對濃霧區域進行了信息補充，雖然復原程度仍然不充足，但在視覺感官上有著更佳的效果。

表2數據顯示本文算法對比于前兩種結構在PSNR和SSIM兩個指標上分別取得了55.54%, 2.50%和17.37%, 1.22%的提升，證明了本文算法結合兩種子網得到的圖像整體信息特征更加均衡。但本文方法LPIPS指標落后于局部特征提取子網模型0.006，這是由于本文方法舍棄掉了部分局部特征模塊。本文模型在保證了整體模型參數穩定的情況下，去霧圖像質量相較全局特征提取子網和局部特征提取子網兩者都有提升。

表2 3子網模型結果與2子網去霧圖像質量數值對比

5 結束語

針對非均勻霧圖去霧困難和算法模型泛化能力較差的問題，本文提出了一種基于遷移學習的多子網算法，通過結合全局特征提取子網、局部特征提取子網和殘差子網，將圖像中的物體顏色、輪廓和結構等特征信息進行提取并包含在網絡學習的目標中。為了保證模型的運行速度和參數量，算法對3子網結合后進行了剪枝。通過遷移學習方法將預訓練的ImageNet模型初始參數權重導入本文的網絡中，使模型更加容易學習并達到預期性能，這種方法對于實際場景中的小數據集霧圖環境更為友好，為小數據集霧圖場景的去霧算法訓練提供了更高的可行性。實驗結果證明了本文算法模型的有效性和泛化能力得到了提升。后續工作中，算法可在遷移學習的基礎上整合3子網的部分功能并進行信息共享和進一步模型剪枝，在不損失圖像質量的前提下提高模型對于大批量實際場景霧圖的處理效率。