基于融合編碼算法的圖像去霧方法研究

張浩 朱海杰 孔斌瑤 張梓宜 馮恒棟

摘要：與使用大氣散射模型的去霧方法不同，基于輪廓和顏色的融合編碼算法模擬了含霧場景中的視覺感知特征，通過主動融合輪廓特征來平衡模糊圖像中的顏色信息量，從而防止了去霧過程中出現的扭曲或暈效應。實驗結果表明，該方法的魯棒性和去霧效果較好，為圖像去霧的研究提供了新的思路。

關鍵詞：圖像去霧;卷積神經網絡;計算機視覺

1.引言

在有霧或煙霧的復雜環境中拍攝的圖像可能質量較差，包括能見度、對比度、銳度等指標都較差，這是大氣粒子的反射、折射和散射的綜合光學效果。通過圖像去霧技術來對這種環境中拍攝的圖像進行增強，是自動駕駛和視頻監控等領域研究的熱點問題。目前的圖像去霧方法主要包括傳統方法和深度學習方法，傳統方法又可以分為基于數學模型的方法和基于物理模型的方法。

對模糊圖像或弱視覺場景的一些研究表明，人類視神經系統通常提取場景的主要輪廓，并添加顏色等其他特征，然后通過腦神經的記憶功能進行物體重組。這里需要考慮兩個因素。首先，在端到端的去霧算法中，由于標簽圖像是一個清晰的彩色圖像，并且由于卷積神經網絡通常根據標簽的顯著特征（顏色特征）進行表征，因此提取的低層次特征主要是顏色特征，從而導致去霧圖像有明顯的色差。其次，霧霾等噪聲信息導致圖像輪廓模糊，提取的輪廓和紋理特征是稀疏的。

由于顏色特征量的不平衡和輪廓紋理特征的差異，因此在反向傳播過程中邊緣不能很好地擬合，從而使去除圖像的邊緣顯得模糊。對于這兩個問題，假設在特征提取中結合了大量的輪廓特征和紋理特征，這樣就可以平衡特征提取過程中顏色特征提取過多的問題，進而建立一個合理的網絡模型來去除色差和暈的問題。

2.基于輪廓和顏色的融合編碼算法簡述

如前所述，大氣散射在傳統機器學習方法和深度學習方法中都起著重要的作用，因為大氣散射可以解釋去霧前后圖像之間的關系。這種模型的原理是，如果光被霧或霧霾的粒子阻擋，光的散射會減弱成像的效果。

許多去霧方法依賴于大氣散射模型來實現單圖像去霧。例如，將清晰圖像中的每個顏色簇定義為RGB空間中的一行，利用深度邊緣感知平滑算法優化局部先驗生成的初始傳輸圖，然后利用梯度殘差最小化來實現圖像去霧;在假設傳輸圖和圖像表面陰影是局部不相關的情況下估計了一個場景的反照率，并用大氣散射模型實現了圖像去霧。

首先，本文方法解決了暈和色差問題。以前的工作僅限于使用WB、CE和伽馬校正（GC）來補償由霧和低能見度造成的圖像中的顏色變化。如果沒有正確地選擇對比度和亮度，可能會產生不同類型的色差。在自動特征提取中，CNN對顏色特征的提取距離太遠，導致其冗余，進而導致暈和色差。可以通過平衡顏色特征的數量和可控特征輪廓的數量來解決這些問題。

其次，本文方法的性能更加穩定。其他方法主要使用光學特性來解決去霧問題，如WB、CE和GC，但值得注意的是，WB、CE和GC的提取是由參數控制的。因此，對于不同濃度的霧，對應的三個子圖的獲取是不穩定的，這將會影響到去霧的效果。我們使用信息量來解決穩定性的問題。只要霧圖不是完全看不見的，就可以穩定地獲得主要的輪廓來平衡顏色，從而提高了圖像去霧系統的穩定性。

最后，在網絡的設計中，經過多次驗證發現設置三層來進行低級特征提取效果較好。本文直接融合了多維特征，以確保深度特征信息更加豐富，且生成式對抗網絡模型被用于改善圖像去霧模型。

3.融合編碼算法原理

本文給出了一種基于等高線和顏色融合編碼的端到端圖像去模糊處理方法，模擬了一個由生成網絡和判別網絡組成的視覺信息處理的生物機制。該算法提取輸入圖像的輪廓，提取低級特征編碼區域的顏色，同時按層添加輪廓，深度編碼結果為低級特征編碼區域。最后，該算法將低級特征編碼結果與高級語義編碼結果相結合，對融合結果進行分層解碼，生成去霧后的圖像。然后，算法將待去霧圖像和相應的樣本標簽輸入判別網絡，計算圖像的相似度，生成網絡和判別網絡交替進行，優化兩個網絡，從而提升系統的去霧能力。

構建深度卷積神經網路的主要目的是訓練出最優的網絡參數，因此可選擇VGG網絡預訓練模型的前三個特征提取模塊，構建七層卷積神經網絡，作為低級特征提取器。然而，去霧網絡需要輪廓特征的融合，而為深度網絡選擇特征提取器可能會導致過多的信息被編碼，在這種情況下，顏色可能會失去其原始值，無法與輪廓正確融合，影響編碼效果。本文采用了VGG的特征提取思想，但僅使用三層卷積作為顏色特征提取器。本文將感知到的輪廓結果依次添加到三層顏色中，以增加輪廓的體積比。此外，與圖像分割和圖像識別不同的是，圖像去霧只減弱與真實像素相關的噪聲，但不會很大程度地改變圖像結構，這樣可以避免過度學習和提高效率。為了消除低層次特征編碼區域的信息冗余，本文將第三個卷積層的步長設置為2，類似于池化操作。并且為了提高網絡的通用化性，每個卷積操作都經過標準化操作。

4.結論

本文利用深度編碼模擬視覺感知，給出了一種用于圖像去霧的端到端神經網絡模型。該網絡模型由生成網絡和判別網絡組成，包括輪廓特征提取器、低級特征編碼、高級語義編碼和特征解碼。本文方法模擬了深度視覺感知系統的編碼過程，給出了一種從低級特征編碼到高級語義編碼的新型圖像編碼方法。該方法在圖像去霧方面取得了較好的效果，且對減少卷積神經網絡的黑盒特征具有重要意義。進一步模擬含霧場景中光學神經系統的響應，通過模擬生物視覺系統，對視野中圖像的輪廓和顏色特征進行融合編碼，進而創建圖像去霧系統。同時，該方法改進了傳統神經網絡的損失函數，允許對合成和自然含霧圖像進行去霧實驗，得到了定性和定量的結果。

本文方法對煙霧環境中的含霧圖像去霧效果較好，對自然圖像去霧效果更好，具有較強的魯棒性。本文給出的基于輪廓和顏色融合編碼的圖像去霧方法，為圖像去霧提供了一種新的解決方案和發展方向。

參考文獻：

[1] M. Li， J. Liu， W. Yang， X. Sun， and Z. Guo. Structure-revealing low-light image enhancement via robust Retinex model. IEEE Trans. Image Process.， 2018， 27（6）： 2828-2841.

[2] C. Li， J. Guo， F. Porikli， H. Fu， and Y. Pang. A cascaded convolutional neural network for single image dehazing. IEEE Access， 2018， 6： 24877-24887.

[3] Q. Zhu， J. Mai， and L. Shao. A fast single image haze removal algorithm using color attenuation prior. IEEE Trans. Image Process.， 2015， 24（11）： 3522-3533.

張浩：衢州學院2020級數據科學與大數據技術專業本科生。資助項目：國家級大學生科技創新項目（項目編號：202111488030）