基于大氣散射模型的單幅圖像去霧算法綜述

摘要：對于一些高級的圖像處理任務，如圖像分割而言，輸入的圖像質量會嚴重影響到效果。云霧天氣作為常見的天氣現象，往往會導致得到的圖像充滿白霧，另外由空氣質量日益惡化導致的霧霾也時不時出現在人們的視野。這些現象導致現實中得到的圖像質量往往不能夠滿足高級任務的需求，因此圖像去霧成為廣受關注的研究領域。本文首先介紹了大氣成霧模型，接著介紹了幾種基于此的圖像去霧算法，并進行比較。

關鍵詞：圖像處理;圖像去霧;深度學習

1.圖像去霧簡介

1.1概述

霧，作為人們生活中一種常見的大氣現象，經常會給生活帶來各種各樣的麻煩。霧氣導致能見度降低，使得交通受阻，人們的出行受到影響。同樣地，霧氣不僅對于人眼的視覺有影響，對于相機和機器的視覺及理解也有非常大的影響。對于許多高級的計算機視覺任務，如圖像分割，目標檢測等，常見的落地應用都是攝像頭，監控視頻等依賴現實條件的場景。在這些使用場景中，圖像質量往往難以得到保證，雨霧天氣的出現導致計算機無法獲得清晰的圖像，從而影響到任務精度?；诖?，人們展開了對于圖像去霧算法的研究。圖像去霧算法主要可以分為基于圖像增強的去霧算法和基于圖像復原的去霧算法，本文對第二種進行介紹。

1.2大氣散射模型

在霧天里，空氣中充滿著許多小顆粒，這些小顆粒會導致物體反射的光線發生散射，使得攝像頭采集不到完整的反射光線，這也就是在霧天我們會在物體前面看到一層白霧的原因。這些大氣介質中存在的小顆粒使得光線散射的物理過程變得非常復雜，為了刻畫這種現象，大氣散射模型被提出：，其中I（x）代表攝像頭采集到的圖像，即為有霧圖， A為全球大氣光強， J（x）是無霧圖像，t（x）是透射率，這里d（x）是景深，β是散射系數。我們的目標就是根據有霧圖像I（x）來求出無霧圖像J（x）。注意到這里僅有I（x）是已知的，其他量均為未知數，故是一個欠定問題，需要使用物理先驗來求解。

2.基于物理先驗的去霧算法

由于大氣散射模型是一個欠定的問題，無法直接求解，所以有許多根據物理先驗求解的去霧算法，如何凱明等人暗通道先驗（Dark Channel Prior，DCP）方法，Tan等人最大對比度（Maximum Contrast，MC）方法，Zhu等人的顏色衰減先驗（Color Attenuation Prior，CAP）方法， Ancuti等人的色度不一致方法。下面重點介紹暗通道先驗法和非局部方法

2.1暗通道法

通過大量的觀察和統計經驗發現，在戶外的無霧圖像中，在大部分非天空區域里，至少有一個圖像通道是很小一個數或者趨近于零，因此可以得到這樣一個式子：

首先對圖像每個像素取三通道中的最小值，得到一個單通道圖，然后對該單通道圖做最小值濾波就得到了暗通道圖 。作者認為，造成這個現象的原因主要有三點，一是各類物體的陰影，玻璃;二是彩色物體的表面，如花草樹木，藍色的水面，三是黑色物體表面，如樹干，石頭等。在這些位置，圖像總是存在一個值很小的通道。根據這個物理先驗，就可以對大氣散射模型進行求解。首先將大氣散射模型改寫為

上標c代表rgb三通道。進一步假設每個濾波窗口內的透射率t（x）是常數，記為t?（x），然后對方程兩邊同時計算暗通道，即作兩次最小值運算，得到

根據暗通道先驗，J趨近于零，這樣就得到了透射率的估計值：

2.2非局部法

非局部法基于的物理先驗是，無霧圖像一般能由幾百個不同的顏色像素點很好地估計，這些點在RGB空間里形成緊密的聚類，而在有霧圖像中，一個聚類會被散射成一條線的形狀，稱作霧線。注意每條霧線上的點可能分布在圖片的很多區域，由景深的不同，導致每個像素點被不同程度地散射。因此根據這些散射得到的RGB空間中的線，就可以估計出圖片的景深，進而求解大氣散射模型。

非局部法的去霧流程如下：首先求得霧線

然后將原本的RGB坐標歸一到以大氣光強A為原點，接著變化為球坐標：

在球坐標系里我們定義，改變傳輸系數t僅僅影響r（x），不會影響角度，也就是說，在球坐標中具有相同角度的像素，他們在無霧圖中具有相同的RGB值。因此，如果角度相同，像素屬于同一條霧線，在每一根霧線里的像素，有很大的概率在無霧圖中具有相同的值。進一步，假設距離大氣光A最遠的像素是無霧的，這樣的像素 存在于每一條霧線里，這種假設對于整張圖片是不成立的，因此需要正則化步驟來補償

接下來，通過最小化下列方程，就可以得到透射率t（x），進而求解大氣散射模型。

3.基于深度學習的去霧算法

在深度學習的浪潮掀起以后，圖像去霧領域同樣出現了大量深度學習的方法，前期主要還是基于大氣散射模型的方法，通過神經網絡估計透射率t（x），后期出現了一些端到端的模型，通過輸入有霧圖可以直接得到無霧圖像，以便與后續處理相拼接，下面主要介紹兩種方法

3.1 DehazeNet

DehazeNet是一種對傳輸圖進行估計的網絡，專門設計了用于體現了圖像去霧先驗的網絡結構，具有比之前方法更高的性能，同時保持高效和易用。如圖表一所示是DehazeNet的結構示意圖。

DehazeNet是一個由四層結構組成的網絡，第一層是特征提取層，由卷積+Maxout組成，并且可以證明不同的卷積對應著不同的物理先驗，從而深度學習方法與傳統方法被聯系在一起了。第二層是多尺度映射，由多個不同尺寸的卷積共同作用，從而增強特征在不同尺度下的魯棒性。第三層是局部極值，這是一個常規操作，可以約束透射率的局部一致性，有效抑制估計噪聲。最后一層是非線性回歸，DehazeNet使用了一個新的激活函數BReLu，在ReLU的基礎上增加了上界約束，保證局部的線性性。

3.2 AOD-NET

與DehazeNet不同，AOD-NET是一種端到端的輕量化網絡，通過輸入一個有霧圖像直接輸出無霧圖像，而不依賴于單獨的參數估計步驟，這樣就能與其他高級視覺任務直接相連。首先將大氣成霧模型改寫：

這樣，t（x）和A都被集成到新變量K（x）中，因此我們的目標是構建輸入自適應深度模型，其參數將隨有霧圖像而變化，從而最小化輸出J（x）與真實圖像之間的誤差。

AOD-NET的網絡結構由兩個模塊組成，分別是一個K（x）估計模塊，通過輸入有霧圖I（x）輸出K（x），和一個根據改寫的成霧模型生成清晰圖的模塊。在K估計模塊中使用了多尺度特征，并且每個卷積層只使用三個卷積核，使得整個網絡非常輕量。AOD-NET還能與高級視覺任務如目標檢測等直接相連，例如與經典的Faster R-CNN相連接，能夠提高霧天下目標檢測的準確性。

結語

圖像去霧是一項具有重要現實意義的工作，與各種高級視覺任務的性能息息相關。隨著各種各樣基于物理先驗和基于深度學習的方法的提出，該領域變得越來越豐富多彩，然而還存在著大量待解決的問題，如天空區域難以處理，室內場景的去霧難以實現等。圖像去霧是一件充滿挑戰和重要性的工作，仍等待著聰明的頭腦與辛勤的勞動投入其中。

參考文獻

[1] Single image haze removal using dark channel prior. He K，Sun J，Tang X. IEEEConference on Computer Vision and Pattern Recognition . 2009

[2] Non-Local Image Dehazing. Dana Berman，Tali Treibitz，Shai Avidan. CVPR . 2016

[3]Dehaze Net：an end-to-end system for single image haze removal. Cai B L，Xu X M，Jia K.et al. IEEE Transactions on Image Processing . 2016

[4]AOD-Net：All-in-one dehazing network. Boyi Li，Xiulian Peng，Zhangyang Wang，Jizheng Xu，Dan Feng. IEEE International Conference on Computer Vision . 2017

[5]高原原，馬超，潘博文.視覺物聯網中圖像去霧方法研究綜述與展望[J].信息通信技術與政策，2019（04）：6-11.

作者簡介：張涵，（1999.11—），男，江西省撫州市人，湖北省武漢市武漢大學信息與計算科學專業，本科生