圖像去霧算法的綜述及分析

王道累，張天宇

圖像去霧算法的綜述及分析

王道累，張天宇

(上海電力大學能源與機械工程學院，上海 200090)

圖像去霧是以滿足特定條件下應用需求為目的，通過對有霧圖像進行分析和預處理，突出圖像中的細節信息使之更加適合人機識別的一種圖像預處理方法。在霧天條件下拍攝到的圖像因為霧霾的影響導致圖像可能會存在細節丟失、對比度低的情況，將會影響圖像后續的分析識別工作。經歸納總結目前圖像去霧算法的研究現狀，主要包括基于圖像增強、圖像復原以及卷積神經網絡3類去霧方法及其改進算法，對其中的一些算法進行了實驗、評價及優缺點分析，并對未來的發展進行了展望，對算法中的難易點提出了一些參考的建議，促進了圖像去霧算法的進一步發展。

圖像增強；圖像去霧；圖像處理；卷積神經網絡

由于卷積神經網絡(convolutional neural network, CNN)強大的學習能力，人工智能、深度學習等領域成為當前的研究熱點[1]，目標識別、目標跟蹤等技術在生活中應用的越來越廣泛，如變電站無人巡檢、自動駕駛等，圖像質量的好壞將會影響著系統能否正常運行。在霧天情況下，空氣中存在大量的懸浮顆粒物，會對光線產生散射，導致物體反射出的光線發生衰減，同時反射光與觀察者直接接受到的光線發生混合，造成觀察者獲取到的圖像的對比度和清晰度等特征都發生改變，細節信息大量丟失[2-3]。因此需要去霧算法來對此類低質圖片進行預處理，保證系統的正常運轉。

近些年來，出現了眾多的單幅圖像去霧算法，應用比較廣泛的有：直方圖均衡化去霧算法、Retinex去霧算法、暗通道先驗去霧算法[4]以及基于卷積神經網絡的DehazeNet去霧算法[5]等，其主要可以分為3類：

(1) 基于圖像增強的去霧算法。通過圖像增強技術突出圖像細節，提升對比度，使之看起來更加清晰，這類算法的適用性較廣。具體的算法有：Retinex算法、直方圖均衡化算法、偏微分方程算法、小波變換算法等[6]。Retinex算法根據成像原理，消除了反射分量的影響，達到了圖像增強去霧的效果；直方圖均衡化算法使圖像的像素分布更加均勻，放大了圖像的細節；偏微分方程算法則是將圖像視作一個偏微分方程，通過計算梯度場提高對比度；小波變換算法對圖像進行分解，放大有用的部分。在這類算法的基礎上出現了眾多的基于圖像增強原理的改進算法[7-12]。

(2) 基于圖像復原的去霧算法。主要是基于大氣散射物理學模型，通過對大量有霧圖像和無霧圖像進行觀察總結，得到其中存在的一些映射關系，然后根據有霧圖像的形成過程來進行逆運算，從而恢復清晰圖像[13-17]。其中最經典的要屬文獻[4]提出的暗通道先驗去霧算法，通過對大量無霧圖像進行特征分析，找到了無霧圖像與大氣散射模型中某些參數的先驗關系。該算法復雜度低，去霧效果好，因此在其基礎上出現了大量基于暗通道先驗的改進算法[18-22]。

(3) 基于CNN的去霧算法。使用CNN建立一個端到端的模型，通過有霧圖像恢復出無霧圖像，目前使用神經網絡進行去霧的算法主要有2種思路：使用CNN生成大氣散射模型的某些參數,然后再根據大氣散射模型來恢復無霧圖像[23-27]，或者使用CNN (例如GAN)直接根據模糊圖像生成無霧的清晰圖像[28-31]。

1 基于圖像增強的去霧算法

1.1 直方圖均衡化去霧算法

圖像的直方圖表示的是對圖像中灰度值出現頻率的統計。直方圖能夠表示出圖像中每個灰度的頻度、分布情況、圖像的對比度和明暗情況等數據。

直方圖均衡化算法(histogram equalization，HE)通過對圖像的像素值進行非線性的拉伸，重新分配像素值使之更加均勻，從而使原圖像上灰度分布相對集中的部分對比度得到增強，而分布相對稀疏的部分對比度降低，處理后圖像的直方圖將會呈現出比較平緩的狀態，實現直觀上的去霧效果，圖1(a)為原圖的像素分布直方圖，圖1(b)為直方圖均衡化處理后的像素分布直方圖。直方圖均衡化算法的具體實施思路是找到圖像上最亮和最暗的灰度值，將之映射到0和255之后再將其他的中間部分像素值映射到0和255之間。

標準直方圖均衡算法的步驟如下：

步驟1.統計出原始圖像中各個灰度級的像素個數n(0≤<)，為圖像中所有的灰度數(通常是256)；

步驟2. 圖像中灰度為的像素出現的概率為

其中，為圖像中像素點的總數；

步驟3.p的累積分布函數定義為

步驟4.和分別為原始圖像的尺寸；為原始圖像的像素值，則直方圖均衡化計算式為

1.2 Retinex去霧算法

Retinex理論認為，人眼感知到的物體顏色和亮度是光和物體相互作用后的結果，是由物體表面的反射特性決定的，與折射到人眼內的光譜特性并無關系[32]。其建立在以下2點基礎之上：①人類所處的真實世界實際上是不存在顏色的，人類眼球所獲取到的物體顏色是由于物質和光的相互作用后產生的；②自然界中的所有顏色都可以由給定波長的紅、綠、藍3種原色按不同比例合成，即三原色理論。

在Retinex理論中，人眼獲取到的外界顏色信息主要來自于太陽產生的入射光以及光線在物體表面產生的反射。如圖2所示，()是人眼或相機獲取到的圖像信息，先是由太陽產生的入射光照射，然后經過物體反射從而射入相機中，最終形成人們所看到的圖像。該過程為

其中，()為相機接收到的圖像信息；(,)為環境光照射在物體上的照射分量；(,)為帶有物體細節信息的反射分量。將式(4)取對數，其中的乘積關系轉為和的關系，根據原圖估測出的值，即可獲取到物體原始的信息，消除光照的影響，即

單尺度Retinex算法(single scale retinex, SSR)是Retinex理論中最有代表性的方法，其基本步驟如下：

步驟1.輸入原始圖像，確定高斯濾波的半徑范圍。當的取值較小時，處理后圖像的細節對比度能夠得到提升，但是可能會出現圖像顏色失真的情況；當的取值較大時，處理后圖像的顏色信息較為自然，但是細節信息將會不明顯。

步驟2.根據輸入的原始圖像高斯濾波后的結果，得到照射分量。

步驟3.根據式(5)計算得到帶有細節信息的反射分量log。

步驟4.將得到的結果歸置到[0,255]的像素范圍內，歸置式為

最終得到經過SSR算法處理后的輸出圖像。

綜上所述，其整合式為

單尺度Retinex算法尺度參數單一，在對圖像進行增強時存在無法使圖像保持較高的對比度和亮度值的問題，JOBSON等[33]在1997年提出了多尺度Retinex算法(multi-scale retinex, MSR)，通過計算不同尺度下的反射分量值在進行加權平均，即

其中，為尺度參數的個數，若=1，即為單尺度Retinex算法，經過實際檢驗發現當=3時多尺度Retinex算法的處理效果最好。

圖2 Retinex算法原理圖

1.3 基于圖像增強去霧的改進算法

常用的圖像增強算法還有小波變換算法和偏微分方程算法。小波變換算法通過小波變換將圖像分解為1個低頻子圖像和3個高頻子圖像，通過算法對不同頻率系數進行增強，提高圖像對比度，實現增強效果。偏微分方程則是將圖像視作一個以像素位置為自變量的二元函數，由每個像素點的梯度值構成圖像的對比度場，通過放大圖像的對比度場實現圖像增強。由于上述2種算法相對較為復雜，因此在圖像增強去霧任務中應用的相對較少。

經典的全局直方圖均衡化算法其本質主要為經過某種變換使圖像的灰度級分布更加均勻，其對于背景單一的霧霾圖像有較好的去霧效果，但增強效果主要取決于該灰度級下的頻率值和累積分布函數，通常情況下，低頻率的灰度級會發生合并，高頻率的灰度級則會發生過度增強，處理后的圖像上局部細節會下降，物體輪廓和背景相對較模糊，塊效應明顯。局部直方圖均衡化算法作為全局直方圖均衡化的改進算法，將原始圖像分為若干個等大的區域，在每個區域內進行直方圖均衡化操作，該方法解決了圖像細節丟失的問題，但處理時間較長，運算量大，塊效應的問題仍然存在。針對上述問題，在直方圖均衡化理論上出現眾多的改進算法。洪明堅[34]提出了一種通過平移矩形區域以及采用對分來計算灰度值的方法，降低了時間復雜度，提高了運算效率；KIM[35]提出了一種雙直方圖均衡化技術，將原始直方圖分解為兩段直方圖，而后分別進行均衡化處理，該方法能夠在亮度不變的情況下使對比度得到增強；REZA[36]提出了一種基于對比度限制的直方圖均衡化算法，首先對圖像進行對比度限制的直方圖均衡化，然后對局部塊的邊界進行平滑處理，有效解決了塊效應且去霧效果較好。

Retinex理論在被提出后的很長一段時間里都無人問津，直到NASA發現SSR算法在處理航拍圖像上有較好的效果，才逐漸受到人們的重視。但是SSR算法存在著復雜度高、容易出現光暈、易失真等缺陷。為此，國內外學者們提出了眾多的改進算法，例如MSR算法、帶色彩恢復的多尺度Retinex算法[33]等。針對Retinex算法在處理光照不均圖像時會產生光暈現象的問題，MEYLAN和SUSSTRUNK[37]提出了一種自適應估計圖像光照的方法，有效解決了處理后圖像上存在光暈的問題，但是該算法復雜度高、計算量大?，F有的去霧算法大多都只能去除薄霧，對于濃霧的處理效果較差。針對此問題，高原原和胡海苗[38]提出了一種多子塊協同的單尺度Retinex算法，根據霧霾濃度計算動態截斷值，利用截斷值調整高頻信息，實現對霧霾圖像的區域細節增強。針對全局直方圖均衡化算法中容易出現的細節丟失問題以及Retinex算法中細節和色彩無法同時得到恢復的問題，周雪智[39]提出了一種將Retinex和直方圖均衡化進行結合的算法，有效避免了Retinex算法和直方圖均衡化算法的弊端，在放大對比度、增強細節的同時，也較好的恢復了圖像的顏色信息。

2 基于圖像復原的去霧算法

圖像去霧的另一類方法是基于大氣散射模型理論進行去霧(圖3)，該模型為

其中，(,)為相機獲取的圖像；0(,)為場景的反射光線強度，即去霧后的無霧圖像；為大氣散射系數；(,)為場景深度；-(x, y)為透射率；為全球大氣光成分[40-41]。

0(,)即為所需要復原的圖像，由式(9)可得

其中，令t(x, y)=e-kd(x, y)，稱為大氣透射率。因此，根據大氣散射模型，只需要估計出原始圖像的全球大氣光成分A和透射率t，即可求得去霧增強后的清晰圖像L0(x, y)。

2.1 基于暗通道先驗的去霧算法

基于大氣散射模型理論進行圖像復原去霧的算法中應用最為廣泛的是文獻[4]提出的基于暗通道先驗的去霧算法(haze removal using dark channel prior)。該算法通過對大量無霧圖像進行統計分析，發現在無霧圖像上，每一個區域都會存在彩色、陰影或者較暗的東西，因此每一個區域都很有可能存在某一個通道有很低的像素值，被稱為暗通道先驗，其數學表達式為

根據式(9)，將大氣散射模型簡寫為

其中，()為相機獲取的原始圖像；()為無霧圖像；為全球大氣光成分；()為透射率。對式(12)進行歸一化，即兩邊同時除以每個通道的大氣光成分值

引入暗通道先驗理論，則有

將式(15)帶入式(14)中，可求得透射率()的估計值，即

其中，全球大氣光成分被作為已知量，其估算方法為：對于輸入的原始圖像，找到暗通道圖像上灰度值最大的0.1%的像素點，根據其位置從原始圖像中取出這些像素的3個分量的值相加，計算其均值作為的值。

2.2 基于圖像復原去霧的改進算法

基于圖像復原的去霧算法均是基于大氣散射模型作為理論基礎，通過各類先驗理論或估算方法得出其中的多個未知參數，從而得到原始的無霧圖像。目前除了暗通道先驗算法外，還有顏色衰減先驗算法[43]和優化對比度增強算法[44]等，對單幅圖像去霧也具有較好的效果。顏色衰減先驗算法指出，在有霧圖像中，亮度和飽和度之差與霧濃度呈現出正相關，由此推算出有霧圖像的透射率值，從而實現對有霧圖像的復原操作，該算法對含有大面積天空區域的有霧圖像具有良好的效果，彌補了在圖像上存在大量天空區域時暗通道先驗算法去霧效果較差的缺陷。優化對比度增強算法則是提出了一種基于四叉樹子空間劃分的層次搜索方法，通過對每個子區域進行評分，得到一個更加準確的大氣光成分，同時該算法能夠擴展到視頻去霧的任務上，通過計算透射率的相關性能夠有效減少對視頻進行去霧時的閃爍程度。

由于暗通道先驗算法的復雜度低、去霧效果好等特點，在單幅圖像去霧領域中得到了廣泛的應用，因此也出現了眾多的改進算法。暗通道先驗算法對于圖像上存在大面積天空區域的圖片去霧效果不理想，會導致圖像出現失真等情況，對此，XIAO等[45]提出了一種基于天空分割的場景感知去霧算法，分割天空區域然后使用中值濾波器獲取邊緣信息，使用伽馬矯正來增強圖像的亮度，該算法可以消除暗通道先驗算法導致的顏色失真問題，同時消除光暈效應；趙錦威等[46]提出了一種基于大氣光校驗和光暈消除的算法。該方法通過支持向量機(support vector machine, SVM)剔除掉圖像上車燈、強光等高光的干擾，估算出更加準確的透射率，從而使光暈像素的數量得到減少，該算法對暗通道先驗算法可能會出現對大氣光誤判的現象起到了一定的限制作用；暗通道先驗去霧算法僅對白天圖像有較好的去霧效果，對于夜間圖像會存在失真度高、細節模糊和穩定性差等缺點。楊愛萍和白煌煌[47]提出了基于Retinex理論和暗通道先驗的去霧算法，由暗通道先驗理論求得無霧的入射光圖像，再利用Retinex理論復原出夜間無霧圖像。該算法對夜間有霧圖像進行有效的去霧處理，同時能夠降低去霧過程中可能或出現的顏色失真情況。

3 基于卷積神經網絡的去霧算法

3.1 DehazeNet算法

CNN因其強大的學習能力在多個領域得到應用，因此也出現了采用CNN進行去霧的算法。2016年CAI等[48]首次提出了一種名為DehazeNet的去霧網絡，用于估計有霧圖像的透射率。DehazeNet將有霧的模糊圖像作為輸入，輸出其透射率，基于大氣散射模型理論恢復出無霧的清晰圖像[49-50]。

DehazeNet直接學習和估計模糊圖像與其透射率之間的映射關系，網絡結構如圖4所示。該算法在特征提取層(feature extraction)加入了Maxout網絡[51]，使之能夠與已有的去霧理論(暗通道先驗、最大對比度、顏色衰減先驗、色調差異)建立聯系，并通過神經網絡來自動的改進這些理論。在輸出層，因為圖像的透射率不允許高于1或低于0，提出了一種新的BReLu函數，即保持了局部線性，又保持了雙邊的限制，使輸出值為一個標量，即輸入塊中心點的透射率值。DehazeNet算法基于有霧圖像的物理學模型特征，又超出了傳統的方法，將人工智能的方法用于去霧領域，為圖像去霧提供了新的思路。

3.2 基于神經網絡去霧算法的改進算法

目前，基于CNN進行去霧的算法主要分為：①基于大氣散射模型，使用CNN生成大氣散射模型中的某些參數，從而復原出清晰無霧的圖像；②使用CNN直接端到端的生成清晰的無霧圖像，由于生成對抗網絡(generative adversarial networks, GAN)算法的廣泛應用，該方法是目前的研究熱點。

圖4 DehazeNet結構圖

LI等[52]提出了一種采用CNN直接生成清晰圖像的模型(AOD-Net)，該算法的思路與DehazeNet類似，AOD-Net將大氣散射模型數學表達式中的2個透射率參數和全球大氣光成分統一為一個公式，通過CNN找到有霧圖像與該公式內各參數的映射關系，實現有霧圖像的修復工作。AOD-Net采用的是輕量級CNN網絡，能夠與其他深層模型進行無縫銜接，具有隱式去霧的效果。

由于GAN的出現，CHEN等[53]提出了一種采用GAN實現端到端圖像去霧的算法(gated context aggregation network, GCANet)，該算法的重點在于采用平滑擴展卷積代替了擴展卷積，從而解決了出現網格偽影的問題。同時提出了新的融合網絡對不同層次的特征進行融合，提高了圖像的去霧效果。由于雨天空氣中存在大量的水滴會對光線產生折射，與霧霾圖像的產生原理類似，因此GCANet也可以用于雨天圖像上雨條紋的去除，但是其去雨條紋效果沒有DID-MDN[54]等專用去雨網絡效果好。

4 實驗結果與分析

4.1 實驗結果

本文對上述的基于圖像增強的直方圖均衡化算法(HE)、Retinex算法；基于圖像復原的暗通道先驗算法；基于CNN的DehazeNet算法、AOD-Net算法和GCANet算法進行了測試實驗。選擇了4張有代表性的霧天圖像，實驗結果如圖5所示。

4.2 實驗結果分析

采用圖像信息熵對實驗結果進行分析與評價，信息熵是將圖像所表示的信息進行了量化，通過熵的大小表示圖像中信息的混亂程度，圖像中信息量越多，則熵值就越大，即算法的去霧效果就越好，圖像信息熵的計算式為

其中，p為灰度級的概率密度；為最大灰度級。

由表1可以看出，采用神經網絡去霧的算法其信息熵平均值要好于其他2類算法，但是由于采用合成數據集導致神經網絡對真實有霧圖像的去霧效果并不穩定，去霧效果存在差異。另外，直方圖均衡化算法的信息熵值均要高于其他算法，主要是由直方圖均衡化算法的處理方式決定的，該算法僅使圖像的像素分布更加均勻，表現出的信息更多，但是同時也放大了噪聲等無關信息。

同時，表1也從另一方面驗證了圖5所示的結果，基于圖像增強的直方圖均衡化算法和Retinex算法對于有霧圖像具有一定的去霧增強效果，直方圖均衡化算法處理后的圖片去霧效果不穩定，且存在塊效應和色彩偏差的情況。對于圖像中某一通道的分量特別小的情況，Retinex算法的去霧效果較差，甚至會導致大量圖像信息丟失。暗通道先驗和DehazeNet算法的去霧效果要好于基于圖像增強進行去霧的算法，但是DehazeNet算法由于采用了擴展卷積，導致圖像可能會出現網格偽影。對于濃霧圖像(圖5(c))和團霧圖像(圖5(d))，各類算法能夠實現有效去霧，但是會導致圖像上清晰的區域出現細節丟失的情況，去霧效果不理想。

4.3 去霧算法的計算時間

本文在Intel Core i7-7700HQ (單核主頻2.80 GHz)的CPU和16 G內存的計算機上運行了以上6種去霧算法，采用3張不同分辨率的圖片進行測試，各算法的計算時間見表2。

從表2可以看出，基于圖像復原和增強算法的計算時間要平均少于基于神經網絡算法，具有較好的實時性，在高分辨率圖像上神經網絡算法的時間要遠遠高于其他2類，主要是由于神經網絡的模型中參數的數量巨大，導致花費的時間更久。

圖5 實驗結果

表1 圖像信息熵

表2 不同算法的計算時間

5 總 結

目前針對有霧圖像去霧的算法主要是從基于圖像增強、圖像復原和CNN 3個方向進行的。基于圖像增強的方法不考慮有霧圖像的形成過程，而是直接通過突出圖像的細節，提高對比度等方式，從而使有霧圖像看上去更加清晰?；趫D像復原的方法則是追尋圖像降質的物理過程，通過物理模型還原出清晰的圖像。而基于CNN的方法則是利用神經網絡強大的學習能力，尋找有霧圖像與圖像復原物理模型中某些系數的映射關系或者使用GAN，根據有霧圖像還原出無霧的清晰圖像。上述3類去霧算法對于霧天圖像都有著明顯的去霧效果，盡管其在實際生活中已經得到了廣泛的應用，但下述幾點仍有可能是今后圖像去霧領域的研究重點和難點：

(1) 更加真實的霧天圖像數據集。采用神經網絡進行去霧的算法在效果上好于圖像增強和復原的方法，但是由于在自然界中很難拍攝到一組背景相同的有霧圖像和無霧圖像，因此目前訓練神經網絡所采用的數據集均是通過合成得到的，雖然能夠在一定程度上擬合自然環境，但是仍然存在著一些差距。所以目前急需一種由在真實環境中獲取到的具有相同背景的有霧圖像和無霧圖像構建的數據集，來提高神經網絡去霧算法的魯棒性和穩定性。

(2) 更加簡便的去霧算法。目前各類算法能夠有效去除單幅圖像上的霧霾，但相對較好的算法都存在著時間復雜度高的問題，很難應用到視頻去霧或者需求較多的復雜任務中去。

(3) 魯棒性更強的去霧算法。上述算法都只對圖像上存在的均勻的薄霧有較好的去霧效果，對于濃霧或者分布不均的團霧則效果較差，因此找到一種適用范圍更廣的去霧方法將會是一個極具挑戰性的課題。

本文總結了目前常見的幾種圖像去霧算法以及在其基礎上的改進算法，并對各類算法進行驗證，采用圖像信息熵對各類算法的去霧結果進行比較，分析算法的優缺點及應用場景，促進了圖像去霧算法的進一步發展，希望圖像去霧算法能在更多的領域得到應用。

[1] 李彥冬. 基于卷積神經網絡的計算機視覺關鍵技術研究[D]. 成都: 電子科技大學, 2017. LI Y D. Convolutional neural network based research on image understanding[D]. Chendu: University of Electronic Science and Technology, 2017 (in Chinese).

[2] 雷飛, 朱林, 王雪麗. 改進多尺度Retinex色彩灰度的水下彩色圖像研究[J]. 小型微型計算機系統, 2018, 39(1): 185-188. LEI F, ZHU L, WANG X L, Improved multi scale retinex enhancement technology on color underwater image[J]. Journal of Chinese Computer Systems, 2018, 39(1): 185-188 (in Chinese).

[3] KUMAR R, KAUSHIK B K, BALASUBRAMANIAN R. Multispectral transmission map fusion method and architecture for image dehazing[J]. IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 2019, 27(11): 2693-2697.

[4] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341-2353.

[5] CAI B L, XU X M, JIA K, et al. Dehazenet: an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.

[6] 王浩, 張葉, 沈宏海, 等. 圖像增強算法綜述[J]. 中國光學, 2017, 10(4): 438-448. WANG H, ZHANG Y, SHEN H H, et al. Review of image enhancement algorithms[J]. Chinese Optics. 2017, 10(4): 438-448 (in Chinese).

[7] NANDI D, SARKAR M, SARKAR P R, et al. Empirical wavelet transform-based fog removal via dark channel prior[J]. IET Image Processing, 2020, 14(6): 1170-1179.

[8] ZHOU J C, ZHANG D H, ZOU P Y, et al. Retinex-based laplacian pyramid method for image defogging[J]. IEEE Access, 2019, 7: 122459-122472.

[9] ZHANG W D, DONG L L, PAN X P, et al. Single image defogging based on multi-channel convolutional MSRCR[J]. IEEE Access, 2019, 7(1): 72492-72504.

[10] KANSAL I, KASANA S S. Fusion-based image de-fogging using dual tree complex wavelet transform[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(6): 1850054.

[11] WU H T, LAN J H. A novel fog-degraded image restoration model of golden scale extraction in color space[J]. Arabian Journal for Science and Engineering, 2018, 43(12): 6801-6821.

[12] FU F, LIU F. Wavelet-based Retinex algorithm for unmanned aerial vehicle image defogging[C]//2015 8th International Symposium on Computational Intelligence and Design (ISCID). New York: IEEE Press, 2015: 426-430.

[13] 李春明, 姜雨彤, 宋海平, 等. 基于光學厚度代理模型的霧濃度估計及圖像去霧[J]. 兵工學報, 2019, 40(7): 1425-1433. LI C M, JIANG Y T, SONG H P, et al. Research on optical depth surrogate model-based method for estimating fog density and removing fog effect from images[J]. Acta Armamentarii, 2019, 40(7): 1425-1433 (in Chinese).

[14] GUO F, LAN G H, XIAO X M, et al. Parameter selection of image fog removal using artificial fish swarm algorithm[C]//14th International Conference on Intelligent Computing. Heidelberg: Springer, 2018: 25-37.

[15] ZHANG W B, HOU X R. Light source point cluster selection-based atmospheric light estimation[J]. Multimedia Tools and Applications, 2018, 77(3): 2947-2958.

[16] QU C, BI D Y. Novel Defogging algorithm based on the joint use of saturation and color attenuation prior[J]. IEICE Transactions on Information and Systems, 2018, 101(5): 1421-1429.

[17] SHIAU Y H, KUO Y T, CHEN P Y, et al. VLSI design of an efficient flicker-free video defogging method for real-time applications[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 29(1): 238-251.

[18] DU H C. Research on image de-disturbing algorithm based on dark channel prior and anisotropic Gaussian filtering[J]. Concurrency and Computation: Practice and Experience, 2018, 30(24): 1-12.

[19] KOLEY S, SADHU A, ROY H, et al. Single image visibility restoration using dark channel prior and fuzzy logic[C]//2018 2nd International Conference on Electronics, Materials Engineering & Nano-Technology. New York: IEEE Press, 2018: 1-7.

[20] MA R Q, ZHANG S J. Color image defogging in dark channel prior based image local features[C]//2018 International Conference on Computer, Communication and Network Technology. Lancaster: DEStech Publications, 2018: 432-436.

[21] ZHU W W, YANG L, ZANG X X. Application of dark channel prior principle to licensed plate detection in foggy weather[C]//2018 IEEE 3rd Advanced Information Technology, Electronic and Automation Control Conference. New York: IEEE Press, 2018: 2591-2595.

[22] SINGH D, KUMAR V. Defogging of road images using gain coefficient-based trilateral filter[J]. Journal of Electronic Imaging, 2018, 27(1): 189-202.

[23] LI B, ZHAO J J, FU H. DLT-Net: deep learning transmittance network for single image haze removal[J]. Signal, Image and Video Processing, 2020, 14: 1245-1253.

[24] REN W Q, LIU S，PAN J S, et al. Single image dehazing via multi-scale convolutional neural networks with holistic edges[C]//14th European Conference on Computer Vision. Heidelberg: Springer, 2016: 154-169.

[25] REN W Q, ZHANG J G, XU X Y, et al. Deep video dehazing with semantic segmentation[J]. IEEE Transactions on Image Processing, 2018, 28(4): 1895-1908.

[26] LIU Y, PAN J, REN J, et al. Learning deep priors for image dehazing[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 2492-2500.

[27] JIANG X P, SUN J, LI C H, et al. Video image defogging recognition based on recurrent neural network[J]. IEEE Transactions on Industrial Informatics, 2018, 14(7): 3281-3288.

[28] SHI Y H, JIANG X H. Deep quality assessment toward defogged aerial images[J]. Signal Processing: Image Communication, 2020, 83: 115808.

[29] QIAN W, ZHOU C, ZHANG D Y. FAOD-Net: a fast AOD-net for dehazing single image[EB/OL].[2020-04-10]. https://www.hindawi.com/journals/mpe/2020/4945214/.

[30] LIU W, YAO R G, QIU G P. A physics based generative adversarial network for single image defogging[J]. Image and Vision Computing, 2019, 92: 103815.

[31] SANTRA S, MONDAL R, CHANDA B. Learning a patch quality comparator for single image dehazing[J]. IEEE Transactions on Image Processing, 2018, 27(9): 4598-4607.

[32] 劉玉紅, 顏紅梅. 基于Retinex理論的眼底彩色圖像增強算法[J]. 中國生物醫學工程學報, 2018, 37(3): 257-265. LIU Y H, YAN H M. The color fundus image enhancement algorithm based on retinex theory[J]. Chinese Journal of Biomedical Engineering, 2018, 37(3): 257-265 (in Chinese).

[33] JOBSON D J, RAHMAN Z, WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image processing, 1997, 6(7): 965-976.

[34] 洪明堅. 圖像增強的自適應直方圖修正算法研究及其應用[D]. 重慶: 重慶大學, 2002. HONG M J. Study on the adaptive histogram modification for image enhancement[D]. Chongqing: Chongqin University, 2002 (in Chinese).

[35] KIM Y T. Contrast enhancement using brightness preserving bi-histogram equalization[J]. IEEE transactions on Consumer Electronics, 1997, 43(1): 1-8.

[36] REZA A M. Realization of the contrast limited adaptive histogram equalization (CLAHE) for real-time image enhancement[J]. Journal of VLSI Signal Processing Systems for Signal, Image and Video Technology, 2004, 38(1): 35-44.

[37] MEYLAN L, SUSSTRUNK S. High dynamic range image rendering with a retinex-based adaptive filter[J]. IEEE Transactions on image processing, 2006, 15(9): 2820-2830.

[38] 高原原, 胡海苗. 基于多子塊協同單尺度Retinex的濃霧圖像增強[J]. 北京航空航天大學學報, 2019, 45(5): 944-951. GAO Y Y, HU H M. Foggy image enhancement based on multi-block coordinated single-scale Retinex[J]. Journal of Beijing University of Aeronautics and Astronautics, 2019, 45(5): 944-951 (in Chinese).

[39] 周雪智. 圖像增強算法研究及其在圖像去霧中的應用[D]. 長沙: 湖南師范大學, 2015. ZHOU X Z. Image enhancement algorithm research and its application to images defoggying[D]. Changsha: Hunan Normal University, 2015 (in Chinese).

[40] RAIKWAR S C, TAPASWI S. Adaptive dehazing control factor based fast single image dehazing[J]. Multimedia Tools and Applications, 2020, 79(1-2): 891-918.

[41] HU H M, GUO Q, ZHENG J, et al. Single image defogging based on illumination decomposition for visual maritime surveillance[J]. IEEE Transactions on Image Processing, 2019, 28(6): 2882-2897.

[42] WANG F P, WANG W X. Road extraction using modified dark channel prior and neighborhood FCM in foggy aerial images[J]. Multimedia Tools and Applications, 2019, 78(1): 947-964.

[43] ZHU Q S, MAI J M, SHAO L. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3522-3533.

[44] KIM J H, JANG W D, SIM J Y, et al. Optimized contrast enhancement for real-time image and video dehazing[J]. Journal of Visual Communication and Image Representation, 2013, 24(3): 410-425.

[45] XIAO J S, ZHU L, ZHANG Y Q, et al. Scene-aware image dehazing based on sky-segmented dark channel prior[J]. IET Image Processing, 2017, 11(12): 1163-1171.

[46] 趙錦威, 沈逸云, 劉春曉, 等. 暗通道先驗圖像去霧的大氣光校驗和光暈消除[J]. 中國圖象圖形學報, 2016, 21(9): 1221-1228. ZHAO J W, SHEN Y Y, LIU C X, et al. Dark channel prior-based image dehazing with atmospheric light validation and halo elimination[J]. Journal of Image and Graphics, 2016, 21(9): 1221-1228 (in Chinese).

[47] 楊愛萍, 白煌煌. 基于Retinex理論和暗通道先驗的夜間圖像去霧算法[J]. 激光與光電子學進展, 2017, 54(4): 147-153. YANG A P, BAI H H. Nighttime image defogging based on the theory of retinex and dark channel prior[J]. Laser & Optoelectronics Progress, 2017, 54(4): 147-153 (in Chinese).

[48] CAI B L, XU X M, JIA K, et al. Dehazenet: an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.

[49] YUAN K L, WEI J G, LU W H, et al. Single image dehazing via NIN-DehazeNet[J]. IEEE Access, 2019, 7: 181348-181356.

[50] SALAZAR-COLORES S, CRUZ-ACEVES I, RAMOS-ARREGUIN J M. Single image dehazing using a multilayer perceptron[J]. Journal of Electronic Imaging, 2018, 27(4): 043022.

[51] GOODFELLOW I, WARDE-FARLEY D, MIRZA M, et al. Maxout networks[C]//2013 International Conference on Machine Learning. New York: IEEE Press，2013: 1319-1327.

[52] LI B Y, PENG X L, WANG Z Y, et al. An all-in-one network for dehazing and beyond[EB/OL].[2020-03-10]. https://arxiv.org/abs/1707.06543.

[53] CHEN D, HE M, FAN Q, et al. Gated context aggregation network for image dehazing and deraining[C]//2019 IEEE Winter Conference on Applications of Computer Vision. New York: IEEE Press, 2019: 1375-1383.

[54] ZHANG H, PATEL V M. Density-aware single image de-raining using a multi-stream dense network[C]// Proceedings of the 2018 IEEE conference on computer vision and pattern recognition. New York: IEEE Press, 2018: 695-704.

Review and analysis of image defogging algorithm

WANG Dao-lei, ZHANG Tian-yu

(College of Energy and Mechanical Engineering, Shanghai University of Electric Power, Shanghai 200090, China)

Image defogging is an image preprocessing method for man-machine recognition by analyzing and preprocessing the image with fog, meeting the application requirements under specific conditions. The influence of haze could incur lost details and low contrast for the image taken in foggy conditions, which would impact the subsequent analysis and recognition of the image. The past research on image defogging algorithms was summarized, such as image enhancement, image restoration, convolution neural network, and the improved algorithms, some of which were tested, evaluated, and analyzed in terms of advantages and disadvantages. Explorations were made on the future development, and suggestions were propounded for the difficult and easy parts of the algorithm, thus boosting the further development of the image defogging algorithms.

image enhancement; image defogging; image processing; convolutional neural network

TP 317.4

10.11996/JG.j.2095-302X.2020060861

A

2095-302X(2020)06-0861-10

2020-06-19；

2020-07-24

19 June，2020；

24 July，2020

國家自然科學基金項目(61502297)

National Natural Science Foundation of China (61502297)

王道累(1981-)，男，上海人，副教授，博士。主要研究方向為計算機視覺、圖像處理、CAD/CAM。E-mail：alfredwdl@shiep.edu.cn

WANG Dao-lei (1981-), male, associate professor, Ph.D. His main research interests cover computer vision, image processing, CAD/CAM. E-mail：alfredwdl@shiep.edu.cn