張楠楠,李志偉,郭新軍,肖新杰,阮 昊
(1.上海工程技術大學 電子電氣工程學院,上海 201620;2.中國科學院 上海光學精密機械研究所,上海 201800)
空氣中的懸浮粒子使大氣光發生散射現象,導致在該環境下采集的圖像質量嚴重退化,從而對依賴于清晰圖像的計算機視覺任務產生嚴重的影響[1-4]。因此,對在惡劣條件下獲得的退化圖像進行修復,并改善圖像的質量,具有十分重要的意義。目前,圖像去霧的相關研究取得了較大進展。
傳統的去霧方法[5-11]中,較為典型的圖像增強方法包括基于Retinex理論的方法[5]和基于直方圖均衡化[6]的方法等,這類方法未考慮在惡劣條件下圖像的成像原理,導致獲得的去霧結果中存在過度增強和色彩失真等一系列現象。He等[7-8]利用先驗推算出物理型中的未知參數,進而求得無霧圖像,由于在去霧的過程中先驗具有不確定的未知因素,導致去霧結果中容易存在過飽和、偏暗、色彩失真和光暈等現象。Berman等[9]假設霧線由無數種顏色簇組成并提出一種非局部先驗的去霧算法,但仍存在色彩失真的問題。這些基于大氣散射模型的傳統去霧方法取得了長足的發展,但基于此方法得到的去霧結果中存在色彩失真和色調偏暗的問題,這是由于引入的先驗知識具有不適用性,導致圖像去霧過程中放大了噪聲。
近年來,深度學習被研究者廣泛應用于計算機視覺任務。如被應用于基于深度學習的去霧方法[12-16],在這類去霧方法中,Li等[12]和Cai等[13]使用深度學習的方法直接估算大氣散射模型中的未知參數,以用于求解無霧圖像,這類方法的去霧結果存在細節丟失和色彩失真。與這兩種方法不同的是,Qu等[14]的去霧方法不需要估算大氣散射模型中的未知參數,而是直接采取有霧圖像到無霧圖像轉換的策略,避免了因估算的未知參數不準確所帶來的負面影響,即使如此,其去霧結果中仍存在色彩失真和色調偏暗的問題。基于深度學習的去霧方法在去霧效果上優于傳統的去霧方法,但深度學習的去霧方法也存在不足,其在學習的過程中,由于數據集中所包含的特征信息與真實世界霧霾圖像中的特征信息有所差異,導致從數據集中學習到的特征信息與真實世界中的霧霾圖像不完全符合,造成對霧霾圖像的去霧結果中存在霧殘留、色彩失真和色調偏暗等問題。
綜上所述,傳統的去霧方法和基于深度學習的去霧方法能夠在一定程度上實現霧霾圖像去霧,但去霧結果中存在色調偏暗、色彩失真和光暈等問題。此外,這些方法僅能用于圖像去霧,而不能實現水下圖像修復和夜間圖像增強。Dong等[17]指出低照度圖像的表征圖像和直方圖表征,與霧霾圖像具有很高的相似度。因此可以尋找出一種適用性較強的圖像修復方法。
針對對比度下降、色調偏暗和色彩失真等問題,本文提出一種使用改進型大氣散射模型的雙階段圖像修復方法。實驗結果可證明,所提出的方法具有很好的適用性,既可有效實現霧霾圖像去霧,又能實現水下圖像修復和夜間圖像增強。所提出的方法不僅避免了最終的修復結果中存在色彩失真和色調偏暗的問題,而且在定量和定性實驗上都取得了優異的結果。
目前被廣泛應用于描述圖像退化的大氣散射模型[18-20],其數學表達式為:

其中:x為像素點位置,c為通道索引且c∈{R,G,B},Ic(x)為退化后的圖像,Jc(x)為清晰圖像,Ac為全局大氣光值,t(x)為透射率。在式(1)表示的大氣散射模型中,等號右邊的第一項稱為直接衰減項,其描述了場景目標的反射光在傳播介質中的衰減過程;等號右邊的第二項稱為大氣光項,其描述了大氣光經過空氣中懸浮顆粒的散射,會導致圖像發生色彩失真。通過分析式(1)可知,Ic(x)是輸入的已知圖像,為了反推出清晰圖像Jc(x),只需求出Ac和t(x)即可實現退化圖像的修復。其中,透射率t(x)在均勻介質中可表示為:

其中:β為大氣散射系數,d(x)為場景深度。進一步,式(1)可表示為:

其中:ρ(x)為場景反照率,其中Acρ(x)=Jc(x)。
水 下 光 學 成 像 模 型 由McGlamery[21]和Jaffe[22]正式提出。在Jaffe-McGlamery模型中,水下光學成像模型由三個分量組成:直接透射、背景透射和前向透射,其數學形式可以表示為:

其中:x為像素點位置,c∈{R,G,B}為通道索引,Fc(x)為水下清晰圖像,t1(x)為透射率,B為水下背景光,*為卷積算子,g(x)為點擴展函數。為避免通過估計點擴展函數來求解反卷積的數學不適定問題,研究者通常假設水下場景足夠靠近相機,并忽略前項散射的影響[23],因此式(4)可簡單的表示為:

此時,可以發現式(5)和式(1)的大氣散射模型表達形式相同,在文獻[23]中也提到水下光學成像模型類似于大氣散射模型。基于水下光學成像模型的水下圖像修復方法,亦需要通過強有力的假設或先驗來估計水下光學成像模型的兩個未知參數:透射率t1(x)和水下背景光B。在文獻[17]中提到低照度圖像的表征圖像和直方圖表征,與霧霾圖像具有很高的相似度,又因為水下退化圖像和夜間模糊圖像都屬于低照度圖像,使得設計出一種適用性較強的圖像修復方法成為了可能。本文對大氣散射模型進行改進,并使用該改進型大氣散射模型設計了一種雙階段圖像修復方法。
基于傳統大氣散射模型的傳統修復方法一般是通過引入先驗知識求解該模型中的兩個未知參數:透射率和全局大氣光值,這些方法得到的結果普遍存在對比度下降、色調偏暗以及色彩失真等問題。根本原因是雖然傳統大氣散射模型中入射的大氣光是個常數,但大氣光對不同的場景具有不同的照明效果,因為不同場景中的物體具有不同的紋理密度,而光又可以在紋理中被吸收,光吸收率會隨紋理密度而發生變化,造成場景色調或明或暗和對比度下降。在文獻[24]中,通過在石墨烯上引入無序的納米紋理來實現光捕獲,這在微觀水平上增加了光吸收率。同樣地,在宏觀視圖中,亦是紋理密度越高光吸收率越大。由文獻[25]可知,退化圖像中的場景深度越小,紋理密度越豐富,其光吸收率越大,由于基于傳統大氣散射模型的修復方法沒有對傳統的大氣散射模型進行改進以避免場景中物體紋理密度對光吸收的負面影響,導致得到的修復結果對比度低且整體色調偏暗,尤其是場景深度小的區域色調最暗。傳統大氣散射模型的第二項稱為大氣光項,描述了空氣中懸浮的粒子會對周圍的環境光進行散射造成色彩失真,且色彩失真程度與場景深度相關[26]。因此,為解決對比度下降、色調偏暗以及色彩失真等負面問題,本文首先改進傳統的大氣散射模型,在傳統大氣散射模型中引入一個全局補償系數u(x)來削弱場景中物體的紋理密度對光吸收率的影響以及空氣中懸浮的粒子會對周圍的環境光進行散射造成色彩失真的影響。改進后的大氣散射模型可以用數學形式表示為:

根據文獻[26]可知,場景深度的變化會對修復結果產生不同程度的影響。場景深度越大修復結果中越容易存在色彩失真以及色調偏暗等問題,為避免這種影響,根據實驗經驗,引入一個小于1的全局補償系數u(x),其數學表達形式為:

通過聯立式(2)、(6)和(7)可得到本文所提出的改進型大氣散射模型的數學表達為:

該改進型模型是基于傳統大氣散射模型進行改進的,因此根據文獻[23]可知,該改進型大氣散射模型同樣與水下光學成像模型極為相似。根據文獻[17]可知,水下圖像和夜間圖像的表征圖像及直方圖表征與霧霾圖像具有很高的相似度,所以該改進型大氣散射模型亦可用于水下圖像和夜間圖像的修復。因此,可提出一種適用性較好的圖像修復方法,通過大量實驗證明,其既可應用于霧霾天氣又可應用于水下,甚至黑夜,同時可以避免修復結果中存在對比度下降、色調偏暗和色彩失真等問題。
前面的工作已經得到改進型大氣散射模型如式(8)所示。進一步分析式(8)可知:Ic(x)是已知的退化圖像,Ac則可以通過四叉樹法[27]求得,根據文獻[28]ρ(x)近似取值為0.5。此時,公式(8)中還存在兩個未知參數t(x)和tmin。不難發現,式(8)中存在對數函數,為了簡化對t(x)和tmin的求解,根據文獻[28]對其進行擬合分析得到:

其 中:z1=-0.397,z2=0.07747時,對 數 函 數與有理函數的擬合程度最好。通過聯立式(8)和(9)可得到簡化后的數學表示形式為:

在式(10)中,若將tmin看作一個常數,則式(8)是一個關于t(x)的一元二次方程。因此,只需要求出tmin就可輕而易舉地求得透射率t(x)。為便于求解tmin,結合黃金分割法設計一個求取tmin的全局搜索方法(Global Search,GS,fGS),該方法可通過數學形式表示為:

其中:H和W表示圖像的尺寸大小,Ndark(x)=且Ω(x)是以像素點x為中心的局部塊。tmin通過該方法求得后,便可求得透射率t(x),為使圖像過度的比較平滑同時保持圖像的邊緣信息,受文獻[29]和[30]啟發,本文使用引導濾波[8]進一步細化透射率并得到最終的透射率t(x)。
通過聯立式(3)、(8)和(9)可得到清晰圖像Jc(x)的數學表達形式為:

在前面的描述中,式中未知量Ac,ρ(x),t(x)和tmin均可被求出,由此,在使用改進型大氣散射模型的雙階段圖像修復中,利用式(12)便可得到修復后的清晰圖像Jc(x)。所提出的使用改進型大氣散射模型的雙階段圖像修復流程圖如圖1所示,圖像修復具體包含兩個階段。

圖1 雙階段圖像修復流程圖Fig.1 Flowchart of two-stage image restoration
首先,需要輸入一張退化圖像,然后利用式(12)求得粗略的清晰圖像,因為在前面的處理中,為方便求取全局大氣光值和透射率,根據前人的經驗,反照率取值為0.5,但該取值并不適用于所有的場景,導致在部分場景下的修復結果會發生色彩失真。為了保證使用改進型大氣散射模型的雙階段修復方法具有較強的適用性,既能處理霧霾圖像,又能處理水下圖像和夜間圖像,利用灰度世界算法,求出一個較為合理的反照率,本文只需要根據灰度世界算法,便可求出該粗略的清晰圖像的反照率。根據灰度世界算法[31]可知,我們需要先求出每個通道的平均值,然后求出每個通道的增益系數,并根據增益系數調整每個通道的分量,最后得到合理的反照率ρ(x)。由式(1)和式(3)可知Acρ(x)=Jc(x),那么粗略圖像對應反照率的數學形式為:

其中,c∈{R,G,B}為通道索引,那么粗略清晰圖像的平均反照率可以表示為


此時,可以得到粗略清晰圖像的合理反照率ρ(x)為:

因為灰度世界算法可以從圖像中消除環境光的影響,所以利用灰度世界算法求得的合理的反照率ρ(x)進一步為避免修復結果中存在色彩失真提供了保證,同時保證了所提出的改進型大氣散射模型的雙階段修復方法具有較強的適用性,既能處理霧霾圖像,又能處理水下圖像和夜間圖像。
其次,將求取的合理反照率ρ(x)代入式(3)、(6)、(8)和(9)中更新參數,并將求取的四個新參數代入到式(12)中,最后該粗略的清晰圖像可通過公式(12)得到最終的清晰圖像。
為驗證本文方法求取的合理反照率和傳統方法的不同,此處進行了對比。通過式(13)可求出各方法的反照率和標準的反照率,為公平起見,在求取反照率時,統一使用RESIDE[32]數據集提供的標準大氣光值Ac(x),同時為方便實驗結果對比,反照率取三個通道的平均值。為證明求取合理反照率的重要性,以及本文方法與傳統方法的不同,在RESIDE[32]數據集中隨機挑選3張退化圖像與傳統方法進行實驗對比,實驗結果如 圖2所 示。He等[7]方 法 采 用 的 暗 通 道 先 驗 知識不具有普遍適用性,并未對傳統的大氣散射模型進行改進,使得其反照率與標準反照率差別較大,導致得到的修復結果存在對比度下降、色彩失真和色調偏暗等問題(如圖2(b)所示)。Ju等[28]方法在圖像修復的過程中反照率取常數0.5,因為不同的場景具有不同的反照率,因此其將反照率取為0.5是不合適的,且與標準反照率差別較大,造成修復的結果存在色彩失真和場景過亮等問題(如圖2(c)和圖2(e)所示)。從圖2(d)和圖2(e)中可以看出,所提出方法得到的反照率與標準反照率最為接近,此時得到的峰值信噪比(Peak Signal to Noise Ratio,PSNR)和結構相似性(Structural Similarity,SSIM)值也是最高的,說明所提出的方法得到的修復結果質量最好。因此,可以得出結論:圖像修復時所求取的反照率與標準反照率越接近,得到的修復結果與標準清晰圖像就越接近,同時也證明,所提出的方法得到反照率較合理,修復結果也優于傳統的方法。
在后面的實驗中也發現,所提出的圖像修復方法確實具有很好的適用性,既能處理霧霾圖像,又能處理水下圖像和夜間圖像,并且避免了去霧結果中存在色彩失真和整體色調偏暗,使水下圖像修復的結果更符合人們眼睛看到的真實場景,而且夜間圖像增強后能夠呈現更多的細節信息并能實現更好的視覺效果。

圖2 在RESIDE數據集上不同算法的去霧結果Fig.2 Dehazing results of different algorithms on the RESIDE dataset
為證明所提出的圖像修復方法具有很好的適用性,并且能表現出優異的性能,分別在霧霾、水下和夜間環境下開展了的實驗。在霧霾圖像去 霧 的 實 驗 中,以DCP[7]、AOD-Net[12]、DehazeNet[13]、EPDN[14]和IDE[28]作為對比。使用的合成數據集是RESIDE[32]及其中的SOTS數據集,真實霧霾圖像數據集是O-HAZE[33]數據集和IHAZE[34]數據集。在水下圖像修復的實驗中,對比的四種方法包括DCP[7]、Fusion-based[35]、Retinex-based[36]和Red Channel[37],使 用 的 數 據 集 是UIEB[38]數據集。在夜間圖像增強的實驗中,使用的數據均來自于互聯網收集的圖像。實驗中采用PSNR和SSIM用于評價圖像修復質量的好壞,這兩個指標的數值越大,表明圖像修復的質量越好。以上實驗均在HP筆記本電腦上進行,電 腦 配 置 為:處 理 器Intel(R)Core(TM)i5-6300HQ CPU@2.30 GHz和8 G的RAM。
為驗證所提出方法的有效性,實驗中隨機從SOTS數據集選擇部分合成霧霾圖像,與當前典型的五種方法對比的實驗結果如圖3所示。He等[7]和Li等[12]的去霧方法雖然能夠實現霧霾圖像去霧,但這兩種方法的結果中存在圖像整體色調偏暗和對比度低的問題(如圖3(b)和(c)所示)。與上述兩種方法相比,即使Ju等[28]的方法避免了去霧圖像整體色調偏暗的問題,但其仍存在場景過亮和霧殘留的問題(如圖3(f)所示)。通過對比可發現,Cai等[13]的去霧方法得到的去霧結果普 遍 優 于He等[7]、Li等[12]和Qu等[14]的 方法,這得益于Cai等[13]的方法采取了基于深度學習的方法,但由于其學習到的霧霾圖像的特征信息與真實世界的霧霾圖像有所差異,導致去霧結果中存在霧殘留(如圖3(d)所示)。Qu等[14]的去霧方法得到的去霧結果中存在色彩失真和整體色調偏暗的問題(如圖3(e)所示)。通過與當前典型的五種去霧算法的對比實驗可證明,所提出的方法得到的去霧圖像不僅避免了圖像整體色調偏暗,也避免了色彩失真和霧殘留等負面影響(如圖3(g)所示)。
為清晰展示所提出方法的優越性,與當前典型的五種去霧算法對比的客觀評價指標如表1和表2所示,最優指標加粗顯示。其中表1展示了在圖3中使用不同去霧方法所得到的去霧圖像的性能指標,表2展示了在SOTS數據集上使用不同去霧方法所得到去霧圖像的性能指標的平均值。從表1可以看出,所提出的方法對SOTS數據集中隨機選擇的霧霾圖像去霧后,所取得的PSNR值和SSIM值均為最高的,圖3中的M1圖像所取得的PSNR值和SSIM值分別比排名第二的高10.044 1 dB和0.049,且本文算法在其他圖像上所取得的PSNR值和SSIM值也遠遠高于當前典型的五種去霧算法的去霧結果所取得的PSNR值和SSIM值。通過定量對比實驗可得出,所提出的方法對隨機選擇的霧霾圖像進行去霧仍具有優越性。

圖3 在SOTS數據集上不同算法的去霧結果Fig.3 Dehazing results of different algorithms on the SOTS dataset

表1 圖3相對應的各去霧算法去霧結果的性能指標Tab.1 Performance metrics of dehazing results of various dehazing algorithms corresponding to figure 3
從表2可清晰看出,與當前典型的五種去霧算法進行定量比較發現,所提出的方法在SOTS數據集上取得的PSNR平均值和SSIM平均值均為最高。值得一提的是,所提出的方法得到的PSNR平均值和SSIM平均值比排名第二的分別高出7.725 4 dB和0.066 6(見表2)。通過定性和定量的對比實驗可得出,所提出的方法得到的去霧圖像更接近標準清晰圖像,圖像修復的質量也是最好的,這驗證了所提出的方法對于合成霧霾圖像去霧的有效性。這些優勢歸因于所提出的改進型大氣散射模型,通過在傳統的大氣散射模型中引入一個全局補償系數,進而彌補了噪聲對圖像恢復帶來的負面影響。
為評估所提出的方法對真實霧霾圖像的去霧能力,在兩個真實世界數據集上進行實驗,這兩個數據集分別為O-HAZE[33]數據集和IHAZE[34]數據集。在實驗中,隨機在這兩個數據集中各選擇兩張圖像進行實驗,分別如圖4和圖5所示,并將所提出的方法與當前典型的五種方法的定性比較。其中,如圖4和5中的(b)、(c)、(d)和(e)所示,這四種方法得到的去霧結果與標準清晰圖像相比,即使在一定程度上實現了去霧,但都存在不足。這幾種方法普遍存在偏暗、色彩失真、霧殘留等問題。通過對比發現,Ju等[28]的去霧方法實現了去霧且避免了偏暗的問題,但由于其引入的光吸收系數存在缺陷,導致去霧結果中存在色彩失真且整體色調過亮(如圖4(f)和圖5(f)所示)。通過定性比較可知,本文所提出的方法與當前典型的五種去霧方法相比更優,所提出的方法不僅避免了去霧結果中存在的色彩失真和色調偏暗,而且與標準清晰圖像也是最相似的。

圖4 在O-HAZE數據集上不同算法的去霧結果Fig.4 Dehazing results of different algorithms on the O-HAZE dataset
為進一步清晰展示所提出的方法的優越性,與當前典型的五種去霧算法對比的客觀評價指標見表3和表4,其中最優指標加粗顯示。其中,表3是圖4中不同方法得到去霧結果的PSNR值和SSIM值。表4是使用I-HAZE[34]數據集,各個方法得到去霧結果的PSNR平均值和SSIM平均值。從表3和表4的定量對比可知,與當前典型的五種去霧算法進行定量比較,所提出的方法均取得了最高的PSNR值和SSIM值。其中,所提出的方法得到的PSNR值和SSIM值分別比排名第二的高0.800 8 dB、1.675 3 dB、0.218 7 dB和0.104 9、0.086 0、0.025 1(見表3和表4)。定性和定量實驗證明,所提出的方法對具有濃霧的真實霧霾圖像依然具有很好的去霧能力,避免了去霧結果的色彩失真和整體色調偏暗等問題。由此,從側面證明了所提出的方法具有很好的適用性。這些優勢得益于提出的改進型大氣散射模型避免了噪聲光帶來的負面影響;在圖像修復的第一階段,利用灰度世界算法求得的合理反照率為所提的方法具有很好的適用性提供了保障。

圖5 在I-HAZE數據集上不同算法的去霧結果Fig.5 Dehazing results of different algorithms on the I-HAZE dataset

表3 與圖4相對應的各去霧算法去霧結果的性能指標Tab.3 Performance metrics of dehazing results of various dehazing algorithms corresponding to Figure 4

表4 在I-HAZE數據集上不同去霧算法去霧結果的性能指標均值Tab.4 Average performance metrics of dehazing results with different dehazing algorithms on the I-HAZE dataset
為進一步驗證所提出的方法具有很強的適用性,在水下數據集UIEB[38]上進行實驗,實驗結果如圖6所示。He等[7]的方法適用性不強,水下圖像修復結果普遍偏暗且發生色彩失真(如圖6(b)所示);同樣,Fu等[36]的方法亦發生嚴重的色彩失真(如圖6(d)所示)。對比分析可知,Galdran等[37]的方法取得不錯的修復結果,但其整體清晰度下降(如圖6(e)所示),Ancuti等[35]的方法取得較好的視覺效果,但其圖像細節過渡的不夠平滑(如圖6(c)所示)。通過定性對比實驗可知,本文所提出的方法得到最好的視覺效果,且避免修復結果中出現色彩失真和細節丟失,同時可以發現所提出的方法得到的修復結果圖6(f)與標準清晰圖像圖6(g)最為接近。
為更深入地證明本文所提出的方法具有很好的適用性并展示算法的優越性,與當前典型的四種水下圖像修復方法對比的客觀評價指標見表5,其中最優指標加粗表示。所提出的方法和其他四種水下圖像修復方法的結果進行定量比較發現,所提出方法的PSNR值和SSIM值均是最高的,這說明所提出的方法相比于其他四種水下圖像修復方法更加優越。同時,也進一步驗證了所提出的方法具有很強的適用性。這得益于所得到的改進型大氣散射模型和水下光學成像模型具有高的相似性,使得所提出的使用改進型大氣散射模型的雙階段圖像修復方法具有很好的適用性,既能實現圖像去霧,又能實現水下圖像修復。

圖6 在UIEB數據集上不同算法的水下圖像修復結果Fig.6 Underwater image restoration results of different algorithms on the UIEB dataset

表5 在UIEB數據集上不同水下圖像修復算法修復圖像的性能指標均值Tab.5 Average performance metrics of images restored by different underwater image restoration algorithms on the UIEB dataset
通過大量實驗發現,所提出的方法不僅能實現霧霾圖像去霧,也能實現水下圖像修復,并且均能得到優異的性能指標和不錯的視覺效果。根據文獻[17]可知,低照度圖像的表征圖像及直方圖表征與霧霾圖像具有很高的相似度,所以該改進型大氣散射模型亦可用于夜間圖像的修復。實驗發現,所提出的方法確實可用于夜間圖像增強,實驗結果如圖7所示。其中,圖7中第一行是夜間圖像,第二行是使用所提出的方法對夜間圖像增強后的結果。經定性對比實驗可發現,增強后的圖像更清晰、對比度高,無色彩失真、展現出圖像更多的細節。由此,更進一步證明所提出的 方法的確有很強的適用性。
針對傳統的去霧方法和基于深度學習的去霧方法存在色彩失真、對比度下降和色調偏暗以及這些方法的適用性有限等問題,提出一種適用性強的圖像修復方法——使用改進型大氣散射模型的雙階段圖像修復。通過引入一個全局補償系數來彌補噪聲光所帶來的負面影響得到一個改進型大氣散射模型,該模型避免了圖像修復結果中存在的色彩失真和色調偏暗等問題。這得益于改進型大氣散射模型和求取的合理反照率,使得所提出的使用改進型大氣散射模型的雙階段圖像修復方法具有很強的適用性。通過大量實驗結果可證明,所提出的方法確實具有很好的適用性,既能有效實現霧霾圖像去霧,又能實現水下圖像的修復以及夜間圖像增強,并且避免了最終的圖像修復結果中存在色彩失真和偏暗等問題。不僅如此,所提出的方法在定量和定性實驗上均取得了優異的結果。