圖像去霧方法質量評價

韓昊男，錢 鋒，呂建威，張 葆*

（1.中國科學院 長春光學精密機械與物理研究所，吉林 長春130033；2.中國科學院大學，北京100049）

1 引 言

近年來，由于大氣污染，霧天出現頻繁，戶外成像系統會無法避免地受到霧的限制［1］，導致獲取到的圖像出現可視性差，顏色偏移［2］等現象，這將嚴重影響到圖像的可視性和適用性［3-4］。為了在霧天能獲取到令人滿意的圖像，從而進一步處理圖像信息，研究人員提出了很多圖像去霧算法。因此，如何對去霧后的圖像質量進行評價，以便指導算法擇優或是進一步迭代改進，成為一個重要的問題，具有非常重要的應用價值。

圖像去霧算法質量評價一般有兩種策略［5-6］，一種是對于真實有霧圖像進行無參考質量評價，另一種是對于合成有霧圖像進行全參考質量評價，兩種策略途徑如圖1所示。經對比可知，無參考質量評價不需要額外的參考圖像，是一種比較理想的評價方式，如圖1右側所示。但由于圖像去霧是一個比較復雜的過程，在去除霧的同時還會導致其它的圖像變化，例如偽輪廓、顏色畸變等等。因此，使用無參考質量評價來評估圖像去霧算法并不可靠。

一些研究人員使用無霧圖像人工合成有霧圖像，將去霧圖像作為測試圖，并將無霧圖像作為參考圖來進行全參考質量評價，如圖1左側所示。許多文獻都遵循這種策略，并利用一些基礎的全參考圖像質量評價方法如峰值信噪比（PSNR）［7］和 結 構 相似性（SSIM）［8］進行 評 估。由于提供了參考無霧圖像，因此比較容易進行全參考質量評價，這種策略也越來越被廣泛接受。

圖1 去霧算法質量評價策略Fig.1 Strategies for dehazing algorithms quality assessment

然而，針對去霧方法的質量評價與傳統的全參考質量評價有所不同。去霧算法的本質是對圖像的增強和復原，對圖像的質量有顯著的提升。對于某些圖像而言，去霧后圖像可能會比參考圖像具有更好的圖像質量。但傳統的全參考質量評價的本質是度量待測圖像與參考圖像之間的相似性，因此針對測試圖像質量更高這種正偏移情況是無效的。如圖2所示，去霧圖像和參考無霧圖像之間有明顯差異，但去霧圖像質量不低于無霧圖像。

圖2 去霧后圖像可能與無霧圖像相似度量不穩定Fig.2 Dehazed image may have an unstable similarity metric to the haze-free image

為了解決上述的問題，本文提出了一種由圖像可視性、結構相似性和顏色恢復度共同組成的一種去霧方法質量評價。圖像可視性是用來衡量去霧前后圖像的清晰度變化。由于去霧算法在去霧過程中可能會產生一些不良的“人工效應”，例如偽輪廓和顏色偏移等現象，所以加入了結構相似性和顏色恢復度這兩項，這三部分共同組成了去霧方法質量評價。最后在合成圖像數據集中驗證了所提出的去霧方法質量評價的有效性。

2 相關工作

2.1 大氣散射模型

在計算機視覺領域中，一般通過大氣散射模型［9-11］來描述有霧圖像的形成：

其中：x是像素坐標，I(x)是有霧圖像，J(x)是無霧圖像，A是全局大氣光。在均勻的大氣條件下，透射率t(x)可以表示為：

其中：β是大氣散射系數；d(x)表示場景到成像系統的距離，即景深；直接衰減項J(x)t(x)描述了從場景反射光經過傳輸過程中由大氣散射作用產生的直接衰減；大氣光成像項A(1-t(x))描述了周圍大氣光經過大氣散射作用參與到成像的過程。

2.2 去霧算法

近年來很多去霧算法已經被提出。Fattal等［12］提出了一種基于物體表面陰影和透射率不相關假設來估計透射率和大氣光的方法。Tarel等［13］提出一種基于中值濾波的方法來恢復得到去霧圖像。He等［14］通過統計觀察發現暗通道理論。暗通道先驗已經取得了顯著的去霧效果，后續科研人員提出了許多基于暗通道先驗的去霧算法。Nishino等［15］利用貝葉斯概率的方法估計出場景反射率和景深，根據物理模型得到去霧圖像。Zhu等［16］通過統計觀察發現景深和亮度、飽和度之間存在線性關系，提出了顏色衰減先驗。Berman等［17］通過實驗發現無霧圖像在RGB空間中會聚類成簇，而在有霧圖像中會聚類成“霧線”，提出了非局部先驗。Cai等［18］、Ren等［19］和Li等［20］將圖像相關特征與神經網絡相結合來進行去霧。

2.3 圖像質量評價

在第一節中已經對去霧方法質量評價所采用的策略進行了概述，接下來簡要介紹幾種主流的全參考圖像質量評價指標。均方誤差（MSE）和PSNR［7］是圖像處理領域應用最廣泛的性能指標，簡單易用速度快，但與人類感知相關性較差。Wang等［8］認為人類視覺感知能自適應從視覺中提取結構信息，因此利用亮度、對比度和結構信息提出了SSIM。在Wang等［21］的后續工作中，在SSIM中引入了多尺度，提出了MS-SSIM。Zhang等［22］認為人類視覺系統主要基于圖像的低級特征來理解圖像，并結合相位一致性、梯度特征和色度特征提出了FSIM。后來他們用顯著圖替換了相位一致性特征，提出了一個視覺顯著性指標VSI［23］。Liu等［24］認為梯度保護重要的視覺信息，提出了梯度相似性（GSM）。Xue等［25］發現梯度圖對圖像失真敏感，失真圖像不同結構的質量下降程度不同，他們用標準差來代替均值，提出了梯度相似性偏差（GMSD）。Nafchi等［26］結合梯度相似性、顏色相似性和偏差池化提出了平均偏差相似指標（MDSI）來評價圖像質量。Yang等［27］利用對比敏感度函數來分配不同頻段的權重，充分利用了單演信號理論和Log-Gabor濾波器，同時引入了梯度相似性，提出了一個基于里斯變換和視覺對比敏感度的特征相似性指標（RVSIM）。Layek等［28］考慮到人類視覺系統的中心偏差，提出了一種結合視覺顯著性和對比度的全參考圖像質量指標CEQI。Shi等［29］通過兩個色貌指標構建了視覺顯著性，并結合梯度相似性和色度相似性，提出了一個全參考圖像質量評價指標VCGS。盡管已經提出了許多圖像質量評價方法，但正如第一節所言，去霧方法質量評價和圖像質量評價不同，圖像質量評價的結果可能與人類主觀視覺感受并不一致，為了解決該問題，本文提出了一種可靠有效的去霧方法質量評價。

3 圖像去霧方法質量評價

首先對去霧后可能引入的一些圖像質量問題進行分析。圖3對幾種去霧后圖像出現的典型質量問題進行了分類，包括圖像可視性差、偽輪廓導致的結構破壞和顏色偏移。針對去霧后可能的這三類典型質量問題，通過圖像可視性、結構相似性和顏色恢復度進行評價。

圖3 幾種典型的圖像去霧質量問題（上圖是有霧圖像，下圖是去霧圖像）Fig.3 Several typical image dehazing quality problems（the above figures are hazy images，the following figures are dehazed images）

3.1 圖像可視性

去霧算法在對濃霧圖像進行去霧處理時，去霧后的圖像可視性較差。考慮到全參考一般圖像質量評價和全參考去霧算法質量評價之間的差異，提取了圖像清晰度相關特征，并對其進行了一些修改，提出了圖像可視性評價。

經過研究發現［30］，由于霧的存在會導致有霧圖像整體偏向灰白色，并且霧的濃度越高，圖像整體會越偏向灰白色，即有霧圖像的局部均值μ較大，而局部標準差σ較小，圖像清晰度較低。因此得到了圖像清晰度相關特征：其中：(i，j)是像素坐標，ε1是一個常數來避免不穩定性，ω是局部高斯權重函數，Y是亮度分量。

參考無霧圖像和去霧圖像的清晰度相關特征的相似性為：其中：ξr是參考無霧圖像的清晰度相關特征，ξd是去霧圖像的清晰度相關特征，ε2是一個常數來避免不穩定性。

如圖4所示，一些去霧算法對有霧圖像進行處理時會通過降低圖像亮度，提升圖像對比度來增強圖像。在這種情況下，會使得μr＞μd，σr＜σd，其中μr，μd和σr，σd分別是參考無霧圖像和去霧圖像的局部均值和標準差。雖然去霧圖像清晰度較高，但直接對比參考無霧圖像和去霧圖像清晰度相關特征，其相似性較低，將參考無霧圖像作為質量評價的絕對標準并不準確。因此通過修正去霧圖像的μd，σd來解決這個問題。

圖4 去霧后圖像清晰度較高情況下的相關特征圖Fig.4 Relevant feature maps in the case of high image clarity after dehazing

其中：μ'd和σ'd分別是去霧圖像修正后的局部均值和標準差，sm和sv分別是參考無霧圖像Jr與去霧后圖像Jd的均值相似性和方差相似性，ε3和ε4是常數來避免不穩定性。通過參考無霧圖像Jr和去霧后圖像Jd的均值相似性和方差相似性來對去霧后圖像的均值和方差進行自適應修正。當μr＞μd和σr＜σd時，修正后的局部均值μ'd和標準差σ'd與局部均值μr和標準差σr更接近。修正后的去霧圖像清晰度相關特征為：

則圖像可視性由參考無霧圖像和修正后的去霧圖像的清晰度相關特征的相似性來表示：

采用式（7）和式（8）對測試圖像質量更高的這種正偏移情況進行了修正，消除了圖像清晰度相關特征的相似性對正偏移情況的負向評價影響。由圖4所示，圖4（j）展示了使用修正后的清晰度相關特征對圖4（a）、圖4（b）的相似性評價結果，與修正前的結果圖4（i）相比可知，圖4（j）的殘差更小，表明對待測圖像質量正偏移的影響具有明顯的抑制作用。

3.2 結構相似性

圖像結構信息可以作為表征圖像質量變化的一項指標，所以在許多客觀評價方法中得到了應用。圖像梯度是通過計算像素強度差異得到的，能適當地描述局部結構的改變。圖像梯度已用于許多圖像評價中，例如梯度是FSIM［22］和GSM［24］等中的一個主要特征。因此，利用梯度信息來描述圖像結構的變化，采用Prewitt算子來提取圖像的垂直Gv和水平梯度Gh。圖像梯度大小計算為：

參考無霧圖像Gr和去霧后圖像Gd之間的梯度相似性為：

其中：Gr和Gd分別表示參考無霧圖像和去霧后圖像的梯度大小，ε5是一個常數來避免不穩定性。

然而，結構過度增強帶來的偽輪廓現象，如圖5所示，也是一種重要的失真。偽輪廓現象可以由梯度相似性來描述，但是其對于偽輪廓的描述能力較弱。對于人類視覺系統而言，雖然偽輪廓區域僅占圖像整體的較小部分，但偽輪廓現象比紋理區域過度增強的損害更大。因為偽輪廓會引入較大的方差變化，所以使用方差相似性來描述偽輪廓現象。

圖5 去霧圖像偽輪廓導致的結構破壞以及其相關特征圖Fig.5 Structural damage caused by pseudo contours of dehazed image and several relevant feature maps

圖5對比所示，梯度相似性sG更好地展示了紋理區域的圖像結構相似性，而方差相似性sv更好地展示了偽輪廓區域的結構相似性。因此，結構相似性由梯度相似性和方差相似性組成：

3.3 顏色恢復度

顏色信息也是圖像質量評價的重點之一［22］。由于去霧算法可能會導致色彩偏移，如圖6所示，因此須引入顏色恢復度評價。為降低顏色分量之間的相關性，將RGB圖像轉換到YIQ顏色空間：

Ir，Id和Qr，Qd是參考無霧圖像Jr和去霧后圖像Jd兩個色度分量。通過兩個色度分量來計算圖像的顏色恢復度：

其中：ε6是常數來避免不穩定性。如圖6所示，顏色恢復度c很好地展示了圖像的顏色偏移情況。

圖6 去霧圖像顏色偏移和顏色恢復度圖Fig.6 Dehazed image color shift and color recovery maps

3.4 去霧方法質量評價體系

最終的去霧方法質量評價體系A由圖像可視性f、結構相似性s和顏色恢復度c共同組成：

其中，歸一化因子N表示圖像像素總數。

4 仿真實驗

為了測試提出的去霧方法質量評價體系的有效性，首先構建了合成有霧圖像數據集，然后對合成有霧圖像數據集進行了主觀評價，最后利用合成有霧圖像數據集對幾種當前的全參考圖像質量評價進行對比實驗。

4.1 構建數據集

從RESIDE［5］，NYU 2［31］和Middlebury Stereo［32-33］中收集了100幅無霧圖像和相應的深度圖。利用大氣散射模型（1）式和（2）式來合成有霧圖像。接下來用8種當前的去霧算法對合成后的有霧圖像進行處理得到去霧圖像，這8種去霧算 法 分 別 是He［14］、Tarel［13］、Nishino［15］、Zhu［16］、Berman［17］、Cai［18］、Ren［19］、Li［20］，一 共 獲 得800幅去霧后的圖像。參考無霧圖像、合成有霧圖像和去霧圖像共同組成了合成圖像數據集。圖7展示了幾組參考無霧圖像與其對應的合成有霧圖像。

圖7 數據集中參考無霧圖像和對應的合成有霧圖像的示例Fig.7 Examples of reference haze-free images and corresponding synthesized hazy images in the dataset

4.2 性能比較

首先對合成圖像數據集進行主觀質量評價實驗。除了去霧圖像以外，還展示了有霧圖像和無霧圖像作為參考。由于好的去霧算法不僅僅要圖像清晰，并且還要保留原有圖像的信息。所以測試人員對圖像可視性和圖像信息保留程度進行衡量，對去霧圖像進行總體打分，得到平均意見得分（MOS）。

接下來將提出的去霧方法質量評價體系與11種主流的全參考圖像質量評價方法進行比較，包 括PSNR［7］，SSIM［8］，MS-SSIM［21］，FSIM［22］，

VSI［23］，GSM［24］，GMSD［25］，MDSI［26］，RVSIM［27］，CEQI［28］和VCGS［29］。這些 全 參 考圖像質量 評 價方法均使用原文中作者提供的參數和設置。

為了對圖像質量評價體系的質量評價能力進行量化，本文將使用國際視頻質量專家組（VQEG）［34］提出的以下三個指標——皮爾森線性相關系數（PLCC）、均方根誤差（RMSE）和斯皮爾曼等級相關系數（SRCC）——作為評估圖像質量評價的判斷依據，分別評估主、客觀評價之間的線性相關性、預測精度和等級相關性。

在計算PLCC和RMSE之前，首先需要對主觀評價值和客觀評價值之間進行非線性映射處理。使用在圖像質量評價領域普遍應用的五參數Logistic函數非線性映射客觀評價值r：其中：β1、β2、β3、β4和β5是通過非線性回歸處理得到的模型參數，從而最大化主觀評價值和客觀評價值之間的相關性。則皮爾森線性相關系數PLCC的定義如下：

其中：qi是非線性回歸后第i幅去霧圖像質量的客觀評價值，qˉ是全部qi的平均值，oi是第i幅去霧圖像質量的主觀評價值，oˉ是全部oi的平均值，M是去霧圖像的全部數量。PLCC值越大，表明該方法的線性相關性越好。

均方根誤差RMSE定義如下：

RMSE值越小，表明該方法的預測精度越高。

斯皮爾曼等級相關系數SRCC的定義如下：

其中，d i是第i幅去霧圖像主、客觀評價值等級的差值。SRCC值越大，表明該方法的等級相關性越好。

表1展現了全參考圖像質量評價的性能比較結果。本文提出方法的SRCC值為0.880 4、PLCC值為0.919 9、RMSE值為0.120 5，各項指標均優于其它的全參考圖像質量評價方法。表明提出的方法無論是等級相關性、線性相關性還是預測精度都表現出了最佳性能。這證實了先前的分析，即全參考去霧質量評價不等同于全參考圖像質量評價。

表1 全參考圖像質量評價方法在合成有霧圖像數據集上的性能比較Tab.1 Performance comparison with full reference image quality assessment methods on synthetic hazy image datasets

圖8展示了使用合成圖像數據集對典型的全參考圖像質量評價與主觀評價之間的一致性測試結果。由圖可知，相比于其它方法而言，本文方法的散點在擬合曲線附近更加聚集，表明提出的方法與主觀評價一致性更高，這與表1所示的測試結果相吻合。

圖8 提出的方法和典型的全參考圖像質量評價方法在合成有霧圖像數據集上的散點圖（不同形狀和顏色的散點代表不同的去霧算法，黑線是用五參數Logsitic函數擬合的曲線）Fig.8 Scatter plots of proposed method and the state-of-the-art full reference image quality assessment methods on synthetic hazy image datasets（different shapes and colors of the scatter points represent different dehazing algorithms，and the black line are the curve fitted with the five-parameter logistic function）

對于去霧圖像質量評價而言，如果有準確又可靠無參考質量評價是最理想的方法。但有研究［35］發現，目前，無參考圖像質量評價方法并不適用于評價去霧圖像。為了證實這一點，在合成圖像數據集上測試了一些主流的無參考質量評價方法，包括FADE［30］，盲評價［36］的三個指標e、r和σ，BIQME［37］，DHQI［38］，BRISQUE［39］，dip IQ［40］，MEON［41］，BPRI［42］和BMPRI［43］，并 在表2中展示了它們的性能。實驗結果表明，無參考圖像質量評價方法無法有效地對去霧圖像質量進行評價，這與文獻［35］中的研究結果一致。

表2 無參考圖像質量評價方法在合成有霧圖像數據集上的性能比較Tab.2 Performance comparison with no reference image quality assessment methods on synthetic hazy image datasets

分別獨立測試了去霧方法質量評價體系中的圖像可視性、結構相似性和顏色恢復度三個部分，在表3中展示了它們的性能表現。從實驗結果的SRCC、PLCC和RMSE這三個指標可以看出，無論是等級相關性、線性相關性還是預測精度，去霧方法質量評價均比圖像可視性、結構相似性和顏色恢復度更好。

表3 去霧方法質量評價體系中圖像可視性f、結構相似性s和顏色恢復度c的性能比較Tab.3 Performance comparison of image visibility f，structural similarity s and color recovery c in the dehazing method quality assessment system.

最后測試了所有全參考質量評價的運行時間，并在表1中展示了平均運行時間。這些算法在已裝有MATLAB R2017a的Intel Core i5-7400 CPU@3.0 GHz和16 GB RAM的計算機上進行了測試。從表1中可以看出提出的方法具有較低的計算復雜度。

5 總 結

本文將去霧算法引入的質量劣化問題歸納為圖像可視性差、偽輪廓導致的結構破壞和顏色偏移三類。針對全參考去霧方法質量評價和全參考一般圖像質量評價之間的差異，提出了圖像可視性度量。針對去霧處理引入的偽輪廓現象，在梯度相似性的基礎上結合了方差相似性，共同組成了結構相似性。針對顏色偏移現象使用顏色恢復度進行描述。最終結合圖像可視性、結構相似性和顏色恢復度共同構建新的評價體系。

通過構建的合成圖像數據集對該評價方法和當前其它典型方法進行對比實驗。實驗結果表明，與現有的圖像質量評價方法相比，去霧方法質量評價無論是等級相關性、線性相關性還是預測精度都表現更優，與主觀評價一致性更高，對未來去霧算法的研究工作具有重要的意義。