改進的彩色圖像去霧效果評價方法

陳珂，柯文德，許波，張良均

（1．廣東石油化工學院計算機科學與技術系，廣東茂名525000；2．廣州太普信息技術有限公司，廣東廣州510663）

改進的彩色圖像去霧效果評價方法

陳珂1，柯文德1，許波1，張良均2

（1．廣東石油化工學院計算機科學與技術系，廣東茂名525000；2．廣州太普信息技術有限公司，廣東廣州510663）

針對當前對圖像去霧效果評價的不足，提出了一種改進的評價彩色圖像去霧效果的方法。該方法同時考慮了對圖像邊緣的評價以及對顏色失真的評價，基于圖像霧化的大氣散射模型，通過將原始圖像轉換到相對色彩空間，提出了度量顏色失真的標準；結合對比度增強的評價方式，提出了一個統一的評價指標，從而實現很好地給出一個符合人眼視覺判斷的客觀評價結果。實驗中基于多種去霧算法的去霧結果，對基于可見邊比的評估方法、CNC評價指標和本文提出的評價指標進行了對比，結果表明本文改進的評價標準能更好地體現去霧的質量，獲得與視覺判定更加接近的結論。

圖像去霧；去霧效果評價；大氣散射模型；相對色彩空間；可見邊對比度

在霧天情況下，由于空氣中大量懸浮粒子的散射作用，使得周圍場景的能見度很低，給戶外交通運行以及安全監控顯示設備等帶來了很大的影響，因此近年來國內外學者對圖像去霧展開了深入的研究，提出了很多的去霧方法，也取得了一定的去霧效果，但在該領域比較欠缺的是對去霧效果的評價。目前在評價去霧效果的研究中，比較著名的是Hautière提出的基于可見邊對比度的評價方法［1］，該方法主要評估在去霧前后每個圖像細節對比度增強的情況，具體用3個指標（新增可見邊比、可見邊的規范化梯度均值和飽和黑色或白色像素點的百分比）來衡量圖像對比度的變化。該方法得到了廣泛應用，能很好地體現去霧前后圖像細節邊緣的清晰化程度，但也存在明顯的問題，即無法對由過增強等引起的顏色失真進行評估。進一步，國內有研究者綜合了對顏色失真的評估，提出了色調極坐標直方圖、直方圖相似度和色彩還原系數等指標來評估去霧后圖像的顏色質量［2－4］，但這些指標有的只部分反映了色彩的還原能力或者自然度等特性，且存在計算復雜的問題。沒有很好的對比和評價標準，會影響在實際應用中對去霧算法的選擇，也不能給去霧算法的研究提供一個良好的前進方向，因此提出合理的去霧評價標準具有重要的研究意義和價值。但是提出客觀實用的去霧效果評價標準又存在著很大的難度，一方面因為用來參考的無霧時的清晰圖像難以獲得，無法實現直接客觀的對比；另一方面是基于一些常規的對圖像質量進行評價的指標，它們得到的評估結果與人眼直觀感受的結果會出現不一致的情況，不能很好地體現出去霧效果的好壞。因此，目前已提出的對圖像去霧效果進行評價的準則較少?？紤]到評價去霧效果的重要性，以及已有評價準則所存在的問題，本文提出了一個改進的評價方式，對圖像霧化原因進行分析，并基于霧天成像的大氣散射模型，提出評價顏色失真的方法；結合對顏色失真的評估和對邊緣對比度的評估，提出一個綜合的評價準則，以獲得對去霧后清晰化圖像比較客觀的評價。

1 已有評價標準的介紹

目前對于去霧效果的評價主要從2方面進行考慮，一是去霧前后圖像細節邊緣的變化，另一個是去霧后圖像顏色發生的變化。對這2方面的評估目前都有相應的準則，其中比較引人關注的是用于評估對比度增強的基于可見邊對比度的方法［1］和用于評估顏色失真程度的直方圖相似度、色彩豐富度等指標［3，5］。以下詳細介紹這2類評價方法。

1．1 基于可見邊對比度的評價方法

基于可見邊對比度的評價方法重點評估在去霧前后圖像細節的對比度增強［1］。在霧、霾天氣時，由于大氣中懸浮粒子的散射作用，使得場景的對比度很低，而經過一定的去霧算法對圖像進行清晰化處理后，場景中的細節就會清晰起來，邊緣的對比度也相應提高，因此評估去霧前后圖像細節邊緣的對比度變化能很好地體現出相應去霧算法的性能。

文獻［1］中詳細介紹了可視度水平（visibility level，VL）的概念，并基于Adrian提出的經驗目標可視模型來估測亮度的差異閾值［6］，根據這些概念提出了基于可見邊對比度來度量能見度水平的指標。具體地，文獻［1］中提出了3個評價參量來衡量去霧前后圖像可見邊對比度的變化，分別為新增的可見邊之比（e）、可見邊的規范化梯度均值和飽和黑色或白色像素點的百分比（σ）。

新增的可見邊之比可表示為

式中：no為原圖像中可見邊的數目，nr為去霧后的圖像中可見邊的數目。如果去霧效果好，去霧后的圖像變得清晰，會有更多的邊緣可見，則很好地體現了圖像細節對比度增強的效果。

可見邊的規范化梯度均值可表示為

式中：r表示可見邊的相關系數，VLr和VLo分別代表去霧圖像和原圖像中目標的能見度水平，ΔIr和ΔIo表示去霧圖像和原圖像中可見邊上像素點的梯度值，φr為去霧圖像中所有可見邊的集合，Pi為在可見邊上的像素點。通過加權所有位于可見邊上的像素點的Sobel梯度比值，獲得對可見邊對比度所增加強度的衡量。

對于飽和黑色或白色像素點的百分比σ，可表示為

式中：ns為去霧后的圖像中飽和的白色或黑色像素點的數目，dimx和dimy分別表示圖像的寬和高。σ體現了去霧后圖像中飽和像素點所占的比例，即圖像過增強的強度。

這3個指標一定程度上能反映出去霧后圖像邊緣對比度的變化，并取得了廣泛的應用。但此方法存在2個方面的問題，一是用3個指標來度量去霧后圖像的效果，理論上說，當e和越大而σ越小時，對應算法的去霧效果越好，但實際中有時它們不能達到統一，出現度量不一致的現象；另一方面，當去霧圖像出現過增強時，圖像邊緣處的對比度能得到很大的增強，但往往同時也會出現顏色失真，從而極大地影響可視性，而基于可見邊比的方法并不能反映這一現象，因為其評價參量都沒有考慮對顏色失真的度量。因此，基于該方式的評價準則還需要進一步完善。

1．2 結合顏色失真的評估方法

霧天拍攝的圖像看起來像是蒙上了一層白紗，飽和度低，存在色調的偏移。圖像在進行去霧處理后，色彩強度得到了增強，但也經常會伴有部分區域的顏色失真，因此考慮對去霧前后顏色變化的度量，具有很大的必要性。已有學者對其進行了研究，并提出了一些結合顏色失真的評估方法［3，5］。

文獻［3］提出基于直方圖相似度來衡量去霧圖像的色彩還原能力，該方法認為輸入圖像和去霧后圖像直方圖的形狀大體上是一致的，因此通過定量計算去霧前后2個直方圖分布的相似系數，可以合理的度量去霧后圖像的色調還原程度。該方法重在評估去霧后圖像的自然真實度，而對色調的豐富度衡量不足。文獻［5］提出了綜合圖像對比度、色彩自然度和豐富度3個指標的CNC評價體系，通過無參考的方式獲得對去霧后圖像的全面評價，該方法雖然獲得了與人眼視覺感受相接近的評價結果，但其評價過程計算復雜，尤其評價函數中重要參數的選取，對于某些具體場景的評估不一定適用。

本文通過分析探索去霧前后圖像在色彩等屬性方面的共性，從新的角度提出對顏色失真度的評估，獲得簡單有效的評價準則。

2 結合相對色彩空間的去霧效果評價方法

在霧、霾天氣情況下，由于大氣中懸浮的大量粒子的散射作用，攝像頭采集到的圖像飽和度、對比度較低，并且存在著一定的色調偏移。Narasimhan和Nayar基于對McCartney的衰減模型［7］和大氣光模型的研究，提出了霧天成像的大氣散射模型［8?9］，具體表示為

式中：I（x）表示采集裝置觀測到的有霧圖像，J（x）為對應的理想天氣時的清晰圖像，A表示周圍的環境光，又稱大氣光值，t（x）為場景的透射率，β為大氣粒子的散射系數，d（x）表示場景的景深。從該模型可以看出，在霧天采集到的圖像由2部分組成，一部分是物體表面的反射光經直接衰減后進入到成像傳感器的光強，又稱為直接衰減項；另一部分是周圍的環境光經大氣粒子散射后進入到采集裝置的光強，又稱為大氣光成分。基于該霧天成像的物理模型可以分析得到，對于圖像中的每個像素點，加載到其3個通道中由大氣光成分帶來的顏色值偏移量是相同的，且該點每個通道中反射光直接衰減的系數也是相同的，對應的用矩陣形式來表示圖像中每個點在去霧前后像素值的變化關系為

式中：IR、IG、IB為有霧圖像中某一點的R／G／B通道值，JR、JG、JB則為對應的無霧圖像中3通道的像素值，c1為大氣光帶來的偏移值。從對應關系可以看出，對于每個像素點，可通過一定的圖像變換去除在每個顏色通道中由相同的乘性因子和加性因子帶來的變化值，即可以在圖像的某個變換空間中找到圖像在去霧前后存在的不變參量。

在圖像的變換空間相對空間中，通過進一步處理可以獲得圖像變化前后不變的量。首先對于圖像的變換空間相對空間與RGB空間的變換關系為

該變換空間中的O1和O22個對立色通道能有效去除添加在每個顏色通道上由大氣成分帶來的偏移量；進一步，通過分析O2／O1，可以獲得去除乘性因子的量，具體過程可表示為

式中：H對應圖像的色調（hue），用角度來表征，取值范圍為－1．57～1．57。

基于上述霧天成像的大氣散射模型，以及對圖像相對色彩空間的分析，可以得出，在理想情況下，有霧圖像與其對應的無霧圖像之間存在著屬性不變的參量H，因此，可通過計算該不變量的變化程度來衡量去霧后的效果。具體地，對于依據霧天圖像的物理模型進行理想去霧后的圖像，與相應的有霧圖像的H會非常接近；而對于實際中的去霧算法，去霧后的圖像很難達到預期的效果，其對應的H會在某些區域出現偏差。因此，通過計算去霧前后H的絕對差，并將所有區域的絕對差進行累加獲得總的偏色值Hs，以此獲得衡量不同去霧算法顏色性能的指標。

為了最大程度地體現出圖像中顏色發生的變化，對相對色彩空間進行了擴展，除O1和O2對立色通道外，又增加了2組對立色通道O1′和O2′，O1″和O2″，表示如下：

參照式（10）和（11）的方式，計算在這2組對立色通道下去霧前后圖像的H的絕對差。最后，將這3組對立色通道下獲得的H的絕對差進行取最大值操作，并進行區域求和以獲得能更好表征圖像顏色失真的偏色值Hs。

為了更好地評價去霧后圖像的清晰化效果，還需要考慮圖像細節的變化，對圖像的邊緣及對比度進行評估。因此，將可見邊對比度方法進行改進，并融合評價顏色失真的統計值Hs，本文提出一個統一的對去霧效果進行評價的指標，具體形式為

式中：C為本文提出的改進的綜合評價指標，e′為改進的去霧前后圖像的可見邊數目比，對比式（1）的e，該值不會為負；r對應于平均的可見邊梯度比值，表征圖像的可見邊對比度增加的強度；re為可見邊梯度比大于5的可見邊集合的平均梯度比值，添加該項作為懲罰量，能更加有效地削弱一些過增強邊緣對評估結果的影響。此外，為了使所有參數能很好的結合，達到比較接近的取值范圍及作用權重，本文用Hs代替Hs作為懲罰項。

通過上述方式，本文提出的改進的評價標準能有效地結合對顏色失真的度量和對邊緣對比度增強的評估，并提出了對圖像去霧效果進行客觀評價的一個綜合性的指標。

3 實驗分析與對比

基于幾種比較常用的單幅圖像去霧算法（如Tan方法［10］、Tarel方法［11］、He方法［12］、Fattal方法［13］、Kopf方法［14］等）對輸入的霧天圖像進行去霧處理，獲得對應原圖的多幅去霧后的清晰化圖像，如圖1所示。

圖1 不同算法對霧天圖像的去霧效果對比Fig．1 Image defogging results based on different algorithms

分別對原圖和去霧后的圖像基于相對色彩空間的3組對立色通道計算它們的H參量。在具體的計算中，由于是對每個像素點進行處理和對比，一些噪聲點會帶來干擾，因此在計算之前對所有圖像進行預處理，用高斯函數對圖像進行小窗口的平滑。

對于每一對原圖和去霧后的圖，基于以上3組H參量在對應位置作差，并對比獲得每個位置上最大的H絕對差值。計算所有區域的H絕對差值的總和，獲得評估顏色失真的參量Hs。需注意的是，圖像中還有些灰白區域，因為沒有明顯的顏色屬性，會在計算時出現分母過小的情況，導致出現很大的比值和相應的H，最終干擾統計的結果，因此對這些區域需采取一定的措施，在本文的實驗中，根據統計分析具體將H絕對差值大于1的位置置零，不計入評估范圍。

表1給出了對應圖1中各去霧圖像的評估顏色失真的Hs值。

表1 對應圖1中各去霧圖像的評估顏色失真的HsTable 1 Hsvalues for defogging images in Fig．1

由圖1可知，基于Tan算法的結果有明顯的顏色失真，而Tarel算法相比He算法也出現了局部顏色失真的情況，因此理論上評估顏色失真程度的值應該Tan算法的最大，而He算法的最小。從表1可以看出，本文提出的基于累加每個位置H絕對差值的評估顏色失真的方法，很好地體現了去霧后圖像相對于原圖的顏色變化，與理論分析相符，能客觀的表示圖像去霧后發生顏色失真的程度。

基于本文改進的將顏色失真和可見邊對比度增強進行綜合評估的方法，依據式（14）計算對應的去霧前后圖像的綜合指標C作為客觀評價常用去霧算法效果的準則。根據此改進方式，對圖1中各算法的去霧效果進行評估，表2～4分別給出了對應于圖1（a）～（c）的綜合指標C，基于文獻［5］中評價方法的CNC，以及基于比較常用的可見邊對比度方法的各項指標值。結合圖1和表2～4，分析基于本文改進的評估準則對多個去霧算法的評估結果。表2～4反映He算法的去霧效果最好，從對應的圖1看，也很好地證實了該結果與人眼視覺觀察的評判結果比較一致。對于文獻［5］提出的綜合指數CNC對不同去霧算法的評估效果，表2顯示He算法最好，但Tan算法好于Tarel算法，這表明其度量顏色的側重點與本文方法不一樣；表3和4中基于CNC的方法都反映Tarel算法的效果最好，這與實際有偏差，雖然基于Tarel算法去霧的圖像局部清晰度較好，但同時存在過增強引起的失真，比如圖1（b）中的樹木、圖1（c）中穿插的白霧等。對于基于可見邊對比度方法的各項指標，其結果一方面會出現評價不一致的情況，如表2和4所示，e較大時而略小，對于類似不一致的評價結果，無法直接對多種算法的去霧效果作出統一的判斷；另一方面會忽略對顏色失真的度量，如表3所示。如果依據e和越大而σ越小則效果越好的準則，則Tan算法要優于He算法，然而實際從圖1（b）觀察到的結果并不是如此，Tan算法的結果雖然使邊緣的對比度得到了很大的增強，但顏色有一定的失真，局部過增強明顯，使整體色調偏離原始圖像，由此引起的對可視性的破壞，使人眼很難接受其效果優于He算法。因此，基于本文所提出方法的度量結果總體上比較令人滿意。

表2 基于不同指標對圖1（a）中各算法去霧效果的評估Table 2 Assessment for the defogging results in Fig．1（a）based on the different index

表3 基于不同指標對圖1（b）中各算法去霧效果的評估Table 3 Assessment for the defogging results in Fig．1（b）based on the different index

表4 基于不同指標對圖1（c）中各算法去霧效果的評估Table 4 Assessment for the defogging results in Fig．1（c）based on the different index

圖2進一步給出了多組基于本文改進的評估方法獲得的對比結果，更加充分地表明了本文改進的評估方法的有效性和適用性。

圖2 基于本文改進的指標C對去霧效果的對比評價Fig．2 Assessment of defogging effect by improved index C

本文搜集了在各種典型去霧算法中常用的測試圖像，并采用He算法和Tarel算法對它們進行去霧，然后基于本文所提出的評估方法對這2個算法的去霧效果進行評估。圖3給出了對24幅典型測試圖像進行計算評估指標C得到的曲線。從圖3可以看出，在大多數情況下，本文評估方法反映出He算法的去霧效果更好一些，這也說明了He算法的通用性更好一些，兼顧邊緣增強和顏變變化。基于本文評估方法得到的結論，與文獻［5］通過計算CNC得到的結論相一致，均表明He算法更優，但本文方法明顯比文獻［5］方法更加簡單易實現，不需要調節復雜的參數。

需要說明的是，由于本文的方法是基于相對色彩空間對立色通道的比值而提出，在有些特殊情況下該評估方法會不適用，評估結果出現異常，比如之前提到的非彩色區域（灰、白區域等），它們的R／G／B通道值比較接近，導致式（10）比值異常；當圖像中出現單色時，比如藍色，也會出現比值異常，影響最終的評估結果。在這方面我們還需要進一步完善，并結合對灰度圖像去霧效果進行評估的方法，提出適用性更好的評價準則。

圖3 基于本文C對24幅典型圖像評估He算法和Tarel算法的去霧效果Fig．3 Assessment of He’s and Tarel’s defogging effect by index C on 24 typical images

4 結束語

本文提出了一種改進的對彩色圖像去霧效果進行評估的方法，基于相對色彩空間提出度量顏色失真的準則，并結合評估邊緣對比度增強的方法構建了一個比較客觀的綜合評價指標。通過對多組圖像的去霧效果進行評價，實驗證實了本文改進的評價準則能更好的獲得與人眼直觀感受較一致的評估結果，融合了對顏色失真和對比度增強的度量，能全面地反應去霧后圖像的變化，有一定的理論支持和很好的實用性。該方法在評價彩色圖像的去霧效果上取得了明顯的優勢，但也有些不適用的情況，比如彩色圖中的灰白色區域或單色區域，對于這些部分度量顏色失真的值會出現異常。進一步研究中可考慮結合評價灰度圖像去霧效果的方法，提出更加完善適用性更強的準則。

［1］HAUTIèRE N，TAREL J P，AUBERT D，et al．Blind con?trast enhancement assessment by gradient ratioing at visible edges［J］．Image Analysis and Stereology Journal，2008，27（2）：87?95．

［2］禹晶，徐東彬，廖慶敏．圖像去霧技術研究進展［J］．中國圖象圖形學報，2011，16（9）：1561?1576．YU Jing，XU Dongbin，LIAO Qingmin．Image defogging：a survey［J］．Journal of Image and Graphics，2011，16（9）：1561－1576．

［3］李大鵬，禹晶，肖創柏．圖像去霧的無參考客觀質量評測方法［J］．中國圖象圖形學報，2011，16（9）：1753?1757．LI Dapeng，YU Jing，XIAO Chuangbai．No?reference quali?ty assessment method for defogged images［J］．Journal of Image and Graphics，2011，16（9）：1753?1757．

［4］姚波，黃磊，劉昌平．去霧增強圖像質量客觀比較方法的研究［C］／／中國模式識別會議論文集．南京，中國，2009：1?5．YAO Bo，HUANG Lei，LIU Changping．Research on an ob?jective method to compare the quality of defogged images［C］／／Proceedings of Chinese Conference on Pattern Recog?nition．Nanjing，China，2009：1?5．

［5］郭墦，蔡自興．圖像去霧算法清晰化效果客觀評價方法［J］．自動化學報，2012，38（9）：1410?1419．GUO Fan，CAI Zixing．Objective assessment method for the clearness effect of image defogging algorithm［J］．Acta Auto?matica Sinica，2012，38（9）：1410?1419．

［6］ADRIAN W．Visibility of targets：model for calculation［J］．Lighting Research＆Technology，1989，21（4）：181?188．

［7］MCCARTNEY E J．Optics of the atmosphere：scattering by molecules and particles［M］．New York：John Wiley and Sons，1976：123?129．

［8］NARASIMHAN S G，NAYAR S K．Vision and the atmos?phere［J］．International Journal of Computer Vision，2002，48（3）：233?254．

［9］NARASIMHAN S G，NAYER S K．Contrast restoration of weather degraded images［J］．IEEE Transactions on PatternAnalysis and Machine Intelligence，2003，25（6）：713?724．

［10］TAN R T．Visibility in bad weather from a single image［C］／／Proceedings of IEEE Conference on Computer Vi?sion and Pattern Recognition（CVPR）．Anchorage，USA，2008：1?8．

［11］TAREL J P，HAUTIΜERE N．Fast visibility restoration from a single color or gray level image［C］／／Proceedings of the 12th IEEE International Conference on Computer Vi?sion．Kyoto，Japan，2009：2201?2208．

［12］HE Kaiming，SUN Jian，TANG Xiaoou．Single image haze removal using dark channel prior［C］／／Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition．Miami，USA，2009：1956?1963．

［13］FATTAL R．Single image dehazing［J］．ACM Transactions on Graphics，2008，27（3）：721?729．

［14］KOPF J，NEUBERT B，CHEN B，et al．Deep photo：Model?based photograph enhancement and viewing［J］．ACM Transactions on Graphics，2008，27（5）：116．

An improved assessment method for the color image defogging effect

CHEN Ke1，KE Wende1，XU Bo1，ZHANG Liangjun2

（1．Department of Computer Science and Technology，Guangdong University of Petrochemical Technology，Maoming 525000，China；2．Guangzhou TipDM Information Technology Co．，Ltd．，Guangzhou 510663，China）

Currently，there is no adequate evaluation method for image defogging effect．Aiming at this，an im?proved method for the color image defogging effect assessment is proposed．By this method，either the edge’s con?trast enhancement or the color distortion is considered．Based on the atmospheric scattering model of an atomized image，the method first converts the original image to the opponent color space，thus deriving a standard for meas?uring the color distortion．Then，by combining the evaluation means for contrast enhancement，a unified assessment index for color image is generated，with objective evaluation results and good human visual perception．The defog?ging effects of many defogging methods were evaluated by comparison among the visible edge ratio，CNC value，and the criteria proposed in this paper．The results show that the improved assessment criteria can better reflect defog?ging quality and is closer to expected visual judgment．

image defogging；defogging effect assessment；atmospheric scattering model；opponent color space；contrast of visible edges

陳珂，男，1964年生，副教授，主要研究方向為機器學習、數據挖掘和圖像處理等。主持廣東省科技計劃項目2項，廣東省教育廳科技創新項目1項。發表學術論文20余篇，其中SCI收錄1篇，EI收錄9篇。

柯文德，男，1976年，教授，博士，主要研究方向機器視覺、人工智能和智能機器人等。主持廣東省自然科學基金項目1項，廣東省科技計劃項目2項。發表學術論文40余篇，其中SCI收錄4篇，EI收錄20篇。

許波，男，1986年，講師，主要研究方向為計算智能、機器學習。

TP391

A

1673?4785（2015）05?0803?07

10．11992／tis．201406003

http：／／www．cnki．net／kcms／detail／23．1538．tp．20150930．1556．006．html

陳珂，柯文德，許波，等．改進的彩色圖像去霧效果評價方法［J］．智能系統學報，2015，10（5）：803?809．

英文引用格式：CHEN Ke，KE Wende，XU Bo，et al．An improved assessment method for the color image defogging effect［J］．CAAI Transactions on Intelligent Systems，2015，10（5）：803?809．

2014?06?05．

日期：2015?09?30．

國家自然科學基金資助項目（61272382）；廣東省科技計劃資助項目（2012B0101100037）；廣東省高等學校科技創新項目（2013kjcx0132）．

陳珂．E?mail：chenke2001＠163．com．