基于Retinex改進的夜間圖像增強算法

李宏宇，朱一峰，黃怡

（長春理工大學 電子信息工程學院，長春 130022）

由于夜間環境光照不足和光線亮暗不均，容易使拍攝的圖像出現細節分辨不清的情況。而拍攝圖像的質量對戶外視頻監控設備的監控效果有重要影響，圖像細節分辨不清會嚴重干擾戶外視頻監控設備的正常工作。通過對夜間圖像有效增強，能夠使戶外視頻監控設備的可靠性和全天時能力得到進一步加強[1]。

目前，最常用的圖像增強方法大致分為兩大類，即空間域增強和頻率域增強，Retinex系列算法是最常用的空間域增強方法之一。Retinex理論認為人眼對于物體表面顏色的感知是由物體表面的反射屬性決定的，與場景中的光源分布無關[2]。基于該模型，Retinex系列算法通常采用某種低通濾波器對采集的降質圖像進行處理，從而獲得照度分量圖像的估計，接著從采集的圖像中去除照度分量估計而獲得反射分量圖像，而反射分量圖像就是描述物體本質的屬性圖像。根據照度分量圖像估計的方法不同，Retinex理論又發展出不同的增強算法，分別有隨機路徑Retinex、McCann'sRetinex算法和中心/環繞Retinex算法以及在中心/環繞Retinex算法基礎上發展出的單尺度Retinex算法（single-scale Retinex，SSR算法）、多尺度Retinex算法（multi-scale Retinex，MSR算法）和帶顏色恢復的多尺度Retinex算法（multi-scale Retinex with color restoration，MSRCR算法）等比較經典的算法。Retinex系列算法具有動態壓縮和顏色恒常等特性，但是由于Retinex系列算法是分別對圖像的R、G、B三通道單獨進行處理，這就破壞了RGB三通道之間的聯系，最直觀的結果就是處理后的圖像顏色存在失真。基于此，本文采用一種將原始夜間圖像先轉換到HSV空間下對V通道圖像進行導向濾波獲取照度分量估計，獲取反射分量圖像，再轉換回RGB空間進行顏色恢復處理，獲得最終增強的圖像。可以有效解決處理后的圖像顏色失真和暗區過度增強問題。

1 Retinex系列算法

1.1 Retinex模型

Retinex模型認為，一幅圖像可以由入射分量圖像L(x,y)和反射分量圖像R(x,y)組成。可以用式（1）來表示：

1.2 多尺度Retinex算法

多尺度Retinex算法的核心思路是在SSR算法的基礎上分別選取不同的高斯環繞尺度進行計算，并對輸出結果進行加權求和[3]。MSR算法可用式（3）表示為：

其中，(x,y)是像素點的坐標，i為顏色通道i∈{R、G、B} ，S(x,y)為采集的夜間降質圖像，R(x,y)為反射分量圖像，F(x,y)為高斯環繞函數，N為尺度系數，W為高斯環繞函數的權重，且；?為卷積符號；可以用式（4）來表示：

其中，λ是歸一化因子，c為尺度常數。

1.3 MSRCR算法

MSRCR算法是在MSR算法的基礎上引入了顏色恢復函數[4]，具體過程如式（5）所示：

其中，f為變換函數，通常取對數函數，i是顏色通道，C作為MSR算法中各顏色通道輸出結果的校正系數可以得到MSRCR算法的公式如（6）所示：

2 本文算法

2.1 空間轉換

Jobson的色彩恒常性理論是以灰度世界假設為基礎的，在RGB空間對彩色圖像進行增強操作容易造成圖像顏色失真[5]。因此，本文引入更加符合人類視覺期望的HSV空間，將原始RGB彩色圖像I(x,y)轉換到HSV空間得到飽和圖像IS(x,y)、色調圖像IH(x,y)和亮度圖像IV(x,y)：

式（7）、（8）、（9）中，Cmax=max(R,G,B)，Δ=Cmax-Cmin，而Cmin=min(R,G,B)。其中R,G,B都是經過歸一化后的各通道灰度值。通過式（7）可以計算出飽和圖像IS(x,y)，通過式（9）可以計算出色調圖像IH(x,y)，而亮度圖像可以用式（8）計算獲得。使用式（10）、（11）可以將HSV空間轉換回RGB空間。其中，C=V×S，m=V-C，X=C×。

2.2 顏色恢復函數的改進

MSRCR算法在顏色恢復過程中需要引入大量參數，并且算法的穩健性比較差。所以，為了保證圖像處理過程中擺脫對場景光源分布的依賴，同時為了解決傳統Retinex算法處理后的圖像容易產生局部噪聲放大和色彩失真的問題。本文提出一種優化的顏色恢復函數，具體形式如式（12）。假設在原始RGB空間中，輸入圖像I(x,y)中每個像素的顏色比重為式（12）：

其中，G為增益參數，控制圖像整體的亮度與色彩飽和度。其值越大，處理后圖像整體的色彩和亮度提升效果越顯著。α為色彩亮度調節因子，主要負責微調圖像的亮度，其值越大亮度越高。β主要負責調節處理后的圖像顏色的權重，其效果能達到抑制暗區域像素過增強的目的，同時能加重圖像高光和高暗。由對數函數的性質可知，當底數大于自然數e時，函數值大于1。因此，α和β的取值必須使得式（13）成立。

經過多次實驗發現，當G∈[0.8，1.4]、α∈[3，10]、β∈[100，500]時，圖像的增強效果比較好。

2.3 Gamma校正

經過導向濾波獲得反射分量圖像取反對數后圖像一般整體偏暗，必須對圖像的亮度進行適當的校正以提高圖像質量，采用非線性的全局Gamma校正方法對圖像進行處理[6]。

2.4 算法流程

如圖1所示，本文提出的基于Retinex改進的夜間圖像增強算法的主要過程為：首先，在原始RGB空間中使用式（12）計算獲得顏色恢復函數；接著，使用式（7）、（8）、（9）把原始夜間圖像從RGB空間轉換到HSV空間，在HSV空間下對V分量圖像進行高斯濾波獲得照射分量圖像L(x,y)（入射分量圖像）估計，再使用式（2）計算獲得反射分量圖像R(x,y)；由于這時候獲得的反射分量圖像會存在局部亮度偏暗，因此，使用式（13）對反射分量圖像進行Gamma亮度調節；最后，使用式（10）、（11）把反射分量圖像從HSV空間轉換回RGB空間并進行顏色復原，即對反射分量圖像的每個通道乘以對應的顏色復原函數。經過上述步驟后即可獲得增強后的夜間圖像。

圖1 本文算法流程圖

3 實驗結果與數據分析

為了驗證本文算法優于其他現有算法，首先，采用多尺度Retinex（MSR）技術對圖像進行處理；接著，采用基于顏色復原的多尺度Retinex（MSRCR）技術對圖像進行處理；同時，采用基于HSV空間的多尺度Retinex算法（MSRCRHSV）對圖像進行處理[7]；最后，采用本文算法對圖像進行處理。四種算法處理的結果如圖1、圖2所示。

圖2 場景1圖像處理結果對比圖（α=6，β=300，G=1，γ=3）

從圖2、圖3中可以看出，使用MSR算法處理后的圖像對比度比較低，并且處理后的圖片整體色彩不自然，具體如圖2和圖3所示，處理后場景中的天空區域和草坪區域色彩整體變白，視覺效果非常差；使用MSRCR算法處理后的圖像對比度較MSR算法有很大的提升，但是處理后的圖像整體色彩仍然不符合人眼的視覺感知，并且圖中天空區域和植物的色彩明顯偏白；而使用MSRCRHSV方法處理后的圖像整體視覺都比較符合人眼的色彩感知，圖像的整體對比度都有了很大的提高，但是存在局部色彩失真的問題，尤其是在圖2（d）中這種失真現象更加明顯，而在圖3（d）中增強后的樹葉由局部白灰色的顏色失真現象。而本文算法對顏色恢復函數進行改進后有效地改善了圖像的整體對比度并且解決了MSRCRHSV算法處理后色彩失真的問題。本文算法處理后的圖像整體色彩比較自然，符合人眼的視覺感知。

圖3 場景2圖像處理結果對比圖（α=6，β=300，G=1，γ=3）

由上述分析可知：與現有的圖像增強算法相比，本文算法處理效果具有明顯的優勢。為了使上述結論更具說服力，本文從圖像可見度測量（IVM）[8]、視覺對比度測量（VCM）[9]、圖像結構相似度（SSIM）三個指標來驗證本文算法的優勢[10]，這三個指標的值越大表示增強后的圖像越清晰。

表1 圖像可見度測量對比

表2 視覺對比度測量對比

表3 結構相似度對比

為了便于觀察與比較，將表格中的SSIM值放大10倍，VCM值縮小10倍后繪制圖4和圖5。圖4和圖5的橫坐標表示不同的算法名稱，縱坐標表示不同的數值。其中MSR表示多尺度Retinex算法；MSRCR表示基于顏色恢復的多尺度Retinex算法；MSRCRHSV表示基于HSV空間顏色恢復的多尺度Retinex算法；This表示本文算法。其中IVM表示圖像可見度測量值；VCM表示視覺對比度測量值；SSIM表示結構相似度值。從表1、表2、表3、圖4和圖5中可以看出，MSR算法處理后的圖像整體清晰度與MSRCR處理后的效果區別不大，而MSRCRHSV算法處理后的圖像清晰度明顯優于MSR與MSRCR算法，這是由于把圖像轉換到HSV空間進行處理避免破壞RGB通道之間的關系。而本文算法處理后的清晰度整體上比其它三種算法都要好，因此，再次從客觀角度證明本文算法可以有效增強夜間圖像的清晰度。

圖4 不同算法對場景1處理的結果對比圖

圖5 不同算法對場景2處理的結果對比圖

4 結論

針對現有的夜間圖像增強算法處理后圖像存在噪聲放大、對比度差和顏色失真的問題，本文提出了一種基于Retinex改進的夜間圖像增強算法。該算法以Retinex模型為基礎，將原始夜間圖像轉換到HSV空間對V分量圖像進行高斯濾波操作，獲取照度分量圖像估計，進而求出反射分量圖像，再對反射分量進行Gamma亮度調節，最后轉換回RGB空間進行顏色復原。經過對幾種算法結果的對比分析可知，本文算法有效地避免了傳統Retinex系列算法對原始圖像色彩的破壞，并且處理后圖像對比度高、色彩比較自然，符合人眼的視覺感知。