基于融合策略的改進Retinex低照度圖像增強算法

史瑞雪，高保祿，喬穎婧

(太原理工大學 軟件學院，山西 晉中 030600)

0 引言

圖像在采集過程中由于天氣、光照等外界環境的影響，使得采集到的圖像會出現光照不均、色彩失真、細節模糊等問題，從而使人們無法準確獲取和識別圖像中的信息。因此，對低照度彩色圖像增強算法的研究具有重要的價值與意義。

目前，國內外應用比較廣泛的增強算法有直方圖均衡圖像增強算法[1]、小波變換圖像增強算法[2]和基于Retinex理論的圖像增強算法。其中，Retinex理論是基于人類視覺亮度和顏色感知建立的色彩感知模型，又稱為色彩恒常性理論[3]，具有動態范圍壓縮、邊緣增強和顏色恒常等特性，常常被用于圖像增強領域[4]。近年來，基于Retinex的改進的圖像增強算法得到了許多新的發展。常戩等[5]提出了基于小波變換的改進雙邊濾波的Retinex圖像增強算法和改進閾值函數去噪算法。該算法對小波分解后的低頻圖像進行光照估計，使用改進閾值函數得到新的高頻系數，有效地避免了圖像泛灰和光暈現象并去除了噪聲；文獻[6]提出一種通過Retinex模型進行結構顯示微光圖像增強算法，該算法提供了一種基于增強拉格朗日乘數的無對數變換的交替方向最小化方法，其在弱光圖像增強中的有效性和魯棒性都表現較好，但是存在色彩失真現象；文獻[7]提出基于Retinex的區域協方差濾波器的圖像增強框架，該算法在消除噪聲和增強細節方面具有很好的效果，但是存在色彩飽和度低等問題。

上述算法在對圖像增強效果方面有了一定提高，但是仍存在色彩失真、細節模糊等問題[8]。針對上述算法的不足，提出一種基于融合策略的改進Retinex低照度圖像增強算法。該算法針對色彩失真的問題，提出只在亮度空間進行算法增強；針對邊緣輪廓模糊的問題，采用高斯-拉普拉斯(LOG，Laplacian of Gaussian)LOG算子進行邊緣檢測；最后使用小波變換融合兩幅圖像得到色彩保真、細節紋理清晰、符合人眼視覺效果的圖像。

1 Retinex理論

1.1 Retinex理論

Retinex理論即視網膜大腦皮層理論。由Land和McCann于20世紀60年代提出,是一種基于人類視覺感知的色彩理論[9]。該理論包括兩方面內容：1)物體表現出的顏色主要由物體的反射性質決定，不受光照的影響；2)自然界中所有物體的顏色具有恒常性，不受光照非均勻性的影響，光照不均不會影響物體顏色的一致性[10]。Retinex理論的思想是減少甚至消除光照圖像對視覺效果的影響，保留反映圖像本質屬性的反射圖像，從而達到圖像增強的目的。

根據此理論，一副圖像可以分解為光照分量圖像和反射分量圖像，具體定義如下：

S(x,y)=R(x,y)*L(x,y)

(1)

式(1)中，光照分量L(x,y)決定圖像的動態范圍；反射分量R(x,y)對應圖像細節紋理信息。在處理時，通常將式(1)轉至對數域，從乘積關系轉換為和的關系：

lg[S(x,y)]=lg[S(x,y)]+lg[L(x,y)]

(2)

由Retinex理論可知，物體的反射分量反映它的真實顏色，應該最大程度地保留，因此從原圖像中估計光照分量從而獲得反射分量，以此達到增強的目的。因此將式(2)轉變成式(3)：

lg[R(x,y)]=lg[S(x,y)]-lg[L(x,y)]

(3)

1.2 基于Retinex理論的經典算法

單尺度Retinex(SSR，single-scale retinex)算法[11]是在Retinex理論的基礎上提出的一種改進算法。該算法通過低通濾波器與原圖像卷積獲得光照分量。SSR算法的表達式如式(4)所示：

lg[R(x,y)]=lg(S(x,y))-lg[S(x,y)?G(x,y)]

(4)

式(4)中，?表示卷積,G(x,y)是一個低通濾波函數，一般選擇高斯函數[12]，其表達式為：

(5)

式(5)中，σ為平滑刻度，即尺度參數，尺度參數σ的大小控制增強的效果[13]。

為了改進SSR算法的不足，Rahman等提出了多尺度Retinex(MSR，multi-scale retinex)增強算法[14]。在一定情況下，MSR可以實現顏色保真、動態壓縮范圍等優點。MSR算法的表達式如式(6)所示：

(6)

為了改進MSR算法色彩保真度上的不足，Jobson等對MSR算法進行了改進，提出了帶顏色恢復的Retinex(MSRCR，multi-scale retinex with color restoration)增強算法[15]，通過引入色彩恢復因子，將MSR與色彩恢復因子相結合，實現色彩的校正[16]。MSRCR的表達式如下：

RMSRCRj=CjRMSRj

(7)

(8)

式(8)中，Cj為第j個色彩分量的顏色恢復系數，j=1,2,3分別表示R、G、B三個色彩分量；ε為非線性強度的調節參數因子，λ為增益系數。

2 本文算法

針對經典Retinex算法存在的問題，本文提出了一種基于融合策略的改進Retinex低照度圖像增強算法。該算法主要包括以下3個部分：1)在YIQ空間對亮度分量Y采用MSR算法進行增強，得到色彩保真度較好的亮度圖像，然后對飽和度分量Q進行色調補償；2)采用LOG算子對RGB圖像的3個分量分別進行邊緣檢測，將其疊加合成轉換成灰度圖，進而得到細節紋理保持較好的圖像；3)采用小波變換將增強后的亮度圖像與灰度圖像進行融合，使其成為新的亮度圖像，并將其與Q、I分量組合轉回到RGB空間獲得最終的彩色圖像。具體工作流程如圖1所示。

圖1 本文算法工作流程圖

2.1 YIQ顏色空間的MSR增強

對低照度彩色圖像處理時，需要對彩色空間的RGB三個通道分別進行增強。由于RGB三個分量之間緊密相關，同時各通道增強幅度不一致，因此當對其進行增強時就會破壞這3個分量之間的相關性，導致顏色保真度降低。因此，對不影響顏色變化的亮度空間進行增強，避免色調和飽和度的變化，從而得到色彩保真度較高的圖像。YIQ顏色空間具有能將亮度分量分離提取出來的優點，同時兩個顏色空間之間的關系是線性變換的，計算量小，聚類特性也比較好，因此，選擇YIQ顏色空間作為增強算法的處理空間。算法具體步驟如下：

1)將彩色圖像從RGB空間轉換到YIQ空間，提取亮度分量Y，對其進行基于MSR算法的增強。轉換關系式如式(9)所示：

(9)

使用式(9)將RGB空間圖像S轉換成YIQ空間圖像Sj，其中j屬于(Y、I、Q)。根據Retinex理論得到亮度分量Y的關系表達式：

SY(x,y)=RY(x,y)*L(x,y)

(10)

其中:SY為通過式(9)所求得的亮度分量Y；RY(x,y)為亮度分量Y上的反射分量，L(x,y)為光照分量。對式(10)進行MSR算法增強：

(11)

2)由于亮度分量的改變，使圖像色感發生了變化。因此對飽和度分量Q進行色調補償，公式如下：

QC(x,y)=Q(x,y)+δ[(YC(x,y)-Y(x,y))]*ε

(12)

式(12)中，QC(x,y)和YC(x,y)代表增強后的飽和度分量和亮度分量，δ為一個常數，ε為一個調整系數。這個調整系數可以表示為：

(13)

2.2 基于高斯-拉普拉斯的邊緣檢測

經典的Retinex算法估計光照分量時，缺乏邊界保持性，圖像輪廓細節模糊。因此，本文提出使用高斯-拉普拉斯算子對低照度彩色圖像進行邊緣輪廓檢測，它能夠清晰地勾畫出圖像的邊緣和細節并傳遞大量的圖像信息。由于噪聲對圖像邊緣檢測影響很大，在利用拉普拉斯算子提取邊緣時，應先減少噪聲帶來的影響。高斯函數是一種很好的歸一化低通濾波器,可以有效地減少圖像中的噪聲。因此選用高斯濾波器先對圖像進行平滑處理再進行邊緣檢測。LOG算子是高斯函數與拉普拉斯函數的雙結合，是即集平滑和邊沿于一身的算子模型。

采用高斯函數與原圖像進行卷積，減少噪聲：

g(x,y)=G(x,y)?S(x,y)

(14)

對式(14)所得到的平滑圖像采用拉普拉斯算子,得到邊緣清晰的圖像:

h(x,y)=▽2g(x,y)=▽2[G(x,y)]?S(x,y)

(15)

式(15)中，S為原始圖像,?為卷積運算，G為高斯濾波器，▽2為拉普拉斯運算。圖像的邊緣主要是由h為零的點決定,因此可得LOG算子為：

(16)

式(16)中，σ為高斯函數的尺度參數，其對高斯函數的影響比較明顯，因此選擇合適的值很重要，本文LOG算子中的σ值選1.6時，可以達到很好的效果。

本文使用LOG算子進行邊緣檢測時，將圖像的RGB三個分量分別進行邊緣檢測，并將其疊加合成后轉換成灰度圖。相對于直接轉換成灰度圖進行邊緣檢測，這種方法噪點的數量下降很多，邊緣也更加清晰。灰度圖的轉換公式如下：

Gray=R*0.299+G*0.587+B*0.114

(17)

2.3 基于小波變換的圖像融合

小波變換具有方向選擇性、正交性、可調整的局部支持以及分析數據量小等優點，而且小波變換的多尺度變換特性符合人眼的視覺機制，適于圖像融合。因此，本文采用小波變換的方法將彩色圖像和灰度圖進行融合，以此得到邊緣明顯、顏色保真度高的彩色圖像。具體過程如下。

將MSR算法增強后的亮度圖像A和經過LOG算子檢測后的灰度圖像B分別進行多尺度的二維離散的Mallat快速算法。Mallat分解公式如下：

(18)

由于圖像的低頻分量表現的是圖像的概貌和平均特性，因此采用加權平均法進行融合：

Aj,F=αAj,A+(1-α)Aj,B

(19)

式(19)中，Aj,A和Aj,B分別表示參加融合的兩幅圖像經過小波分解后的低頻分量。Aj,F為融合后的低頻分量，0<α<1。

圖像的高頻分量反應的是圖像的細節，如邊緣、區域邊界等，因此采用基于區域特性的融合規則。首先計算兩幅圖像的匹配度，若匹配度大于等于閾值，說明兩幅圖像對應的局部能量較接近，因此采用平均加權的融合方法；若匹配度小于閾值，說明兩幅圖像對應的局部能量相差較大，因此選取局部區域能量較大的高頻分量作為融合圖像的小波系數。

(20)

根據局部區域的能量求得兩幅圖像所對應的局部區域的匹配度，其表達式如下：

(21)

當MT時，采用平均加權的融合方法，則：

(22)

當M

(23)

融合圖像的各小波系數確定后，進行逆小波變換重構出融合圖像。重構公式為：

(24)

將融合結果替代為新的亮度分量，并將其與Q、I分量組合。根據式(25)將YIQ圖像轉回到RGB空間，獲得最終的彩色圖像。

(25)

3 實驗結果和分析

本實驗基于通用Windows平臺，選用的仿真環境為Matlab實驗平臺，在該實驗平臺上對多幅低照度彩色圖像進行不同算法圖像增強。MSR、MSRCR和本文算法的參數設置：1)MSR算法的3個高斯尺度參數為σ1=15,σ2=80,σ3=250。2)MSRCR算法的高斯參數與MSR相同，其余參數為α=6.5,β=0.2,Sj=1.5；3)本文算法中的高斯參數與MSR相同。LOG函數與小波變換的各項參數上文已給出。

3.1 主觀評價

為了驗證本文算法的有效性，將本文所提算法的實驗結果與MSR和MSRCR算法的實驗結果進行比較，得到主觀效果如圖2～4所示。

圖2(a)為霧天絕緣子圖像。由于霧天的影響，圖像色彩暗淡、細節模糊；(b)圖雖然圖像清晰度有所增強，但色彩失真嚴重；(c)圖由于彩色因子的引入使得整體色調恢復效果較好，但是仍存在細節模糊現象。本文算法增強后的圖像符合人眼視覺效果，色彩鮮亮沒有明顯的失真現象，同時邊緣細節明顯清晰。

圖2 絕緣子圖像增強結果

圖3(a)為夜晚街角圖像。由于夜晚光線較暗，圖像中建筑物存在明顯陰影的同時輪廓細節模糊不清；(b)圖中建筑物輪廓的清晰度明顯有所加強，但顏色恢復效果不明顯；(c)圖中沒有明顯的陰影，但出現了曝光現象，色彩失真。本文算法由于引入了邊緣檢測算子，因此處理后的圖像的建筑輪廓細節被明顯勾勒。此外其色彩同原圖相比飽和度更高，沒有明顯的失真現象。

圖3 夜晚街角圖像增強結果

圖4(a)為逆光下的房間圖像。由于光線和拍攝角度的問題，房間整體顏色偏暗，圖像中的物體處于陰影中，不能明顯的區分；(b)圖中房間亮度雖有所提高，但總體仍舊較為昏暗；(c)圖中沒有明顯的暗影，但出現了曝光現象。本文算法由于只在亮度空間進行增強，因此處理后的圖像不僅亮度提升而且色彩保真度較高。

圖4 房間圖像增強結果

3.2 客觀評價

為了客觀評價各個算法的實驗效果，將圖像的標準差、平均梯度、信息熵、峰值信噪比和運行時間5個方面作為評價指標，并對不同算法的結果進行進一步有效分析。

3.2.1 標準差

標準差反映圖像的對比度，標準差越大證明圖像的質量越好，標準差越大，圖像融合的效果越好。計算式如下：

(26)

式(26)中，μ為整體圖像的灰度值,M和N表示圖像的寬和高。

3.2.2 信息熵

信息熵代表圖像中平均信息量的多少，圖像信息越豐富表示信息熵的值越大。通過對對象中每點以及周圍區域的像素點的灰度分布的提取，可得信息熵計算式如下：

(27)

式(27)中，P(j)是像素j在圖像中的概率。

3.2.3 峰值信噪比

峰值信噪比為對圖像失真程度的表達。其值越大，表示圖像失真程度越小，越接近清晰圖像。其表達式：

(28)

式(28)中,f(x,y)為原圖(x,y)處的像素值，f′(x,y)為輸出圖像(x,y)處的像素值。MSE為當前圖像X和參考圖像Y的均方誤差。M和N表示圖像的寬和高；n為每像素的比特數，一般取8，即像素灰階數為256。

3.2.4 平均梯度

平均梯度具備反映圖像反差程度和紋理變化特征的功能。值越大表示圖像輪廓清晰。其表達式為：

(29)

3.2.5 運行時間

運行時間與算法效率密切相關，時間較短則算法效率快，性能較好。

表1是從上述5個方面對不同算法進行客觀比較的結果。從表中各項指標可以看出，上述幾種算法處理后的圖像均有明顯的改善；本文算法標準差的值較低，這是由于本文采用了小波變換的融合策略，這一過程會降低圖像的對比度；除此之外，較其他算法而言，本文算法除標準差之外的其他數值均有所提高，增強后的圖像在色彩、清晰度方面更符合人眼的視覺效果，圖像的層次結構更清楚，細節信息明顯增加。

表1 不同算法對低照度彩色圖像增強結果比

圖5對各算法的運行時間做了對比。MSR算法耗時最短。MSRCR在MSR的基礎上引入了彩色因子，相對于MSR算法時間較長。本文算法將MSR算法處理后的圖像與LOG算子檢測后的圖像進行融合，所用時間較長，但基本和MSRCR算法相當。

圖5 各算法運行時間對比

4 結束語

為了改善經典Retinex算法出現色彩失真、邊界保持性差等問題，本文提出基于融合策略的改進Retinex低照度圖像增強算法。首先，針對RGB顏色空間色彩失真的問題，考慮只對亮度空間進行算法增強以避免顏色失真，因此采用線性轉換方便的，計算量小的YIQ空間，得到色彩保真度較高的圖像；然后采用LOG算子對RGB顏色空間的3個分量進行邊緣檢測，獲得輪廓細節清晰的圖像；最后將兩副圖像采用小波變換進行圖像融合得到無色彩失真、紋理細節清晰的增強圖像。本文算法處理后的圖像，從主觀和客觀兩方面都有較高的評價，有利于人眼的觀察以及后續圖像的處理。但是，本文算法在小波變換的閾值選擇以及匹配度計算上存在不足，進一步選擇自適應閾值參數和準確的匹配度是未研究方向。