基于圖像融合策略的Retinex背光圖像增強算法

馬 康，崔子冠，干宗良，唐貴進，劉 峰

(1.南京郵電大學 通信與信息工程學院,江蘇 南京 210003；2.南京郵電大學 江蘇省圖像處理與圖像通信重點實驗室，江蘇 南京 210003)

基于圖像融合策略的Retinex背光圖像增強算法

馬 康1,2，崔子冠1,2，干宗良1,2，唐貴進1,2，劉 峰1,2

(1.南京郵電大學 通信與信息工程學院,江蘇 南京 210003；2.南京郵電大學 江蘇省圖像處理與圖像通信重點實驗室，江蘇 南京 210003)

Retinex是一種基于人類視覺的亮度和顏色感知的模型，在圖像增強領域有著廣泛的應用。背光作為常見的場景，使得拍攝到的圖像存在暗區域不清晰、信息丟失等問題，影響圖像的進一步分析和識別。為了提高對這類圖像的增強效果，提出了一種基于圖像融合策略的Retinex背光圖像增強算法。該算法通過原始圖像獲取白平衡和增強圖像，進行顏色校正和對比度增強，再分別對這兩幅圖像求其權重圖以實現拉普拉斯金字塔融合，從而得到增強圖像。權重圖突顯了背光區域的細節信息，與融合技術相結合，可有效提高背光區域的增強效果，獲得對比度高、色彩豐富的增強圖像。實驗結果表明，與已有方法相比，所提出的圖像增強算法能夠更好地保留圖像的細節信息，有效提高背光圖像的對比度和清晰度。

Retinex；背光圖像增強；權重圖；融合策略

0 引 言

圖像傳感器在采集圖像時，有時會拍攝到主體很暗但背景很亮的圖像，將這種圖像稱為背光圖像。當采集到背光圖像時，通常需要對該圖像進行增強等處理以使內容清晰有效。但是，目前背光圖像的增強處理仍然沒有成熟的解決方案。復雜的光線條件極大地增加了背光圖像處理的難度。傳統的Retinex增強方法，往往會造成背光圖像的暗區域細節增強不明顯，或者背景亮區域被過度增強的現象，同時，暗區域存在一定的色彩丟失現象，增強后的圖片色彩不自然[1]，不僅影響視覺感受，而且對一系列后續的圖像處理任務(如圖像分割、特征提取、超分辨率重建等)都會造成一定的困難。Retinex理論指出，人的眼睛之所以能感知到物體的顏色信息是由于光照與物體兩者相互作用的結果，而且光照對物體顏色的影響不是決定物體顏色的主要原因，真正起作用的是物體對光照的反射能力。該理論的本質有助于得到圖像中物體的本來面貌，即物體的反射圖像。

基于Retinex理論的圖像增強算法大體分為三個階段。第一階段：任意路徑方法，由Land等[2]在1977年提出，路徑法的分析模型很復雜且處理效率較低。第二階段：中心-環繞法[3-4]，由Jobson等提出，并由此發展出單尺度和多尺度模型，但無論是單尺度還是多尺度中心-環繞法，都存在光暈、偽影等問題。第三階段：變分框架下的Retinex方法[5]，Kimmel最先提出該算法，并通過實驗證明，變分形式的Retinex方法既能保證動態范圍壓縮，也能很好地保持邊緣細節信息。

圖像融合即多幅圖像各取所需結合為最終圖像，以滿足人們的需求效果[6]。圖像融合的方法有很多，但通過分析和總結，基本可分成兩大類：基于小波分解的相關算法和基于金字塔融合算法。針對不同的圖像，融合算法會有很大差異，這也導致至今沒有普遍適應性的融合算法出現。但在背光圖像增強的研究中發現，融合算法可以作為圖像增強的工具，即通過金字塔融合的方法來整合多幅圖像的信息，使有效信息最大化，最終得到超越單幅圖像效果的融合圖像。

不同的Retinex算法對圖像都有一定的增強效果，但針對背光情況，算法都存在各自的缺點，如背景過分增強、色彩失真等。為了提高對背光圖像的增強效果，提出了基于融合策略的Retinex增強算法，并選取了直方圖均衡方法、帶色彩恢復的Retinex算法(Multi-Scale Retinex with Color Restoration，MSRCR)和變分框架Retinex算法與該算法進行了對比。

1 提出的算法

Retinex算法從人類視覺形成機制出發，有效去除光照對圖像的影響，它能夠平衡動態范圍壓縮、邊緣增強和顏色恒常三個方面，從而增強圖像的可視性。變分框架Retinex算法目前在圖像增強領域得到了廣泛應用和研究，針對背光圖片能一定程度消除復雜光線的影響，使得暗光區域得到增強；融合策略也作為增強的一種手段，充分利用白平衡圖像和Retinex增強圖像中的局部特征，提取有用的信息加以融合，從而使最終的圖像信息更加豐富，增強效果更顯著。

1.1 算法流程

針對背光圖片明暗對比強、暗光區域存在色彩丟失等特征，分別采用改進的變分框架Retinex算法和白平衡算法對原始圖像進行處理，以提高整幅圖像的對比度和彩色均衡性，再對處理后的兩幅圖片分別求亮度權重圖、色度權重圖和顯著度權重圖，最后對輸入圖與其對應的權重圖進行金字塔融合。圖1給出了提出算法流程。

圖1 算法流程

1.2 改進的WhitePatchRetinex白平衡算法

白平衡可以消除因光線條件不同給圖片帶來的顏色失真，從而改善觀察者的視覺效果。對于一幅圖像來說，物體對光線的反射特性以及光線的顏色共同決定了人眼所看到的物體顏色。為了盡可能去除對物體顏色影響至深的光源因素，可以設法獲得物體在某一經典光源下的顏色，還原受影響的圖像，白平衡算法就可以達到這一功能。從廣義的角度來描述白平衡算法，就是為了恢復色彩的一致性，將在未知光源下拍攝到的物體顏色，轉換成在經典光源下的物體色彩，這也是白平衡算法的核心。文中采用WhitePatchRetinex算法，即白點檢測法[7]，并加以改進，改善對背光圖片的色彩校正效果。

估計光源強度Li是WhitePatch算法的核心，傳統方法是求三個顏色通道中像素的最大值作為Li。根據背光圖像直方圖兩端分布比普通圖像多的特點，求原始圖像每個通道的累計直方圖，取累計到某一個值p*n時對應的像素值作為Li。其中p為百分值，實驗取1%～5%，n為圖像的像素點數。

具體步驟如下：

(1)將原始背光圖像分為RGB三個通道，并求出每個通道的累計直方圖；

(2)選取各個通道p%個元素，結合直方圖數據求出每個通道的估計光源強度Li；

(3)R、G、B三個通道的原始數據除以步驟(2)中估計出的Li，得到均衡后的新像素值；

(4)合并三通道新的數據，得到白平衡圖像。

文中改進方法可以獲得更好的白平衡效果，依靠上述白平衡算法對原圖像進行處理，在一定程度上解決原始背光圖像中色偏的問題，但是想獲得更清晰的圖像，還需解決原圖像在背光區域的亮度和對比度等問題。

1.3 改進的Retinex增強算法

Retinex理論的本質思想是得到圖像中去除光照影響后物體本來的面貌，即物體的反射圖像，根據式(1)只要求出照射分量L(x,y)即可求得反射分量R(x,y)。該算法的核心是對傳輸光線照射分量的有效估計[8]。它可通過濾波等方法從源圖像S(x,y)中估計出來，有了照射分量，根據Retinex理論，在對數域用源圖像減去照射分量得到反射分量信息。

S(x,y)=L(x,y)R(x,y)

(1)

為了更好地增強圖像，設計一個預處理過程來改進變分框架Retinex算法，并且不需要像傳統的SSR(Single Scale Retinex)、MSR(Multi-Scale Retinex)算法在對數域進行運算，克服丟失邊緣信息等缺點。

1.3.1 預處理

為了消除光照不均勻對Retinex算法的影響，在增強之前先對輸入圖像進行預處理：

(2)

其中，Si和So分別為輸入與輸出圖像；max、min為輸入圖像Si中的最大和最小像素值；γ的范圍取[0,1]。

當γ的值較小時，低像素的值會被拉伸，同時高像素值得到壓縮，這樣做的最大優點是讓低亮度區域像素值范圍得到擴展，提高了對比度，有利于后續Retinex算法的處理。

1.3.2 變分框架Retinex增強算法

背光圖像明暗對比較強，為了避免對數域轉換帶來邊緣信息的丟失，采用改進的變分框架Retinex算法[9]，避免在對數域的運算，表達式為：

(3)

將顏色空間轉換到HSV后獲取亮度值V，高通濾波后得L0作為初始化的L，運用最優化求解方法，不斷迭代R和L，可求得：

R=

(4)

(5)

求得反射分量后進行增強處理，再通過S=RL求得增強后的圖像。變分框架處理背光圖像時，也存在一些缺點，如背景過度增強、圖像不自然等情況，通過以下改進步驟來有效消除這些影響。

1.4 權重圖

經過Retinex增強后的圖像仍存在局部亮度較低等缺點，因為白平衡、對比度增強的操作是針對整幅圖像進行的，沒有考慮局部信息，對背光圖片來說，局部區域亮度低，而背景正常或高亮，在經過上述處理后，背景會過度增強。為了克服這個缺點，引入權重圖的方法，更好地利用局部信息來得到最終結果[10]。

通過對背光圖像特點的分析，可以看到，圖像的亮度和色度信息以及圖像中感興趣目標的清晰程度是研究的焦點。因此，定義三種權重圖：照度圖、色度圖和顯著圖，來計算輸入圖像相關的細節信息[11]，最后通過融合算法整合成一幅信息量豐富、觀察效果良好的圖像。圖2給出了通過提出方法得到的三種權重圖。獲取三種權重圖的具體方法如下：

(1)照度權重圖。

照度刻畫了物體的明亮程度，定義照度圖來描述圖像的亮度信息。之前通過原始背光圖像獲得了白平衡和Retinex增強圖像，為了充分利用兩幅圖像中的信息，同時提取兩幅圖像的亮度值分別進行計算，最后進行均衡。計算方法是先求得亮度分量L(HSV空間的V分量)，再計算每幅輸入圖的R、G、B通道與各自的亮度分量的標準差，最終求得照度圖。把照度圖作為權重圖的一部分，可以起到均衡亮度的效果。

(6)

其中，k表示輸入圖的索引，即白平衡圖和增強圖(k=1,2)。

通過亮度權重的計算，暗光區域將分配較小的值，以減少這部分區域低像素值對最終輸出圖像的影響。

(2)色度權重圖。

圖2 由原有背光圖像得到的輸入圖及其相對應的權重圖

色度圖用來描述圖像中與顏色相關的信息，如顏色的豐富度和飽和度等。色度圖能很好體現圖像色彩的鮮艷程度。定義色度權重圖如下：

(7)

其中，k為輸入圖像索引；σ的默認值為0.3；Sa(x,y)表示(x,y)處的色度值，可以將RGB圖像轉到HSI顏色空間求得色度圖Sa(x,y)。

通過色度圖的計算，可以將接近0的值提高，從而提升暗光區域的色彩度。如圖2(c)所示，兩幅輸入圖都突顯了人物的色度值權重，而且対背景所取權重不同，這樣在融合時能更好地針對圖像中較暗的人物進行增強，同時不會讓背景過亮。

(3)顯著度權重圖。

顯著圖反映了圖像中能明顯引起人們注意的地方，文中研究圖像的背光區域就是所關注的重點區域。由于明暗對比明顯，主區域和邊緣區域存在高對比度，這很容易引起人們的注意，從而具有更大的顯著性。很多增強算法都是全局性的處理，這并不適合背光圖像，而顯著圖可以突出這類圖像的顯著區域，同時減少亮度很高區域的增強。通過顯著圖提取出局部區域的輪廓，進一步增加其相應的權重值，從而達到增強圖像對比度的效果。文中采用Achanta[12]提出的顯著性區域檢測算法，分析圖像的空間頻域信息，利用多個基于高斯函數的帶通濾波器不斷疊加得到顯著度圖。算法定義顯著度的表達式為：

(8)

顯著性區域檢測算法所需參數少，從而提高了計算效率，而且計算所得的顯著性權重圖邊緣特性保持較好，所以采用該算法。背光圖像存在的明暗對比關系也利于顯著度的提取。求得的顯著度權重圖如圖2(d)所示。

在應用融合策略時，若要使最終增強結果具有較好的清晰度，必須選取合適的輸入圖和權重圖。圖像融合作為增強工具，主要作用是將相關處理結果與輸入圖相結合，從而保留圖像中眾多重要的特征信息。通過融合的作用，讓輸入圖的每一個區域都受到權重圖的影響，實現信息的最大利用。在提出的增強算法中，融合過程所需的兩個輸入圖都來自原背光圖像。其中，第一幅輸入圖利用白平衡處理消除了原圖像的色偏，而第二幅輸入圖則通過變分Retinex算法以增強圖像的對比度。

1.5 拉普拉斯金字塔融合

通過前面的分析，得到了兩幅輸入圖和基于輸入圖的三幅權重圖。對求得的各個權重圖進行歸一化處理，以便于對輸入圖的加權融合。每幅輸入圖的權重圖的標準化值表示為：

(9)

其中，WL1=WL_1/(WL_1+WL_2)，即為輸入圖像I1照度圖的歸一化值；WL_1和WL_2為亮度權重值，由式(5)求得。按照同樣的方法繼續算出色度圖的歸一化值WC1，以及顯著圖的歸一化值WS1。I2求解方式是一樣的。

最終的輸出圖像由輸入圖各自和歸一化的權值相乘得到的兩幅圖進行融合得到：

(10)

文中算法采用拉普拉斯金字塔[13-14]通過不同尺度的劃分來分解輸入圖。分解后采用高斯金字塔計算每一級的歸一化權重圖。高斯金字塔和拉普拉斯金字塔在應用時具有相同數目的分解級數，所以拉普拉斯輸入圖與高斯規范化權重圖的融合過程可以在每個級數上獨立地展開計算，從而生成最終的融合金字塔。此融合處理過程如下所示：

(11)

其中，l為金字塔的等級數目，默認數值為3；k為編號，即輸入圖1、輸入圖2；L{I}為對圖I進行拉普拉斯金字塔分解操作；G{W}為對歸一化權重圖W進行高斯金字塔操作。

整個過程采用自底向上的金字塔操作方式，在金字塔的每一級分別按式(10)進行計算。通過計算，可以分別得到兩個輸入圖的融合結果，最后將兩幅融合圖像的每一像素進行點乘的全局操作，獲得最終的增強圖像，即

(12)

2 實驗結果及分析

為了驗證算法的有效性和實用性，采用Matlab在Core(TM) i5，3.00 GHz，8 GB內存的PC機上進行了對比實驗。

實驗選取直方圖均衡方法、帶色彩恢復的Retinex算法(MSRCR)、變分框架Retinex算法與文中算法進行對比。均衡化算法是圖像增強方法的典型代表，MSRCR[14]是對單尺度Retinex(SSR)和多尺度Retinex(MSR)的優化，是對數域處理的經典算法。對比結果如圖3和圖4所示。

圖3 對比結果(1)

圖4 對比結果(2)

實驗結果表明，均衡化方法在增強明暗對比明顯的背光圖像時突顯了圖像噪聲，清晰度明顯降低。MSRCR算法使圖像整體變得很亮，細節丟失嚴重且很不自然。變分框架Retinex算法相對均衡化和MSRCR有提高，但是背景和暗光區域的增強的區分不明顯，整體效果不自然且有局部失真。文中算法對于背光圖片，暗光區域得到增強，同時背景也不會過亮或過暗，保留了原圖很多細節信息，整體上色彩飽和度、清晰度、自然程度都很好，尤其對比變分框架Retinex算法各項指標都有提升，很好地驗證了該算法的有效性。

為了更客觀地衡量算法的增強效果，采用對比度、清晰度、信息熵三種客觀評價標準進行分析評測，數據見表1。

一幅圖像的對比度對視覺效果影響較大，對比度越大，圖像越清晰醒目，增強效果越好，其計算公式如下：

(13)

其中，δ(i,j)=|i,j|為相鄰像素間的灰度差；Pδ(i,j)為相鄰像素間灰度差為δ的像素分布概率。

表1 各種增強算法客觀評價結果對比

采用的對比度增量是增強后的圖像與原圖對比度之比，反映圖像增強前后對比度的變化程度，越大表示增強效果越好。

清晰度是指人眼宏觀看到的圖像的清晰程度，定義為圖像的空間頻率，反映圖像總體的活躍程度，其數值越大，效果越好。清晰度計算公式為：

(14)

其中，R為行頻率，C為列頻率，其計算公式為:

(15)

(16)

信息熵，圖像所含內容的豐富程度，其計算公式為：

(17)

其中，pi是值為i的像素在圖像中的統計概率。

信息熵的值越大，表明圖像所含的信息量越多，效果越好。

由表1可見，文中融合方法的清晰化效果較為明顯，能夠得到對比度、色彩和細節信息均適度增強的處理結果。主要原因在于傳統的均衡化方法是全局性增強，增強有用信息的過程中原有的噪聲也被放大，對背光圖像而言就是本來很亮的地方同時被增強，破壞了整體視覺效果。而文中算法通過融合策略，利用相關權重圖在突顯圖像細節的同時，很好地抑制了圖像中不需要太多關注的信息和噪聲。從表1可以看出，均衡化的方法可以提高對比度，但實際觀察效果并不好；MSRCR算法提升了圖像的整體亮度，但對比度和清晰度方面表現很差；變分框架Retinex算法相對于MSRCR各項指標均有提高，但在對比度上還有提升空間，從圖3、4也可以看出，暗光區域的增強不夠明顯；文中算法在清晰度上有較大提升，從信息熵的數據來看，也很好地保留了圖像細節等信息，對比其他算法，都具有一定的優勢，而且也能達到令人滿意的主觀視覺效果。

3 結束語

針對背光圖像主體較暗背景過亮影響視覺效果等問題，提出了一種基于融合策略的Retinex背光圖像增強算法。該算法利用權重融合的方法，通過選取合適的輸入圖與權重圖，達到了增強的目的。相比于MSRCR、變分框架Retinex等算法，該算法可以較好地處理背光圖像，且最終結果大大減輕了光暈偽影、細節丟失、圖像不自然等問題。但也存在不足，對于背景特別亮的背光圖像，由于光照的嚴重不均勻會導致暗光區域增強不明顯，過亮的背景影響整體視覺效果，針對這類圖像算法還有待改進。

[1] Wang S,Zheng J,Hu H M,et al.Naturalness preserved enhancement algorithm for non-uniform illumination images[J].IEEE Transactions on Image Processing,2013,22(9):3538-3548.

[2] Land E H.The retinex theory of color vision[J].Scientific American,1977,237(6):108-128.

[3] Funt B,Ciurea F,McCann J.Retinex in Matlab[J].Journal of Electronic Imaging,2004,13(1):48-57.

[4] Jobson D J,Rahaman Z,Woodell G A.Properties and performance of a center/surround retinex[J].IEEE Transactions on Image Processing,1997,6(3):451-462.

[5] Ng M K,Wang W.A total variation model for retinex[J].SIAM Journal on Imaging Sciences,2011,4(1):345-365.

[6] 席 亮.基于量子力學和拉普拉斯金字塔的圖像融合方法[J].計算機與現代化,2015(4):37-41.

[7] Ebner M.A parallel algorithm for color constancy[J].Journal of Parallel and Distributed Computing,2004,64(1):79-88.

[8] 王書民,張愛武,胡少興,等.一種基于全局和局部光照估計的Retinex圖像增強算法[J].科學技術與工程,2015,15(34):101-104.

[9] Fu Xueyang,Sun Ye,Li Minghui,et al.A novel retinex based approach for image enhancement with illumination adjustment[C]//ICASSP.[s.l.]:[s.n.],2014:1190-1194.

[10] Ancuti C O,Ancuti C.Single image dehazing by multi-scale fusion[J].IEEE Transactions on Image Processing,2013,22(8):3271-3282.

[11] 郭 璠,唐 琎,蔡自興.基于融合策略的單幅圖像去霧算法[J].通信學報,2014,35(7):199-207.

[12] Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection[C]//Proceedings of CVPR.Piscataway,USA:[s.n.],2009:1597-1604.

[13] Burt P,Adelson T.The Laplacian pyramid as a compact image code[J].IEEE Transactions on Communication,1983,31(4):671-679.

[14] 陳 浩,王延杰.基于拉普拉斯金字塔變換的圖像融合算法研究[J].激光與紅外,2009,39(4):439-442.

Backlight Image Enhancement Algorithm of Retinex Based on Image Fusion Strategy

MA Kang1,2，CUI Zi-guan1,2，GAN Zong-liang1,2，TANG Gui-jin1,2，LIU Feng1,2

(1.College of Telecommunications & Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China;2.Key Lab on Image Processing and Image Communication of Jiangsu Province,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

Retinex is a model of brightness and color perception based on human vision,which has wide applications in the field of image enhancement.As a common scene,backlight could make captured images blur in their dark areas,loss of information and others,which could impact further analysis and detection on the image.In order to improve the enhancement effect of such images,backlight image enhancement algorithm using Retinex based on image fusion strategy is proposed.It gets both the white balance and enhanced images by original image to carry on color correction and contrast enhancement.Then two images are achieved weight maps to implement Laplacian pyramid fusion for enhanced image.Weights maps highlights the details of the backlight region,which can effectively raise the enhancement effect of backlight area combined with fusion technology and acquire identified images with high contrast and ample hues.Compared with other existing methods,experimental results show that the proposed algorithm has retained the details and promoted the contrast and definition of backlight image.

Retinex;backlight image enhancement;weight maps;fusion strategy

2016-06-21

2016-09-28 網絡出版時間：2017-07-05

國家自然科學基金資助項目(61501260,61471201,61471203)；江蘇省自然科學青年基金(BK20130867)；江蘇省高校自然科學重大項目(13KJA510004)；江蘇省六大人才高峰(2014-DZXX-008)；南京郵電大學校科研基金(NY214031)；南京郵電大學“1311人才計劃”資助課題

馬 康(1990-)，男，碩士研究生，研究方向為暗光圖像增強技術；崔子冠，副教授，碩士生導師，通信作者，研究方向為視頻編碼與傳輸、圖像處理、視頻主觀質量評價等；干宗良，副教授，碩士生導師，研究方向為視頻監控中的圖像增強技術和視頻分析等；唐貴進，副教授，碩士生導師，研究方向為智能視頻分析；劉 峰，教授，博士生導師，研究方向為圖像處理與網絡視頻通信、高速DSP與嵌入式應用系統設計等。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170705.1649.020.html

TP301.6

A

1673-629X(2017)08-0073-06

10.3969/j.issn.1673-629X.2017.08.015