基于Retinex的視頻自適應增強算法

侯天峰等

摘 要： Retinex算法是圖像增強的常用方法。基于Retinex理論提出一種新的視頻光照增強算法，結合圖像全局及局部灰度特性引入補償系數，增強暗區域光照的同時克服了傳統算法處理后的人工痕跡，使處理結果更加自然；同時，算法用引導濾波估計照度圖像，在避免光暈現象的同時可以加快算法處理速度。實驗結果表明，該方法簡單有效，視覺效果提升顯著。

關鍵詞： Retinex； 圖像增強； 光照補償； 引導濾波

中圖分類號： TN911.73?34 文獻標識碼： A 文章編號： 1004?373X（2015）17?0068?04

Retinex?based self?adapting enhancement algorithm for videos

HOU Tianfeng1， CHENG Hesheng2， ZHANG Yan1

（1. School of Information Science and Engineering， Jinling College of Nanjing University， Nanjing 210000， China；

2. School of Computer， Hefei Normal University， Hefei 230601， China）

Abstract： Retinex algorithm is a common image enhancement method. Based on Retinex theory， a new video illumination enhancement algorithm is proposed， in which the compensation factor is introduced in combination with global and local grayscale characteristics of images. It can enhance the illumination in dark areas and overcome the artificial marks on images processed by traditional algorithms， which can make the processing results more natural. The guided filtering is applied to estimation illumination image by the algorithm， which can avoid halo phenomenon and accelerate the processing speed of the algorithm. The experimental results show that this method is simple and effective， with which the visual effect is promoted obviously.

Keywords： Retinex； image enhancement； illumination compensation； guided filtering

0 引 言

視頻采集過程受諸多因素影響，如夜間或者暗光拍攝條件下表現為光照不足、亮度偏低；光線遮擋使得形成的圖像一部分明亮另一部分較暗，造成光照不均；反光或強光源使得獲取的圖像亮度分布不均勾，高亮區域細節模糊。光照不足或者光照不均一方面會造成圖像主觀效果不佳，難以滿足人們視覺感官的需要，另一方面對于后續的圖像處理比如模式識別[1]、目標跟蹤都會造成較大影響。由此出現圖像增強技術對光照不均圖像進行增強處理提高質量。

圖像增強技術根據圖像質量情況和不同的應用釆用信號處理技術手段達到增強局部或者整體特征的目的[2]。針對光照不均勻圖像的增強處理，常常采用的算法主要有：灰度變換方法[3]、同態濾波方法[4]、小波變換增強[5]、基于Retinex理論的算法[6]等。其中，基于Retinex理論的增強算法具有顏色保真、細節增強和動態范圍壓縮等多個方面的優勢，它常常與其他算法結合使用可以達到更好的增強效果，目前已廣泛應用于航空航天、生物醫學、電視電影等多個方面，占據比較重要的地位。

自20世紀70年代Retinex理論提出以來，得到了很大的發展和關注。從采用同態濾波器的Retinex算法，到后來又出現了中心環繞Retinex，包括單尺度Retinex（SSR）和多尺度Retinex（MSR）以及帶顏色恢復的Retinex（MSRCR）算法等。Michael Elad引入兩種雙邊濾波器[7]，一個濾波器處理圖像的反射分量，另一個濾波器對圖像的入射分量進行估計，算法對邊緣處的增強效果也較好，在消除“光暈”方面有了一定效果。文獻[8]又提出了一種亮度修正的Retinex算法，算法將Canny算子和Retinex算法結合起來，算法首先對入射分量分析，接著采用Canny算子檢測圖像邊緣信息，該算法能夠有效消除“光暈”現象。文獻[9]提出了局部多尺度的Retinex算法，將小波變換和Retinex算法結合起來，實現了圖像色彩保真與細節增強兩者之間的權衡[10]。文獻[11]將圖像轉換到HIS空間對亮度和飽和度進行調整，同時加入影像邊緣細節特征。陳志斌等人針對煙霧區域灰度建立專門數學模型，利用信息熵進行灰度拉伸[12]。文獻[13]基于Retinex框架在小波域自適應估計照度分量。

上述改進主要關注于消除Retinex處理“光暈”現象、邊緣的增強以及圖像對比度的提升，忽略了處理所造成的人工痕跡明顯以及時間效率等問題。本文對基于Retinex理論的算法進行研究，考慮日常影視及移動設備拍攝視頻的增強處理要求，提出一種新的方法，使需要增強圖像區域看起來更加自然，而對于無需增強的圖像區域，處理后也不會變得更差。另外通過引入引導濾波使得算法滿足實時應用要求，同時消除光暈。實驗結果表明本文算法是切實有效的。

1 Retinex算法簡介

Retinex理論算法模型把原圖像分解為反射分量和入射分量，反射分量決定圖像的內在性質，而照射分量決定圖像達到的動態范圍，通過某種方法估計出圖像的低頻光照信息，進而提取出圖像的反射分量，也就是圖像的細節信息，還原物體的原貌。

雖然不同的文獻對Retinex算法的數學表達形式可能不同，但實際上它們是相似的，都是通過對照度圖像盡可能準確地估計進而提取反射圖像，最終達到增強圖像的目的。不同之處在于對照度圖像估計方式的不同。

Retinex理論算法數學模型為：

[S（x，y）=R（x，y）?L（x，y）] （1）

式中：[R]表示入射分量，它決定物體的內在性質；[L]表示照度分量，它決定了圖像像素的動態范圍。

通常需要將式（1）變換到對數域處理，一方面可以將復雜的乘法運算轉換為簡單的加法運算，另一方面對數域的數據更加接近人眼的感知能力。對式（1）兩邊取對數得：

[log（S（x，y））=log（R（x，y））+log（L（x，y））] （2）

直接獲得物體的反射分量較困難，但是可以通過先對照射分量進行估計，然后在對數域上用原圖像減去估計出的照射分量，最后得到反射分量。通常用低通濾波器對原始圖像進行卷積估計照度分量圖像，Jobson證明了采用高斯濾波函數可以得到較好的增強效果：

[G（x，y）=1G（x，y）dxdye-x2+y2c2] （3）

式中：[c]為尺度參數，通過調節[c]的大小調節增強效果。實驗表明，[c]越大，圖像的邊緣信息得到較好的保留，但是動態范圍壓縮較小；[c]越小，動態范圍能夠得到較好的壓縮，但邊緣比較模糊。

Retinex雖然能夠在一定程度上增強圖像，但是它存在處理后的圖像亮度偏高、“光暈”及處理后圖像出現色偏等問題。“光暈”存在的原因在于“空間照度變化緩慢”的假設在圖像中某些部分是不成立的，比如說明暗分明的邊界、陰影等區域。算法在計算圖像的全局照度分布時所采用的高斯卷積核是各向同性的，而且為防止結果圖像顏色的失真，要求采用的卷積核尺度較大。當尺度較大的卷積核通過明暗變化劇烈的區域時，將會嚴重模糊陰影的邊界致使模擬全局照度分布失敗，最后將導致輸出圖像的陰影邊界附加出現“光暈”現象，細節信息也丟失。

另外生成照度分量所用的低通濾波器通常選擇高斯濾波，為了抑制光暈，一些文獻提出使用雙邊濾波代替高斯濾波。這兩種濾波器帶來的卷積運算量都和濾波器支撐域成正比，大尺度卷積核會使運算量急劇增加，使處理過程緩慢，不能滿足實時視頻處理的要求。

2 基于Retinex的視頻自適應增強算法

雖然雙邊濾波等邊緣保持濾波器能抑制“光暈”現象，但時間復雜度較高；而其他的算法如考慮邊緣特性的各向異性算法[14]雖然能解決問題，但稍顯繁雜。而且Retinex處理后的圖像很多時候人工痕跡較為明顯，典型表現為圖像明亮區域抑制過多，圖像暗區域增強太過，會出現色彩失真等不自然效果，如圖1（b）和圖2（b）所示，圖1，圖2在天空、道路及燈光處都顯得失真，Artifact明顯。

考慮自然圖像的增強，往往更關注暗區域部分，而對于高光區域，如果壓縮太多，會使圖像顯得不真實；另外對于非光照不足或光照不均圖像，算法處理的結果不應該變差。為此本文考慮實際應用中，對于處理結果自然度方面的要求較為重要，提出一種視頻增強算法，利用引導濾波消除“光暈”和提高速度，滿足實時處理要求；結合圖像全局及局部灰度特性避免明顯的人工痕跡，達到自適應處理需要增強的圖像區域，同時不會影響視頻中其他正常圖像或區域質量的目的，取得較高的視覺效果。

2.1 結合全局及局部灰度特性的自適應Retinex

對于光照增強而言，一個自然的想法是對原始圖像中相對暗的區域加強補償，而對原始圖像中相對明亮的區域減少處理，從而在補償光照的同時減少Artifact，因此，可以利用圖像灰度特性改善Artifact。

圖像的灰度特性可以直接通過像素顏色值大小反映，針對視頻光照補償的應用，本文研究提出一種補償系數：

[cf（x，y）=minmaxk?meanvS（x，y），0，1] （4）

式中：[k]為經驗常量，[k∈（0，1）；][S（x，y）]為原始圖像的像素值；[meanv]是圖像全局均值；[min]和[max]為截斷操作，保證計算出的系數范圍在[（0，1）]內。

上述補償系數綜合考慮了圖像的整體像素亮度及局部像素亮度。整體顏色均值[meanv]大小代表全局灰度特性，整體上較暗的圖像，處理后不自然度就越大，需要稍降低補償力度，因此[meanv]與[cf]成正比；局部像素點的亮度即局部灰度特性，局部暗的像素重點增強，因此[S（x，y）]與[cf]成反比，據此兩方面自適應設置增強力度。對于實驗部分圖5（a），其補償系數分布圖如圖3所示。

將式（4）代入式（3），可以得到新的計算公式：

[rcf（x，y）=cf（x，y）?r（x，y）+（1-cf（x，y））?S（x，y）] （5）

2.2 基于引導濾波的照度分量估計

引導圖像濾波器由He提出[15]，具有邊緣保持性質，濾波器與引導圖像[I]、濾波輸入圖像[p]以及輸出圖像[q]相關，[I]和[p]預先給定，可以相同。濾波結果在像素點[i]處表示成一個加權平均：

[qi=jWij（I）pj] （6）

式中：引導圖[I]和濾波輸出[q]是一個在窗口[ωk]內的局部線性模型：

[qi=ak?Ii+bk， ?i∈ωk] （7）

[ak]和[bk]是當窗口中心位于[k]時上面的線性函數的系數。在該濾波算法中，影響效果的有兩個參數[r]和[ε]。[r]是窗口[ωk]的半徑，[ε]用于界定圖像局部顏色值變化大小，在窗口大小保持不變的情況下，[ε]越大，濾波效果越明顯。

利用引導濾波估計照度圖像，可以做到算法執行時間與濾波核尺寸無關。

[Li=ak?Si+bk] （8）

3 實驗

文中所有實驗圖像來自手機拍攝視頻和影視片段，轉換到YUV格式進行處理。手機拍攝視頻尺寸為1 280×720，影視片段均從網絡電影無損截取。實驗環境為Window 7系統的PC機，利用Matlab R2010b進行編程和算法運算。所有算法均調整至最佳效果。

為了充分驗證所提算法的有效性，本文進行了大量實驗，下面選取幾組進行對比評價。

圖4為電影開頭畫面。圖4（b）為用高斯濾波估計照度圖像的處理結果，濾波核尺寸為32×32，可以看到在明暗分明的邊界（紅色矩形框區域），出現了“光暈”，這是由于高斯卷積引起照度圖像邊界模糊導致的；圖4（c）為用引導濾波計算照度圖像的結果，因為具有邊緣保持性，所以可以較好地消除“光暈”，但對圖像高亮區域不合理的抑制，導致處理結果失真（紅色箭頭指向區域）；圖4（d）為本文改進算法，引入補償系數，在增強較暗區域的同時可以使處理后圖像更加自然；圖4（e）為補償系數分布圖像。

圖5和圖6同樣為兩組影視截取畫面，圖5為綜藝節目《爸爸去哪兒》，整體偏暗，圖6為電影《木乃伊3》，存在高光區域。圖5（b）為使用引導濾波的原算法，在天空、道路及屋檐燈光處人工痕跡明顯，圖5（c）為改進算法處理結果，在增強光照的同時可以保持一種很自然的風格；圖6（b）在洞口高光及佛像處顯得不自然，而圖6（c）視覺效果更勝一籌。

4 結 語

本文著眼于視頻光照增強處理的實際應用要求，基于Retinex理論自適應補償系數消除人工痕跡保持自然度，利用引導濾波加快處理速度及避免“光暈”，滿足日常影像處理的需求。下一步的工作將關注視頻光照補償所產生的幀間亮度閃爍問題，以及圖像自然程度的定量衡量指標。

參考文獻

[1] 肖燕峰.基于Retinex理論的圖像增強陝復算法研究[D].上海：上海交通大學，2007.

[2] YU Z Y， BAJAJ C. A fast and adaptive method for image contrast enhancement [C]// Proceedings of 2004 IEEE International Conference on Image Processing. Chicage： IEEE， 2004， 2： 1001?1004.

[3] 梁琳，何衛千，雷蕾，等.光照不均圖像增強算法綜述[J].計算機應用研究，2010，27（5）：1625?1628.

[4] 焦竹青.基于同態濾波的彩色圖像光照補償萬法[J].光電子·激光，2010，21（4）：602?605.

[5] ZAFAR I M， ABDUL G， MASOOD S A. Satellite image resolution enhancement using dual?tree complex wavelet transform and Nonlocal means [J]. IEEE Geoscience and Remote Sensing Letters， 2013， 10（3）： 451?455.

[6] 蔣永馨，王孝通，徐曉剛，等.一種基于光照補償的圖像增強算法[J].電子學報，2009，37（z1）：151?155.

[7] ELAD M. Retinex by two bilateral filters [C]// Proceedings of 2005 the 5th International Conference on Scale?Space. Germany： Springer， 2005： 217?229.

[8] SUN Bo， CHEN Weifang， LI Hongyu， et al. Modified luminance based adaptive MSR [C]// Proceedings of 2007 the 4th IEEE International Conference on Image and Graphics. Washington， DC： IEEE， 2007： 116?120.

[9] 吳鎮宇，姚洪利，杜少軍.一種自適應的霧天降質圖像凊晰化方法研宄[J].光電與控制，2010，17（8）：52?56.

[10] 劉欽堂.基于Retinex算法的彩色圖像增強研究[D].哈爾濱：哈爾濱工程大學，2012.

[11] 邵振峰，白云，周熙然.改進多尺度Retinex理論的低照度遙感影像增強方法[J].武漢大學學報，2015，40（1）：32?39.

[12] 陳志斌，張超，宋巖，等.灰度拉伸Retinex在大動態范圍煙霧圖像增強中的應用[J].紅外與激光工程，2014，43（9）：3146?3150.

[13] EUNSUNG L， SANGJIN K， WONSEOK K. Contrast enhancement using dominant brightness level analysis and adaptive intensity transformation for remote sensing images [J]. IEEE Geoscience and Remote Sensing Letters， 2013， 10（1）： 62?66.

[14] 唐磊，趙春霞，王鴻南，等.基于各向異性Retinex的路面圖像陰影消除[J].中國圖象圖形學報，2008，13（2）：264?268.

[15] HE Kaiming， SUN Jian， TANG Xiaoou. Guided image filtering [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（6）： 1397?1409.