單幅夜間低照度車載視頻圖像的增強算法

孫淑杰，董燕成，湯春明，商大偉，匡 澄，常繼英

(天津工業大學 電子與信息工程學院,天津 300387)

1 概 述

現在一些國內外的汽車制造公司為一些頂配車輛裝配了HUD(head up display)平視顯示系統。配備了HUD系統的車輛，駕駛者的視線完全不必離開車前，儀表盤上的信息便直接從車前獲得，而車前的道路情況也盡在眼前，即使有突發情況，駕駛者仍有時間進行制動或其他規避操作，保障自己和他人安全。而在無照明設施的路段等情況下行車，能見度急劇下降，存在著巨大的安全隱患，對安全駕駛產生了巨大影響，最容易發生交通事故。此時也是最需要視覺輔助的時候，急需HUD系統做出改進，實時路況采集，并進行增強處理，凸顯感興趣的目標，再通過HUD系統投射到前擋風玻璃，有助于駕駛者更好地把握路況，極大地提高了行車安全性，具有極其重要的現實意義。

目前的圖像增強算法主要分為三類：第一類是基于直方圖的增強方法[1-6]。文獻[1-2]提出的算法是空域中的經典算法，易實現且效果明顯，目的是讓增強后圖像的直方圖形狀較為理想，但可能導致過增強，或者噪聲較大。為此，研究者們陸續提出一些改進的基于直方圖的增強算法。例如，Arici T等[3]提出了基于圖像特性的自適應直方圖增強算法，但是并未考慮像素間的關系；Celik T等[4]提出由像素間的相互關系繪制二維直方圖，并尋找映射關系強調差異大的灰度級以實現圖像的增強；Lee C等[5]提出使用二維直方圖的分層差表達對文獻[4]的算法進行改進。邸男等[6]提出一種結合直方圖緊湊均衡的圖像增強算法，將稀疏的直方圖分布緊湊化，構造自適應平臺閾值選取方法來增強圖像細節和抑制噪聲。但是這些基于直方圖的算法僅考慮圖像的直方圖，所以易產生邊緣效應，且出現過增強或欠增強的問題。

第二類是基于大氣散射模型的圖像增強方法。將夜間低照圖反轉看作白天有霧圖，基于大氣散射模型去霧之后再反轉作為增強后的圖像[7-9]。Dong等[7]直接將低照圖反轉帶入去霧模型，再將去霧結果反轉得到增強后圖像，其增強結果噪聲較大，顏色失真。盡管Li[8]和胡茵萌等[9]進行了改進，反轉去霧之前先采用不同的方法去噪，但由于低照圖反轉僅近似于有霧圖，并非真正的有霧降質圖，另外透射率和大氣光的估計也不準確，導致最終的增強結果仍不盡人意，主要表現為顏色失真，增強的程度較低。

第三類是基于Retinex理論[10]的增強算法。Retinex算法通過模仿人眼的視覺特性，對低照度圖像的照射圖進行估計，獲得圖像中場景的反射分量，進而實現對圖像的增強[11-16]。其中，段群等[11]使用的同態濾波算法是依據Retinex理論并從頻域的角度增強圖像。秦緒佳等[12]將Retinex理論應用到HSV空間，增強模型中的V分量。李益紅等[13]提出一種多分辨多尺度的Retinex圖像增強方法，對原始MSR算法中的中心/環繞函數進行改進。Wang等[14]提出保持圖像自然特性的增強方法，先是設計了亮通濾波器將圖像分為反射層和照射層，然后提出雙對數變換法來求取照射光，以保持圖像的自然特性。但是由于對照射層估計不準確，最終的圖像增強程度較低，且顏色失真嚴重。Fu等[15]提出將已估計好的初始照射光的不同處理結果融合為增強后的照射光，據Retinex理論重建圖像得到增強結果，由于融合結果不夠理想，導致增強結果中細節豐富的區域易產生失真。Guo等[16]估計出初始照射光后再加入圖像結構信息優化照射光，進而得到復原圖。復原效果與其他算法相比，圖像的細節信息明顯豐富了很多，但同時放大了很多噪聲，因此，該算法又加入了BM3D濾波器[17]去噪等后處理過程。另外，該算法對車載視頻圖像的處理會產生過增強現象。

針對上述夜間算法中出現的問題，文中將加權L1正則化的方法用于照射光的優化，依據Retinex理論提出一種新的夜間低照度視頻圖像的增強算法。該算法既能突出感興趣區域，又不會放大暗區域噪聲，也不會導致圖像高亮區域過增強。增強算法的結構如圖1所示。

圖1 增強算法結構

2 背 景

根據Retinex理論，車載HUD系統采集到的低照度圖像由反射光和照射光相乘得到，如式(1)。

I(x)=L(x)R(x)

(1)

其中，I(x)為當前退化圖像；L(x)為照射光；R(x)為反射光；x為像素的位置。

由式(1)可得式(2):

R(x)=I(x)/L(x)

(2)

由上式可知，如果能通過退化圖像I(x)合理地估計出其照射光L(x)，那么就可以根據式(2)得到其反射光R(x)，也即增強后的圖像?？梢娬丈涔釲(x)的估計對反射光R(x)的求取非常重要，需要具有顯著的保邊緣特性[18]。

3 文中算法

文中先對照射光進行初始估計，再將傳統去霧模型中透射率的估計方法-加權L1正則化方法應用到反射光的優化上，得到可以反映場景變化趨勢的反射光，再根據Retinex理論進一步得到增強后的圖像。

3.1 照射光初估計

對退化圖像I(x)的增強需要合理估計照射光L(x)，受文獻[19]中暗通道理論的啟發，取RGB三通道中的最大值作為初始照射光L(x)的粗略估計。

(3)

為了保留照射光L(x)的結構且使其局部細節足夠平滑，并盡量反映場景的變化趨勢，下面將對初估計的照射光L(x)進行優化。

3.2 加權L1正則化照射光優化

文中將傳統去霧模型中求取透射率的方法[20]應用到照射光L(x)的估計上。基于已估計的照射光L(x)，構建下列L1正則化目標函數對照射光進行優化。

(4)

其中，第一項為保真項；第二項為約束項。·為點乘符號；*為卷積符號；Di為濾波算子，其中包含8個Kirsch邊緣檢測算子和1個拉普拉斯算子，目的是為了保持圖像的邊緣特性。Wi為權值矩陣，對照射光L(x)的優化效果取決于對權值矩陣Wi的設計。

(5)

其中，σ取0.5。

為了求解式(4)，引入輔助變量ui來分離變量。式(4)可轉化為：

(6)

(7)

根據收縮定理[21]，式(7)的解為：

(8)

其中，sign為符號函數。

(9)

式(9)為最小二乘問題[22]，可用快速傅里葉變換(FFT)根據下式求解。

(10)

其中，F()為快速傅里葉變換(FFT)；F-1()為逆變換；F*(Di)為Di傅里葉變換的復共軛。

3.3 求取反射光

(11)

其中，R(x)為增強后的圖像；ε避免分母為0。

3.4 強光及噪聲抑制

(12)

(13)

在圖像亮度值幾乎為0的區域，m的取值應使得權值W1(x)也接近0，但對于其他需要增強的區域，m的取值應使得權值W1(x)接近1；同樣，在圖像亮度值幾乎為1的區域，n的取值應使得權值W2(x)也接近0，對于其他需要增強的區域，n的取值應使得權值W2(x)接近1。

將W1(x)和W2(x)相乘得到總權值W(x)：

W(x)=W1(x)·W2(x)

(14)

(15)

圖2 過增強及暗區域抑制結果

4 實驗結果及分析

通過對多幅車載視頻圖像進行測試，并與多種主流算法的處理結果進行比較來驗證文中算法的有效性。從主觀視覺評價和客觀定量分析兩個角度對增強后的圖像進行評價。

4.1 主觀分析評價

文中算法的增強結果與文獻[7,14-16]的增強結果對比如圖3所示。文獻[7,14-16]對車載視頻圖像的增強效果均有過增強現象，暗區域的噪聲被放大。而文中算法增強后的結果對暗區域的噪聲沒有過多放大，對需要凸顯的目標有明顯的增強，并且沒有過增強現象，輔助駕駛的同時不會使駕駛員產生暈眩。

4.2 客觀分析評價

(1)無參考圖像質量評價。

由于文中處理的夜間低照度車載視頻圖像無法獲取相應的真實圖像，故采用A Mittal等[24]提出的基于自然場景統計的無參考圖像質量評價算法(NIQE)，該算法通過計算失真圖像與無失真圖像的多元高斯模型距離來衡量圖像質量。NIQE值越低，圖像質量越高，越接近自然圖像。表1列出了NIQE算法對低照度車載視頻圖像增強的評價結果。其中圖3(a)為原圖，(b)～(f)分別為文獻[7,14-16]和文中算法的增強結果。圖結果表明，文中算法的增強結果大多數情況下具有更好的效果。

表1 車載視頻圖像增強結果的質量對比(NIQE)

圖3 各種算法對車載視頻圖像的增強結果

(2)運行時間評價。

圖4列出了文中算法和主流算法的耗時比較。其中，文獻[15]的方法耗時最少，文中算法的時間主要消耗在對照射光的優化上，但與其他算法相比速度較快。

圖4 各種算法耗時比較

5 結束語

提出了一種針對單幅夜間低照度車載視頻圖像的增強算法，該算法在初步估計了照射光的基礎上，采取了一種既能保持照射光結構，又能反映場景變化趨勢的優化方法對照射光進行優化，然后根據Retinex理論求取退化圖像的反射光，獲得增強后的圖像。實驗結果表明，該算法對車載視頻圖像的增強能夠有效避免現有主流增強算法存在的欠增強、過增強、噪聲大以及顏色失真等問題，對車載HUD系統的補充及改進有助于駕駛者更清楚地把握路況，提高行車安全性，極具現實意義。

參考文獻:

[1] KIM Y T.Contrast enhancement using brightness preserving bi-histogram equalization[J].IEEE Transactions on Consumer Electronics,1997,43(1):1-8.

[2] CHENG H D,SHI X J.A simple and effective histogram equalization approach to image enhancement[J].Digital Signal Processing,2004,14(2):158-170.

[3] ARICI T,DIKBAS S,ALTUNBASAK Y.A histogram modification framework and its application for image contrast enhancement[J].IEEE Transactions on Image Processing,2009,18(9):1921-1935.

[4] CELIK T,TJAHJADI T.Contextual and variational contrast enhancement[J].IEEE Transactions on Image Processing,2011,20(12):3431-3441.

[5] LEE C,LEE C,KI M C S.Contrast enhancement based on layered difference representation of 2D histograms[J].IEEE Transactions on Image Processing,2013,22(12):5372-5384.

[6] 邸 男,田 睿,付東輝.結合直方圖緊湊均衡的圖像增強算法[J].計算機技術與發展,2013,23(12):34-36.

[7] DONG X,WANG G,PANG Y,et al.Fast efficient algorithm for enhancement of low lighting video[C]//IEEE international conference on multimedia and expo.[s.l.]:IEEE,2011:1-6.

[8] LI L,WANG R, WANG W,et al. A low-light image enhancement method for both denoising and contrast enlarging[C]//IEEE international conference on image processing.[s.l.]:IEEE,2015:3730-3734.

[9] 胡茵萌,尚媛園,付小雁,等.大氣模型與亮度傳播圖相結合的低照度視頻增強算法[J].中國圖象圖形學報,2016,21(8):1010-1020.

[10] LAND E H.The retinex theory of color vision[J].Scientific American,1977,237(6):108-128.

[11] 段 群,吳粉俠,李 紅.雙通道分塊同態濾波彩色圖像增強算法[J].計算機技術與發展,2016,26(1):82-85.

[12] 秦緒佳,王慧玲,杜軼誠,等.HSV色彩空間的Retinex結構光圖像增強算法[J].計算機輔助設計與圖形學學報,2013,25(4):488-493.

[13] 李益紅,周曉誼.一種多分辨多尺度的Retinex彩色圖像增強算法[J].計算機工程與應用,2017,53(16):193-198.

[14] WANG S,ZHENG J,HU H M,et al.Naturalness preserved enhancement algorithm for non-uniform illumination images[J].IEEE Transactions on Image Processing,2013,22(9):3538-3548.

[15] FU X,ZENG D,HUANG Y,et al.A fusion-based enhancing method for weakly illuminated images[J].Signal Processing,2016,129:82-96.

[16] GUO X,LI Y,LING H.LIME:low-light image enhancement via illumination map estimation[J].IEEE Transactions on Image Processing,2016,26(2):982-993.

[17] DABOV K,FOI A,EGIAZARIAN K.Image denoising with block-matching and 3D filtering[J].Proceedings of SPIE,2006,6064:354-365.

[18] 戴 霞,李 輝,楊紅雨,等.基于虛擬圖像金字塔序列融合的快速圖像增強算法[J].計算機學報,2014,37(3):602-610.

[19] HE K,SUN J,TANG X.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.

[20] MENG G,WANG Y,DUAN J,et al.Efficient image dehazing with boundary constraint and contextual regularization[C]//IEEE international conference on computer vision.Washington DC,USA:IEEE Computer Society,2013:617-624.

[21] YANG J,ZHANG Y I N.Alternating direction algorithms for compressive sensing[J].SIAM Journal of Scientific Computing,2011,33:250-278.

[22] SHAN Q,JIA J,AGARWALA A.High-quality motion deblurring from a single image[J].ACM Transactions on Graphics,2008,27(3):1-10.

[23] LIN H,SHI Z.Multi-scale retinex improvement for nighttime image enhancement[J].International Journal for Light and Electron Optics,2014,125(24):7143-7148.

[24] MITTAL A,SOUNDARARAJAN R,BOVIK A C.Making a “completely blind” image quality analyzer[J].IEEE Signal Processing Letters,2013,20(3):209-212.