改進非線性亮度提升模型的逆光圖像恢復

滿 樂，趙 鈺，王好賢

(哈爾濱工業大學(威海) 信息與電氣工程學院，山東 威海 264209)

(*通信作者電子郵箱dolphinmanle@hotmail.com)

改進非線性亮度提升模型的逆光圖像恢復

滿 樂*，趙 鈺，王好賢

(哈爾濱工業大學(威海) 信息與電氣工程學院，山東 威海 264209)

(*通信作者電子郵箱dolphinmanle@hotmail.com)

針對因為拍照時光線不足或拍攝角度不佳而拍出逆光圖像影響肉眼觀察或計算機識別的問題，提出一種改進的非線性亮度提升模型的逆光圖像恢復手段。已有的非線性亮度提升方法雖然能夠提高逆光區域的亮度，但往往由于過度提升導致高亮度區域失真。在已有的圖像亮度處理算法基礎上，提出基于非線性亮度提升模型的自適應逆光圖像恢復方法，采用對數函數的轉換關系對圖像亮度進行分段處理，其分段閾值由Otsu閾值分割決定，其轉換函數中逆光區域的調節系數由逆光區像素面積比計算得到。仿真結果顯示，新方法提升了圖像質量且確保了整幅圖片自然不失真，與利用對數函數轉換關系，并在HSI空間模型下對圖像亮度進行調節的方法相比，提升了處理性能。

逆光圖像；亮度；非線性；自適應； Otsu閾值處理

0 引言

相機在拍攝過程中通過感光芯片[1-2]來調節感光程度，因此當相機鏡頭正對光源而拍攝主體背對光源時，感光芯片感應到拍攝主體的反射光線較弱，感應到周圍光源的反射光線較強[3]。成像后，圖像的主體亮度較低，周圍環境亮度較高。逆光條件得到的圖像，主體部分較暗，且與周圍環境形成強烈反差，因此難以獲取該部分的有效信息，影響信息的提取。圖1中的四幅圖片均在逆光環境下拍攝得到，觀察發現逆光圖像中的確存在高低對比明顯的亮度差異，且主體亮度過低，會影響對其細節信息的有效快速識別。因此，恢復逆光圖像很有必要。

恢復逆光圖像應該有利于肉眼觀測和計算機的快速準確識別。基于此，需要提升逆光圖像低亮度區域的亮度，盡量保持高亮度區的亮度不變，整幅圖片恢復后應該自然不失真。

圖1 逆光條件下拍攝圖像

在圖像處理方面，已有很多研究者對改變圖像亮度的方法進行了探究。文獻[4]對交通圖像進行了基于時間變化的自適應亮度調整，便于車輛檢測和車牌識別；文獻[5]對直方圖與亮度的關系進行了探究，發現適于人眼觀測的圖像亮度直方圖應該均勻分布；文獻[6]通過直方圖的均衡化來實現亮度調節；文獻[7]和文獻[8]對圖像進行了亮度調節和小波變換融合，通過改變小波變化基來改變原圖像的亮度，提升了圖像的可讀性；文獻[9]對彩色圖像進行了基于非線性Retinex反射模型的增強，改善了圖像的局部對比度；文獻[10]提出了一種基于同態濾波原理的井下光照不均圖像的處理方法，抑制了低頻分量，增強了高頻分量；文獻[11]對逆光圖像的亮度進行了分段線性處理，并證明了在HSI空間處理亮度比直方圖均衡法、同態濾波法和Retinex理論處理亮度都有效。在空間域對亮度進行處理的研究中，文獻[12]采用對數函數的轉換關系，在HSI空間模型下對圖像的亮度進行調節，改善了圖像畫質；文獻[13]利用自適應伽馬校正模型對在HSI空間模型下的圖像亮度進行調節，提高了對比度；文獻[14]中分別采用了不同參數的冪函數形式在HSI空間模型中進行亮度調節，以降低光照不均對圖片信息采集的影響。

從某種意義上講，對逆光圖像的恢復應該有利于肉眼觀測和計算機的快速準確識別。為了能快速準確地處理逆光圖像，本文借鑒文獻[11-14]的思路，在空間域對亮度進行處理。

1 現有的亮度調節模型

圖像像素點的色彩可以用RGB彩色空間內的向量表示，如圖2(a)；也可以用HSI彩色空間內的向量表示，如圖2(b)。HSI彩色空間的H代表色度(Hue)，S代表飽和度(Saturation)，I代表亮度(Intensity)。逆光情況對圖像的亮度影響較大，而對圖像的色度影響較小，而且在HSI模型中，亮度分量I與圖像中彩色信息無關，可以單獨處理，因此本文選擇在HSI的模型中處理圖像亮度。

圖2 彩色空間表示方式

圖像中每個像素色彩從RGB到HSI模型轉換公式[15]為：

(1)

(2)

(3)

其中:假設R、G、B值已歸一化到區間[0,1]內，則S、I的取值范圍為[0,1]，H的取值范圍為[0,360)，θ的取值如式(4)。

(4)

這種轉換使得本文在后面的算法處理中可以單獨對亮度分量I進行處理，大大簡化了運算量。假設逆光圖像中坐標為(x，y)處像素點歸一化的亮度為fn(x，y)，調節后的亮度為gn(x，y)。fn(x，y)、gn(x，y)的取值范圍都為[0,1](數值越大代表亮度越高)，則逆光恢復處理過程可以看作將歸一化后的圖像亮度fn(x，y)經過一個變換函數Tr進行處理。即:

gn(x,y)=Tr[fn(x,y)]

(5)

為了方便敘述，在需要恢復的逆光圖像中，本文將逆光條件下產生的亮度較低的區域稱為逆光區域，光源較強的條件下產生的亮度較高的區域稱為非逆光區域。對逆光圖像進行恢復，需要提升逆光區域的亮度且盡量保證原始非逆光區域的亮度值。

1.1 分段線性調節

亮度分段線性調節[11,16]的關系式為:

(6)

通過改變式(6)中k1、k2、b1、b2和τ的值來改變亮度調節結果。當k1=8/3，k2=2/7，b1=0，b2=5/7，τ=0.3時，恢復結果如圖3所示。由圖3可以看出，該分段模型雖然使逆光部分得到改善，但是處理效果不佳，且出現了明暗交接處失真的情況。失真情況是由函數分段處的不平滑造成的。若想在逆光部分得到較好的處理，非逆光部分的亮度就會提升得過高，這樣也會造成失真。顯然分段線性模型對逆光圖像的處理并不能完全滿足人們的需求。

圖3 分段線性調節結果對比

1.2 非線性調節

文獻[12]和文獻[14]中分別采用了對數函數和不同參數的冪函數形式進行亮度調節。基于對逆光圖像亮度處理的需求，選擇對數函數[12]關系來改善對高亮度區的調節，公式為：

gn(x,y)=C×lb[D×fn(x,y)+1]

(7)

為了方便敘述，稱D為調節系數，用來改變變換函數的亮度提升性能。C的取值如下:

(8)

選擇D=20，對圖1(a)進行逆光處理，結果如圖4所示，雖然處理效果比線性調節好了許多，但是高亮度區仍然存在失真情況。

圖4 非線性調節結果對比

2 對非線性亮度調節的改進

現有的對數亮度調節模型雖然都能夠對逆光區域的亮度進行提升，但對非逆光區域的處理仍然不理想。因此本文提出一種改進方式，采取分段調節方式，對圖像逆光區域進行自適應調節；對圖像非逆光區域，在保證調節函數連續且逐漸收斂于直線gn(x，y)=fn(x，y)的情況下，選取合適的調節系數函數進行亮度調節。

2.1 分段閾值選取

將圖像的亮度區間分段為兩段，分段閾值T∈[0,1]。令fn(x,y)≤T表示逆光區域,fn(x,y)>T表示非逆光區域。

(9)

式中:P1(T)為像素被分到C1的概率，m(T)為直至T級的亮度累加均值，mI為整個圖像的平均亮度。

(10)

(11)

(12)

2.2 調節系數選取

在用對數函數進行調節時，單純地將D選取為某一正實數雖然能夠對部分逆光圖像得到較好的恢復效果，但是對整體較暗的圖像恢復程度差；且當fn(x，y)較大時，仍然有較大的亮度提升，這是不希望得到的。因此本文選取分段函數作為變換函數：

gn(x,y)=

(13)

(14)

式中:分段閾值T由Otsu閾值分割方法計算得到。Di(i=1,2)為第i段的調節系數，當fn(x,y)≤T時，選擇D1作為調節系數；當fn(x,y)>T時，選擇D2作為調節系數。本文希望得到這樣的調節系數：Di是fn(x，y)的連續函數；當fn(x,y)≤T，D1值較大，當fn(x,y)≤T，D2值逐漸變小，且變換函數逐漸收斂于直線gn(x，y)=fn(x，y)，即盡量維持高亮度區域的亮度原值。基于以上要求，Di的選取采用如下公式:

(15)

其中：A為某一正實數，A越大，fn(x,y)≤T部分的亮度提升幅度越高。通過多次實驗發現，A值并非越大越好，因為A值過大會導致逆光區域由于亮度過分提高而產生嚴重的圖像失真。本文希望：當逆光區域面積較大而非逆光區域面積較小時，fn(x,y)≤T部分得到較高的亮度提升；而當逆光區域面積較小而非逆光區域面積較大時，fn(x,y)≤T部分得到較小的亮度提升。基于此，A的選取采用如下公式：

(16)

其中：k為某一正常數，取k=50；n[fn(x,y)≤T]表示fn(x,y)≤T的像素個數。

基于上述原理，圖像恢復的過程如圖5所示。

圖5 本文算法流程

3 結果及分析

3.1 恢復結果應用

本文所提出的改進算法在內存為8GB(型號為DDRRME510H38C6T- 400)、CPU頻率為3.2GHz、操作系統為64位Windows7的計算機上運行。圖6給出了原始逆光圖像、本文改進算法所得處理結果和文獻[12]的處理結果。

利用本文的改進方法，可以有效恢復原始圖像中亮度較低部分的細節，并且與文獻[12]的傳統非線性逆光處理方法相比，本文改進方法對原始圖像的高亮度部分改動較小，沒有產生失真。圖像1中女生的頭發和衣服由于逆光原因難以辨別，本文改進方法結果圖中能夠明顯分辨出女生的頭發和裙子顏色，與文獻[12]的傳統方法結果相比，本文方法能夠保持原始圖像中的高亮區域，而文獻[12]方法的結果中由于海面亮度過高而產生了失真；圖像2中彈琴女孩的膚色和耳環難以辨別，本文改進方法結果圖中能夠明顯分辨出女孩的膚色和耳環，與文獻[12]的傳統方法結果相比，本文方法能夠保持原始圖像中的高亮區域，而文獻[12]方法的結果中門外部分亮度由于過高而丟失了部分細節信息；圖像3中三個人以及圖片左半部分的門內的人物難以辨別，本文改進方法結果圖中能夠明顯分辨出人物，與文獻[12]的傳統方法結果相比，本文方法能夠保持原始圖像中的高亮區域，而文獻[12]方法的結果中右上角的亮度由于過高而丟失了樹枝的細節；圖像4中車頭和樹木由于逆光原因難以辨別，本文改進方法結果圖中能夠明顯分辨出車頭顏色和樹木顏色等逆光部分的細節，與文獻[12]的傳統方法結果相比，本文方法能夠保持原始圖像中的高亮區域，而文獻[12]方法的結果中天空的亮度由于過高而丟失了部分電線的信息；圖像5中路燈和綠樹由于逆光原因難以辨別，本文改進方法結果圖中能夠明顯分辨出綠樹顏色和路燈，與文獻[12]的傳統方法結果相比，本文方法能夠恢復原始路燈和車輛顏色并保持原始圖像中的高亮區域，而文獻[12]方法的結果中由于提高了對比度導致失真。

圖6 兩種方法恢復結果對比

3.2 恢復效果判斷準則

為了更好地對比逆光圖像的非線性亮度調節方法，本文對調節時長和調節后的亮度比例進行了統計，并將本文改進方法和文獻[12]的方法在時效性和處理效果上進行了對比，結果如表1、2所示。從表中數據可以看出，雖然本文所提出的改進方法在處理時間上略長于文獻[12]的方法，但本文所提出的改進方法對高亮度區域的像素改動較少，而文獻[12]在提升亮度的同時，對高亮度區域的改動較大。因此可以說本文的改進方法時效性雖然一般，但處理效果較好。

從表1還可以看出，處理的運行時間與圖像的大小，即像素值(M×N)直接相關，M×N越大，處理時間越長。改進方法在處理速度上要慢于文獻[12]的傳統方法，這主要是由于改進的方法是對亮度進行分段非線性調節，而非整體非線性調節，但總的來說，運行效率較高，處理速度尚可，而這主要因為本文僅選擇用HSI模型的I分量來進行逆光處理，而不是用RGB模型的三個顏色分量來處理。

表1 兩種方法處理時長統計

從表2中可以看出,在原逆光圖像中有一個普遍存在的現象：背景和主體的亮度相差比較多，背景主要在高亮度(0.7～1)范圍內，而主體主要在低亮度(0～0.3)范圍內，0.3～0.7這個中間亮度范圍內，基本上沒有像素。逆光處理主要是將低亮度區域的像素通過非線性變換轉移到中亮度區域，從處理過的數據中，本文也可以證實這一點。從表中可以看出，在0.7～1區間，改進方法結果圖的像素所占比例比傳統方法結果圖的像素所占比例更接近原始圖，改進的方法對圖像像素亮度的調節主要是將0～0.3部分調節至0.3～0.7部分，而對高亮度區(0.7～1)改動較少，而文獻[12]的傳統方法在高亮度區的改動較大。除此之外，亮度分布越均勻，范圍越廣，圖片的質量理論上越好，這點從處理圖的數據中也可以發現，本文的處理有利于更好地分辨細節。

表2 兩種方法處理前后亮度值域對比

4 結語

為了改善逆光圖像，使之能夠更好地被肉眼觀測和計算機識別，本文提出了一種對非線性亮度提升模型的改進方式。通過Otsu閾值分割方法得到分段閾值T，通過計算逆光區域像素占總像素的比值得到非逆光區域的亮度提升系數，通過分段的方式對逆光圖像亮度進行處理。經過處理，恢復后的圖像能夠明顯得到原逆光區域的細節信息。

)

[1] 甘波,魏廷存,鄭然.CMOS圖像傳感器芯片的自動白平衡算法[J].液晶與顯示,2011,26(2):224-228.(GANB,WEITC,ZHENGR.AutomaticwhitebalancealgorithmforCMOSimagesensorchip[J].ChineseJournalofLiquidCrystalsandDisplays, 2011, 26(2): 224-228.)

[2] 郭惠楠.彩色數字相機成像系統的關鍵性技術研究[D].西安:西安光學精密機械研究所,2014:18-22.(GUOHN.Researchonthekeytechnologyofcolordigitalcameraimagingsystem[D].Xi’an:Xi’anInstituteofOpticsandFineMechanics, 2014: 18-22.)

[3] 陳參寧,鄧華秋,王劍華.基于光圈控制的自動曝光算法研究[J].傳感器與微系統,2011,30(11):46-48.(CHENCN,DENGHQ,WANGJH.Researchonautomaticexposurealgorithmbasedoniriscontrol[J].TransducerandMicrosystemTechnologies, 2011, 30(11): 46-48.)

[4] 劉操,鄭宏,黎曦.基于自適應亮度基準漂移的十字路口交通圖像增強處理研究[J].武漢大學學報(信息科學版),2015,40 (10):1381-1385.(LIUC,ZHENGH,LIX.Trafficimageenhancementprocessingbasedonadaptiveluminancereferencedrift[J].GeomaticsandInformationScienceofWuhanUniversity, 2015,40(10):1381-1385.)

[5]GRAHAMD,SCHWARZB,CHATTERJEEA,etal.Preferenceforluminancehistogramregularitiesinnaturalscenes[J].VisionResearch, 2016, 120: 11-21.

[6]SANTHIK,WAHIDABRSD.Contrastenhancementusingbrightnesspreservinghistogramplateaulimittechnique[J].InternationalJournalofEngineeringandTechnology, 2014, 6(3): 1447-1453.

[7] 楊俊,趙忠明.基于IHS變換和亮度調節的遙感圖像融合方法[J].計算機應用研究,2007,24(4):195-197.(YANGJ,ZHAOZM.ResearchonremotesensingimagefusionmethodbasedonIHStransformandbrightnessadjustment[J].ApplicationResearchofComputers, 2007, 24(4): 195-197.)

[8]ZHANGH.Anovelenhancementalgorithmforlow-illuminationimages[C]//CISP2013:Proceedingsofthe6thInternationalCongressonImageandSignalProcessing.Piscataway,NJ:IEEE, 2013: 240-244.

[9] 張雪峰,趙莉.基于改進Retinex的圖像增強算法[J].南京理工大學學報(自然科學版),2016,40(1):24-28.(ZHANGXF,ZHAOL.ImageenhancementalgorithmbasedonimprovedRetinex[J].JournalofNanjingUniversityofScienceandTechnology, 2016, 40(1): 24-28.)

[10] 劉毅,賈旭芬,田子建.一種基于同態濾波原理的井下光照不均圖像處理方法[J].工礦自動化,2013,39(1):9-12.(LIUY,JIAXF,TIANZJ.Aprocessingmethodforundergroundimageofunevenilluminationbasedonhomomorphicfilteringtheory[J].IndustryandMineAutomation, 2013, 39(1): 9-12.)

[11]KANGG-Y,HUANGJ-W,LID-H,etal.Anovelalgorithmforunevenilluminationimageenhancement[C] //IMCCC2012:ProceedingsoftheSecondInternationalConferenceonInstrumentation,MeasurementComputerCommunicationandControl.Washington,DC:IEEEComputerSociety, 2012: 831-833.

[12]WANGS,ZHENGJ,HUH-M.Naturalnesspreservedenhancementalgorithmfornonuniformilluminationimages[J].IEEETransactionsonImageProcessing, 2013, 22(9): 3538-3548.

[13]SHINY,JEONGS,LEES.Efficientnaturalnessrestorationfornonuniformilluminationimages[J].IETImageProcessing, 2015, 9(8): 662-671.

[14]YUNHJ,WUZY,WANGGJ,etal.Anovelenhancementalgorithmcombinedwithimprovedfuzzysettheoryforlowilluminationimages[J].MathematicalProblemsinEngineering, 2016(8): 1-9.

[15]GONZALEZRC.DigitalImageProcessing[M].3rded.NewJersey:PearsonPrenticeHall, 2008: 257-262.

[16] 高彥平.圖像增強方法的研究與實現[D].武漢:華中科技大學,2008:12-28.(GAOYP.Researchandimplementationofimageenhancementmethod[D].Wuhan:HuazhongUniversityofScienceandTechnology, 2008: 12-28.)

[17]SUSRAMAIG,PURNAMAKE,PURNOMOMH.Automatedanalysisofhumanspermnumberandconcentration(oligospermia)usingOtsuthresholdmethodandlabelling[J].IOPConferenceSeries:MaterialsScienceandEngineering, 2016, 105(1): 12038-12048.

MAN Le, born in 1991, M.S.candidate.Her research interests include digital image processing and recognition.

ZHAO Yu, born in 1996, bachelor.Her research interests include digital image processing and recognition.

WANG Haoxian, born in 1968, Ph.D., associate professor.His research interests include digital image processing.

Improved nonlinear brightness-lifting model for restoring backlight images

MAN Le*, ZHAO Yu, WANG Haoxian

(SchoolofInformationandElectricalEngineering,HarbinInstituteofTechnology(Weihai),WeihaiShandong264209,China)

Photo observation and identification is often influenced by insufficient light and unsuitable shooting angle when taking photos.In order to solve this problem, an image restoration method based on nonlinear brightness-lifting model was proposed.Although the existing nonlinear brightness enhancement method can improve the brightness of the backlight area, distortion still occurs in the highlighted area due to excessive promotion.On the basis of the existing image processing algorithm, a new adaptive backlight images restoration method based on nonlinear brightness improvement model was proposed.Image segmentation processing and logarithmic function were used to enhance image brightness, in which the threshold was determined by Otsu threshold processing, and the adjustment coefficient in the transition function was calculated by the ratio between pixels of backlight area and total pixels.Simulation results show that, compared with the method of using the logarithmic function conversion relation and adjusting the image brightness in the HSI space model, the proposed method not only improves the image quality and preserves the nature of image without distortion, but also has a good improvement in performance.

backlight image; brightness; nonlinearity; adaptation; Otsu threshold processing

2016- 07- 22;

2016- 09- 24。

滿樂(1991—)，女，山東濟南人，碩士研究生，主要研究方向：數字圖像處理與識別； 趙鈺(1996—)，女，河北邯鄲人，主要研究方向：數字圖像處理與識別； 王好賢(1968—),男, 山東招遠人，副教授，博士，主要研究方向：數字圖像處理。

1001- 9081(2017)02- 0564- 05

10.11772/j.issn.1001- 9081.2017.02.0564

TP751.1

A