基于像素級和塊級的低照度圖像增強

王時巨，王 欣，鞠銘燁

(南京郵電大學 物聯網學院，江蘇 南京 210003)

0 引 言

在室內、夜間或光照條件較差的環境下,成像設備受光線暗、曝光不足等因素影響,導致所采集圖像整體亮度偏低,紋理特征嚴重衰弱,難以直觀提取有效信息,給后續機器視覺系統帶來嚴峻挑戰[1]。因此,低照度條件下的圖像增強研究變得極為重要。

目前主流的低照度圖像增強算法主要分為兩類:基于傳統的方法和基于深度學習的方法。前者中較為常見的如直方圖均衡化[2],其通過改變像素的灰度分布提升圖像對比度,但會使圖像局部區域細節丟失;伽馬校正以非線性增強方式改變灰度范圍,但其處理后的圖像顏色較為暗淡,飽和度低。

近些年,基于Retinex理論的算法被廣泛應用于圖像增強領域[3-6]。如Guo等人[4]以R(Red)、G(Green)、B(Blue)通道中的最大值作為初始光照圖,并利用結構先驗對其進行精細化處理,進而通過Retinex模型獲得增強結果,但處理后存在過增強現象;Ren等人[6]將低秩先驗注入Retinex模型以抑制反射分量中的噪聲干擾,該方法可排除低照度圖像中的強噪聲；Ju等人[7]提出增強大氣散射模型,并在此基礎上設計出一種兼顧圖像去霧與增強的算法,可有效解決圖像過飽和問題。

受益于深度學習的快速發展,卷積神經網絡(convolutional neural network，CNN)被廣泛應用于圖像增強任務中[8-12]。與傳統的圖像增強方法不同,此類方法主要利用神經網絡強大的學習能力擬合低照度圖像與對應清晰圖像間的深度映射。如Lore等人[8]設計出一種基于深度編碼器的網絡架構LLNet,該網絡可同時實現圖像亮度的提升與噪聲的剔除。Wei等人[9]將傳統的Retinex模型用于深度學習并設計出RetinexNet,該方法利用分解網絡和增強網絡進行提亮操作,但增強后的圖像會損失一定的邊緣信息。為解決低照度圖像過度依賴成對數據集的問題,文獻[12]提出的Zero-DCE將低照度圖像增強任務轉化為高階曲線的學習,并用該曲線對輸入圖像的灰度范圍進行像素級調整以獲得增強結果。

由于低照度圖像受光源影響較大,距光源越近,光照強度越高,反之越低,傳統的增強方法對圖像增亮時并不能有效解決光源引起的顏色失真現象,難以兼顧圖像亮度與飽和度的雙重提升[13]; 基于深度學習的方法在圖像增強任務中能夠取得不錯的效果,但其過度依賴訓練集的選取,且真實場景下的數據集難以收集。

針對當前算法的不足,該文從HSV(hue,saturation,value)色彩空間設計低照度圖象增強模型,提出一種基于像素級和塊級的圖像增強算法，分別對亮度通道和飽和度通道進行像素級和塊級增強。該算法充分結合了像素級低復雜度和塊級信息豐富度,在提升圖像整體亮度的同時有效恢復場景色彩,且不需要任何訓練過程。實驗結果表明該算法在低照度圖像增強任務中具有良好的性能。

1 背景介紹

1.1 伽馬校正

伽馬校正(gamma correction，GC)是一種非線性圖像處理方式,通過調整伽馬值改變圖像灰度值范圍,進而改變圖像的對比度和亮度。

其數學表達式為:

R(x,y)=L(x,y)Γ

(1)

其中,x,y是像素點的坐標,R表示增強后的圖像,L為低照度圖像,Γ代表伽馬值。伽馬值等于1時為線性變換,并不會改變圖像灰度值范圍;當伽馬值大于1時,圖像灰度值被壓縮,圖像色彩整體偏暗;當伽馬值小于1時,圖像灰度值被拉伸,圖像色彩整體偏亮。

由于伽馬校正具有改善圖像視覺效果、運算簡單等優點，故廣泛應用于圖像處理領域。但傳統的伽馬校正以全局方式提高圖像亮度,尚未考慮圖像內部像素點的空間分布及物理含義,無法保證圖像中過亮或過暗區域得到視覺提升。文中算法在傳統的伽馬校正基礎上進行改進,采用像素級處理方式對亮度通道進行增強,其主要思想是根據圖像中每個像素值的不同設計出對應的伽馬值,達到自適應增強效果。

1.2 大氣散射模型

大氣散射模型(atmospheric scattering model，ASM)[14]是霧天降質圖像清晰化研究的物理模型,其數學表達式為:

I(x,y)=A·ρ(x,y)·e-β·d(x,y)+A·(1-e-β·d(x,y))

(2)

其中,I指代有霧圖像,A表示大氣光,ρ為清晰圖像,β代表散射系數,d指代場景深度圖。e-β·d(x,y)又稱之為透射率,即光線穿透空氣的能力。

大氣散射模型通常用于圖像去霧領域,與先驗知識或約束條件相結合求解出清晰無霧圖像。文獻[15]將該模型用于低照度圖像增強任務,Dong等人研究發現,反轉后的低照度圖像與霧天降質圖像具有極高的相似性,故將其代入大氣散射模型,并利用現有的去霧算法實現低照度圖像增強。受此啟發,文中算法將亮度通道進行取反并代入大氣散射模型,構建僅含有一個未知參數的數學模型, 結合約束條件實現圖像的亮度增強。

2 算法的原理與實現

2.1 算法描述

HSV色彩空間由色調、飽和度和亮度構成,相比于RGB(red,green,blue)色彩空間,其更接近人眼視覺對色彩的生理感知,同時由于各通道之間具有較強的獨立性,故便于圖像分通道處理[3]。亮度通道反映圖像的整體亮度,傳統的伽馬校正對其進行灰度范圍拉伸時具有不適定性,為此,提出一種新的像素級增強模型,使每個像素均有與其對應的校正因子,并結合大氣散射模型與全局搜索策略求得模型中的未知參數,對亮度通道進行像素級自適應增強;考慮到增強后的亮度圖像轉化至RGB色彩空間中不可避免地出現顏色損失現象[16],提出一種基于塊的飽和度增強模型,利用增強因子有效擴充飽和度,豐富圖像色彩。

所提算法具體步驟如下:

輸入:低照度圖像。

步驟1:將原始低照度圖像轉化至HSV色彩空間。

步驟2:構建亮度通道增強模型。

步驟3:結合傳統伽馬校正,將亮度通道進行取反操作代入大氣散射模型,求解出增強模型中的伽馬矩陣。

步驟4:利用最大信息熵約束求解出增強模型中的增強系數,獲得增強后的亮度通道。

步驟5:對飽和度通道進行分塊處理,每一塊均有與其對應的增強因子。

步驟6:利用最小信息丟失率約束條件遍歷整幅圖像獲得增強后的飽和度通道。

步驟7:采用導向濾波精細化飽和度通道。

步驟8:將增強后的亮度通道、飽和度通道和原始色調通道轉化至RGB色彩空間,獲得最終增強結果。

輸出:增強后的低照度圖像。

算法實現過程如圖1所示。

圖1 文中算法流程

2.2 亮度通道像素級增強

不同低照度圖像所包含的對比度、梯度等信息并不相同,需分別設置不同的伽馬值進行圖像增強,故存在手動設置參數的缺陷。此外,采用單一伽馬值對圖像過亮或過暗區域進行校正時,增強效果并不理想。因此,文中將傳統的伽馬值設定為矩陣表述形式,即每一個像素均有對應的伽馬值,構建像素級增強模型:

(3)

為求得Γ的表述形式,借助文獻[15]中所提反轉策略,將低照度圖像反轉后視為有霧圖像,對亮度通道進行反轉:

(4)

式中,Rv表示對亮度通道采用公式(1)得到的增強結果。假定反轉后的Lv與Rv滿足大氣散射模型約束條件,同時假定反轉后場景中的大氣光值為1,結合公式(1)、(2),Γ可以表示為:

(5)

由于公式(5)右側為矩陣的表述形式,單一伽馬值Γ并不滿足上式成立條件,故此時Γ為矩陣形式,即伽馬矩陣Γ(x,y)。上式僅參數β和d未知,為此,假設所處理的低照度圖像均處在均勻空氣介質下,即β值默認為1[17];然而,精確的深度信息難以計算,考慮到RGB色彩空間中藍色通道的像素分布近似深度圖[18],故采用藍色通道代替深度圖。

d(x,y)=mean(LB(x,y))

(6)

式中,LB表示低照度圖像的藍色通道;mean(·)為均值濾波操作,以排除額外的紋理干擾,同時降低計算復雜度。至此,伽馬矩陣Γ可表述為:

(7)

一旦求得Γ,則公式(3)僅含有增強系數ω未知,為此,文中結合信息熵約束,采用全局一維搜索策略對其進行求解。信息熵的大小反映圖像信息的豐富程度,圖像的灰度級范圍越大,信息熵越大,圖像所具有的信息量也就越多。反之,圖像的灰度級范圍越小,信息熵也越小,圖像本身的質量也就越低。信息熵的計算公式為:

(8)

(9)

式中,Φ(·)表示計算信息熵,θ為正則化參數,防止ω過大,文中取θ=0.7。由于最優解的搜索過程是在整幅圖像上進行一維搜索,因而可以獲得全局最優解。

求得Γ、ω后,亮度通道的最終增強結果可表示為:

(10)

2.3 飽和度通道塊級增強

低照度圖像除亮度較低外,其色彩飽和度也整體偏低;且轉化至RGB空間后,由于亮度通道的改變導致飽和度通道色彩損失,使增強圖像顏色暗淡,不符合直觀視覺感受。

針對此問題,提出一種基于塊級的飽和度增強算法,將飽和度通道分為若干塊,假設每個塊對應的增強因子相同,構建塊級增強模型:

(11)

(12)

其中,Ψ(·)指計算信息丟失率,即一幅圖像中值越界像素所占的比率。由于上式僅求得第i塊的最優值αi,故需遍歷整幅圖像獲取增益矩陣α。需要說明的是,公式(9)和公式(12)均可通過一維搜索獲取最優解,故選用二次插值法加速收斂過程以降低算法的時間復雜度。

分塊處理可以有效解決不同區域下飽和度過低的問題,但難以避免地引入塊狀效應至增強圖像。為此,文中對αi設置閾值上限,減弱因αi最優值差異過大引起的邊緣割裂現象;同時采用導向濾波算法[19]精細化飽和度通道Rs以消除塊狀效應。導向濾波可平滑圖像細節、保持圖像邊緣信息,其處理過程需要一幅導向圖作為引導,使輸出圖像邊緣梯度與導向圖相似,在結構信息不變的情況下去除噪聲干擾。導向濾波假定輸入圖像與導向圖之間存在局部線性關系:

q(x,y)=ak·G(x,y)+bk,?(x,y)∈Ωk

(13)

(14)

其中,GF(·)為導向濾波操作。在塊的選取方面,8×8小尺寸的塊會導致計算復雜度過大,而32×32大小的塊處理后塊狀效應過于明顯,且計算精度降低,故將每個塊劃分為16×16大小的像素區域進行處理。該方法采用塊級增強策略,對每個塊進行自適應增強操作,相比亮度通道的像素級增強策略,塊中含有更加豐富的像素信息,此類信息對飽和度通道的增強具有重要指導作用。

3 實驗結果與分析

為評估所提算法的有效性,采用多種圖像增強算法對不同數據集中的低照度圖像進行仿真實驗,并對其進行主觀比較和客觀評價。其中,對比算法主要分為兩大類,包括基于傳統的伽馬校正、Retinex、LIME[4]算法和基于深度學習的Retinex-Net[9]、Zero-DCE[12]、Fan[20]等人提出的算法;實驗數據集包含GLADNet-Dataset[21]、LOL[9]、Synthetic Dataset[22]、LSRW[23]和FD-LOL,其中,FD-LOL為真實場景下拍攝的低照度圖像,其余均為合成數據集。為確保實驗公平性,上述對比算法均在Intel(R) Core(TM) i5-10210U CPU @ 1.60 GHz 2.10 GHz,8 GB RAM上進行測試。

3.1 主觀比較

該部分從上述數據集中選取7幅圖像,按光照程度由強到弱依次排序,處理結果如圖2所示。可以看出,伽馬校正雖然能在一定程度上提高圖像的對比度,但對圖像的細節處理較差,難以看清圖像紋理,如圖2(b)中鮮花的輪廓;Retinex算法處理后的圖像依然存在對比度低、亮度弱等現象,增強效果不明顯,如圖2(c)中花瓶周圍的物體存在較大暗區域;LIME算法處理后的圖像亮度有明顯提升,遠處的人像也能被清楚地展示出來,但顏色過于飽和,圖像整體不自然,如圖2(d)中斑馬下方的草地;Retinex-Net處理后圖像邊緣信息損失嚴重,細節部分被過度銳化,如圖2(e)中人物衣服上的褶皺;Zero-DCE對圖像對比度的增強和色彩的恢復均有不錯的處理效果,但亮度提升較弱;Fan等人[20]設計的網絡對陰影部分的處理具有很好的增強效果,圖像整體增亮幅度較大,但普遍出現薄霧現象,如圖2(g)中天空區域;此外,上述算法對圖像S5周圍白色邊框的恢復均有不同程度色彩損失。與其他算法相比,所提算法有效提升了圖像整體亮度,色彩恢復效果接近真實場景,視覺效果更加自然。

圖2 文中算法與其他對比算法在合成數據集的對比

為比較上述算法在真實場景下的增強效果,從FD-LOL數據集和現實世界中選取6張低照度圖像并分別進行增強處理,結果如圖3所示。

從圖3(b)、(c)可以看出,伽馬校正和Retinex算法對真實圖像的增亮程度并不顯著,依然存在較大的暗區域;LIME算法對天空區域的處理出現不同程度的色差,且光源部分被過度增強;Retinex-Net處理后的天空區域出現光暈和塊狀現象,視覺感受較差;Zero-DCE和文獻[20]對真實圖像的處理效果與合成數據集類似,前者增亮程度不顯著,后者會出現薄霧現象;在真實場景下,所提算法能夠在增亮場景的同時很好地恢復色彩,且對景深較遠的暗區域具有良好的紋理恢復能力。

3.2 客觀評價

為進一步評估所提算法與其他算法的增強性能,分別采用基于峰值信噪比(peak signal to noise ratio，PSNR)、結構相似性(structural similarity，SSIM)的有參考指標和基于自然圖像質量評估(natural image quality evaluator，NIQE)的無參考指標對上述實驗進行客觀評價。其中,PSNR和SSIM值越大表示增強后圖像抗噪性和結構性越強,即圖像的質量越高;NIQE值越小代表圖像的處理效果越真實。

表1展示了不同算法對圖2中合成數據集的性能表現,可以看出,所提算法對大多數圖像都取得最優和次優的PSNR、SSIM和NIQE值。

表1 合成數據集下各算法的指標值(粗體代表最優值,斜體下劃線表示次優值)

表2展示了圖3中真實圖像的評價指標,由于真實圖像無對應的參考圖,故僅采用NIQE對其進行客觀評估,由表2可以看出,所提算法對真實圖像的處理均取得最優或次優的NIQE值。

表2 真實場景下各算法的指標值(粗體代表最優值,斜體下劃線表示次優值)

圖3 文中算法與其他對比算法在真實場景下的對比

上述實驗結果表明,無論是主觀視覺比較還是客觀指標評價,文中算法對低照度圖像的處理效果均優于其他對比算法。

續表1

4 結束語

為改善低照度圖像的視覺效果,提出一種基于像素級和塊級的增強算法。首先，將輸入圖像轉化至HSV色彩空間。其次,對傳統的伽馬校正算法進行改進,提出一種新的像素級增強模型增強亮度通道,其利用大氣散射模型獲得伽馬矩陣的表述形式,并采用全局一維搜索策略求得增強系數,進而對亮度通道進行像素級自適應增強;為解決恢復后圖像色彩失真問題,對飽和度通道進行分塊處理,結合最小信息丟失率進行局部搜索求得每一塊對應的增強因子。最后,將處理后的亮度通道、飽和度通道和原始色調通道轉化至RGB空間得到最終結果。實驗結果表明，所提算法亮度提升明顯,色彩恢復自然,圖像整體視覺感受趨近真實,且客觀指標也優于其他算法。但由于文中算法需對輸入圖像進行全局最優搜索和每個塊的局部搜索,導致搜索空間過于龐大。因此,接下來將著重研究如何縮減算法搜索空間,在輸出結果不變的情況下獲得更高的處理效率。