基于正則化高斯場模型的低光圖像增強

楊 鋒,趙維駿,顧 燕,朱 波,呂 揚,焦國力,閔超波

(1.北方夜視科技(南京)研究院有限公司,江蘇 南京 211102;2.河海大學,江蘇 常州 213022)

1 引 言

目前,計算機視覺技術被廣泛應用于多種領域,如夜視[1-2]、遙感[3]、工業檢測[4]和醫學成像[5]。而計算機視覺所依賴的基礎是各類光電成像傳感器所提供的圖像。毫無疑問,輸入圖像的質量對機器視覺的性能起到決定性的作用。然而,由于成像傳感器的限制、相機參數設置不當、或光照分布不均勻等原因,傳感器的原始圖像通常會存在亮度低、動態范圍窄、對比度低和細節損失[6]等缺陷,從而對計算機視覺造成不利影響。因此低光增強是非常必要的,這也是本文的研究重點。

Retinex[7]分解將采集圖像視為反射層和照度層的結果,通過各種基于Retinex的模型從采集圖像中重新恢復反射層,因此在圖像增強中廣泛使用。單尺度Retinex(Single Scale Retinex,SSR)[8]和多尺度Retinex(Multi Scale Retinex,MSR)[9]是基于Retinex圖像增強的早期嘗試,它們在對比度增強方面表現良好,但很容易導致輸入圖像暗區域的細節丟失。一些基于Retinex的低光圖像增強方法,例如反射層和照度層聯合估計(Simultaneous Reflectance and Illumination Estimation,SRIE)[10]、利用亮度映射估計的低光圖像增強(Low-Light Image Enhancement,LIME)[11]、基于結構恢復的低光圖像增強和低階正則化Retinex模型(Low-Rank Regularized Retinex Model,LR3M)[12],可以彌補SSR和MSR的不足。這些方法將低光增強轉化為一個多塊凸優化問題,并使用交替方向最小化技術聯合估計輸入圖像的反射層和照度層。這些基于聯合估計的方法大大提高了低光增強的性能,然而,也使得圖像增強算法的結構越來越復雜,導致運算復雜度高,工程化實現困難。許多研究人員已經意識到了這個問題,因此不少增強方法都提出了自己的加速策略。然而,多塊凸優化技術的復雜性使得低光增強算法的實際應用面臨巨大困難。

本文提出了一種基于正則化高斯場(Regularized Gaussian Fields,RGF)的優化函數,利用梯度下降算法同時估計反射層和照度層,從而提高低光增強的性能。該方法在正則化高斯場中的實現了Retinex分解,將反射層和照度層的聯立估計轉化為一個無約束優化問題。首先,構建了基于RGF的Retinex分解模型,該模型可微,因此采用高效簡單的梯度下降技術(例如擬牛頓法)進行反射層和照度層的聯合估計。最后,構建基于高斯核校正模型,對估計出的反射層進行進一步優化,以保持增強圖像的細節和自然度。實驗結果表明,與其他同類方法相比,該方法在增強效果和效率方面都具有一定優勢。

2 基于正則化高斯場模型的低光增強

2.1 問題表述

Retinex模型解釋了可見圖像的形成,如下所示:

S=R°L

(1)

其中,S表示采集圖像;R表示反射層;L表示照度層。操作°表示按元素相乘。一般來說,R中包含了場景中的細節,L為場景的光照分布。在本文中,S、R和L是m×n的二維矩陣。

為了從采集圖像S中估計R和L,大多數方法將等式(1)轉換為對數域:s=r+l,其中s=ln(S),r=ln(R),l=ln(L)。因此,估算r和l的目標函數可以寫成:

(2)

其中,‖·‖F表示F范數。

最小化目標函數(2)是一個不適定問題。這很難簡單而準確地解決。為了同時估計反射層和照度層將其轉化為無約束優化問題,構建了基于RGF的Retinex分解優化函數,如下所示:

λΦ(fl,fr)

(3)

高斯場模型是連續可微的,并且在計算方便性方面具有優勢。為了確?；赗GF的優化函數(3)是可微的,定義反射層和照度層的映射函數如下:

(4)

(5)

其中,D是多項式的階數;βd和αdk是多項式系數。本文將反射層視為采集圖像的映射。因此,使用映射函數(4)來描述從采集圖像s到反射層r的變換模式。同時,場景中照明分布的規則模式被表示為映射函數(5)。高階多項式能較好地擬合真實光照的平滑性和非線性。很明顯,等式(4)和(5)是可微的,因為它們是在多項式上構建的。此外,高階多項式能夠處理反射層和照度層規則模式的復雜非線性問題。

(6)

(7)

其中,so表示通過從s中刪除奇數列而創建的1/2大小的輸入圖像;xo是相應的坐標矩陣。

(8)

其中,so表示通過從s刪除偶數列而創建的1/2大小的輸入圖像;xo是相應的坐標矩陣。顯然,se與so相似。

從等式(7)中可以發現,由于照明層(5)的映射函數的平滑性,fl傾向于在輸入圖像so中描述的照明分布的規則模式。由于fr(so)和so之間的相關性,fr(so)比fl(xo)對最小化等式(8)的貢獻更大。因此,映射函數fl主要由等式(7)確定。在這種情況下,公式(8)通過使用Retinex模型使fr(s)接近最佳反射層。因此,基于RGF的優化函數可以同時估計反射層和照度層。

2.2 優 化

(9)

公式(9)的相應導數如下所示:

(10)

通過使用導數公式(10),可以使用基于梯度的數值優化方法,如擬牛頓法,來求解最佳參數PD,然后實現同時估計反射層和照度層。

由于映射函數fl和fr是正則的,因此不必使用輸入圖像s的所有像素來解決基于RGF的優化問題。因此,可以通過sr=imresize(s,r)壓縮s的尺寸,其中imresize(s,r)返回sr,即s大小的r2倍,r介于0和1之間。然后,將sr代入基于RGF的優化函數(9)和導數(10),可以估計最優fr(s)。此步驟的優點是減少優化的時間復雜性,避免過度擬合問題。

2.3 校 正

圖1 RGF的函數曲線

圖2 基于RGF的優化函數直接估計反射層的示例

從圖2(b)中可知,在輸入圖像的明亮區域中存在重要的細節。因此,為了從fr(s)中恢復正確的反射層,采用以下操作:

rf=ηω(s)°fr(s)+ω(1-s)°s

(11)

其中,s和fr(s)被歸一化。通過使用高斯核ω(sij)=exp{-τ(sij)2},其中τ決定高斯核的范圍,fr(s)與輸入的圖像進行融合。比例參數η∈(0,1)用于限制fr(s)的強度范圍,以避免過度曝光。校正結果如圖2(c)所示,可以看出,基于高斯核的校正可以提高增強圖像的細節保持和自然度。

2.4 計算復雜度分析

算法1:基于正則化高斯場模型的低光增強方法輸入:灰度圖像S,參數σ,λ,D,r,τ,η1.s=ln(S),sr=imresize(s,r);2.通過式(6)從sr中生成s^r;3.將sr和s^r代入式(9)和(10),然后用擬牛頓法估計最佳反射層模型frs();4.通過公式(11)從標準化frs()中恢復R。輸出:最終增強的結果rf

2.5 實現細節

該方法有五個參數需要設置:σ,λ,D,r,τ和η。參數σ決定了基于RGF的優化函數中高斯場的范圍。參數λ用于調整優化中數據估計與平滑度之間的權衡。參數D控制反射和照度映射函數的順序。參數r是用于PD估算中sr的縮小比例。參數τ和η用于校正fr(s),以實現反射層的恢復。

在增強性能和計算效率方面,通過多次實驗確定的最佳設置為:σ=5,λ=0.02,D=4,r=0.2,τ=0.62和η=0.67。優化之前,PD初始化為0。輸入圖像的灰度范圍必須壓縮至[0∶1]。

3 實驗與討論

在本節中,定性和定量地比較了本文方法與幾種最先進的方法,包括對比度受限自適應直方圖均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE)[13]、SRIE、LIME、低照度水下圖像增強(Low-Light Underwater Image Enhancer,L2UWE)[14]、LR3M和半解耦分解低光圖像增強(Semi-Decoupled Decomposition,SDD)[15]。然后,測試了不同參數的影響,并對反射層模型進行了消融研究。以上方法的Matlab代碼由作者提供。本文中所有實驗都是在一臺windows10操作系統(64位)的計算機上進行的,該計算機采用Intel Core i7-10750H CPU @2.60GHz,內存16GB。本實驗中所有增強結果都是在沒有任何預處理和去噪算法的情況下實現的。

3.1 數據集

本文測試圖像是從公開數據集MIT-Adobe FiveK Dataset[16]中選取的173幅圖像。在此數據集中,對每種場景的圖像利用Adobe Lightroom進行手動調節亮度,生成5個不同版本的圖像。選擇最暗的版本作為輸入的低光圖像,最亮的版本作為定量比較的參考。圖3顯示了數據集中的一些樣本,可以看出數據集中的大多數圖像對比度低、亮度不足、動態范圍窄、光照不均勻,這些都增加了圖像增強的難度。

圖3 輸入圖像和其參考圖像的示例

3.2 RGF優化函數的消融實驗

圖4 用s代替的RGF優化函數的估計結果

圖5 RGF優化函數收斂結果示例

3.3 定性比較

在公開數據集上,本文定性測試了CLAHE、LR3M、SRIE、LIME、L2UWE、SDD和本文方法在彩色圖像上的性能。針對RGB彩色圖像,首先將輸入圖像轉換為HSV色彩空間,然后在圖像的V通道上執行CLAHE和本文方法,最后將處理后結果從HSV轉換回RGB色彩空間。LR3M、LIME、L2UWE和SDD可以直接增強彩色圖像,從而將輸入圖像作為初始值。圖6提供了通過不同方法獲得的增強結果之間的若干比較。可以看出,所有輸入圖像的亮度分布是不均勻的,這有助于測試增強算法在非均勻照明下的性能。

圖6 CLAHE、LR3M、SRIE、LIME、L2UWE、SDD和

從比較中可以看出,在一定程度上,所有方法都可以從暗區域中恢復信息。就照明暗區的質量而言,SRIE和LIME在大多數給定示例中優于CLAHE、L2UWE、LR3M和SDD,但比本文方法差。特別是在放大的斑塊中,本文方法可以適當地保留細節,并大大提高暗區域的對比度。相比之下,LR3M和SDD在去噪方面表現良好,但在低光增強方面表現不佳。同時,L2UWE和SRIE的結果總是存在過增強。與幾種最先進的方法相比,本文方法更好地保留和增強了明亮區域的紋理細節信息。從圖6(a)和(d)中的水面以及圖6(b)中的建筑物可以看出,低光圖像中的亮區和暗區都得到了適當的增強,因此本文方法的增強結果具有優秀的可視性和自然性。圖7顯示了本文方法的更多結果,進一步佐證了這一點。

圖7 所提出方法的增強結果示例

3.4 定量比較和計算時間

由于單個度量不能全面反映增強的性能,因此本文在定量評估中使用了三個基于參考圖像的度量和一個無參考圖像質量分數。亮度順序誤差(Lightness Order Error,LOE)[17]表示增強圖像的自然度。結構相似性(Structural Similarity,SSIM)通常用于衡量增強圖像與參考圖像之間的相似性?；诰植康膶Ρ榷荣|量指數(Patch-Based Contrast Quality Index,PCQI)[18]可用于測量增強圖像的整體和局部對比度質量。自然圖像質量評估器(Natural Image Quality Evaluator,NIQE)[19]是一種盲圖像質量評估模型。

本文使用的數據集定量結果報告在表1中,↓ 指示值越高表示質量越低?！?指示值越低表示質量越低。粗體顯示的值表示每個指標中最好的三個分數。很明顯,本文方法在數據集上通常具有最好的質量。L2UWE的PCQI和NIQE得分高于本文方法,表明存在強烈的對比。這是因為L2UWE通常會過度增強輸入的低光圖像,如圖6中L2UWE的結果所示。在所有客觀測量中,本文方法的結果都排在前三位。

表1 定量比較CLAHE、SRIE、LIME、L2UWE、LR3M、SDD和本文方法

從定性和定量比較中可以發現:LIME的性能與本文方法相當。然而,本文方法比LIME快得多。對于900×600的輸入圖像,LIME的平均運行時間為35.36 s,在同樣的計算資源條件下,本文方法的平均運行時間為15.13 s。一般來說,本文方法比LIME快約2.5倍。此外,SRIE、LR3M和SDD的平均運行時間分別為17.3 s、366.2 s和33.8 s,均高于本文方法。這表明,與基于交替方向最小化技術的反射層估計相比,基于RGF的優化可以更快地收斂到最優值。

3.5 參數配置測試

該方法有五個參數需要設置:σ,λ,D,r,τ和η。從式(9)中,可以看出參數σ和D是最重要的,因為它們可以直接決定基于RGF的優化函數的性能。參數σ和D對基于RGF的優化函數的影響如表2所示,↓指示值越高表示質量越低,↑指示值越低表示質量越低。為了分別測試不同參數的影響,我們改變一個參數的值,同時保持另一個參數不變。根據表2中的定量測量結果可以看到:σ=5和D=4時,本文方法在低光增強方面的性能最好。

表2 參數σ和D的影響

表3顯示了本文方法在不同r下的定量結果和運行時間,↓ 指示值越高表示質量越低,↑ 指示值越低表示質量越低。由于基于RGF的估計中使用的像素很少,當r<0.2時圖像增強方面的性能有限。另一方面,當r>0.2時,用于優化處理的像素更多,可以略微地提高增強的質量,但本文方法的運行時間也大幅提高。因此,r=0.2的方法在低光增強和計算復雜度方面都具有最佳性能。

表3 參數r的影響

4 結 論

本文提出了基于RGF的Retinex分解優化函數,利用梯度下降算法實現了反射層和照度層的聯合估計。并且基于高斯核對反射層進行細化,以保持增強圖像的細節和自然度。該方法結構簡單,計算效率高。使用主觀和客觀評估對所提出的方法進行了綜合實驗,與同類方法相比,該算法在計算速度和增強質量方面都具有一定優勢。