低光照圖像的亮度增強與顏色恢復方法研究?

曹穎川 黃 磊 宋子碩 郭 輝

（寧夏大學信息工程學院 銀川 750021）

1 引言

圖像在采集過程中，一方面由于所在環境下外部光照的不充足或者不均衡；另一方面，拍攝設備位置的差異或者相同設備的曝光不同，它們通常都會導致圖片較為陰暗，產生低光照圖像問題。這不僅影響人們的觀察體驗，而且也給圖像處理或機器視覺中的特征提取、目標檢測與圖像理解等多個方面帶來較大的挑戰，嚴重影響其應用效果。

為此，需要通過圖像增強處理方法提高低光照圖像的質量或目標特征。當前，圖像增強處理主要分為基于空間域和基于頻率域兩類方法［1］。

基于空間域的方法起初采用對圖像像素點取值進行線性函數變換實現圖像的增強。該類方法雖然簡單直觀，但是容易導致圖像明亮區域過飽和，進而丟失細節信息［2］。為了避免這個問題，一些圖像增強方法改用冪變換、對數變換、函數變換等非線性單調函數進行增強［3］。直方圖均衡化［4］通過改變圖像的直方圖分布來改變圖像中各像素的灰度值，可以有效提高動態范圍偏小的圖像對比度，但均衡化后圖像的灰度級減少，易丟失局部信息，導致圖像色彩失真。在Lab顏色空間［5］，直方圖在a、b 通道一般分布集中且呈單峰分布，如圖1。利用直方圖規定化［6］可以避免直方圖均衡化導致的顏色失真，得到圖像在a、b 通道上期望單峰分布。

圖1 圖像在a-b平面的三維直方圖

通過傅里葉變換［7］，可以將圖像從空間域轉換到頻率域。在頻率域中，低頻對應于圖像中變化緩慢的灰度，而高頻對應于圖像中變化較快的灰度。根據圖像的照度-反射模型，自然景物圖像可以表示為光源照度（照明函數）和場景中物體反射光（反射函數）的乘積，如下式：

其中，照明函數的頻譜集中在低頻段，反射函數的頻譜集中在高頻段。基于照度-反射模型，Retinex理論［8］通過從原圖像中估計光照分量，然后設法去除或降低光照分量，獲得物體本來面貌。基于Retinex理論，研究者提出單尺度Retinex（SSR）［9］、多尺度Retinex（MSR）［10］、帶色彩恢復的多尺度Retinex增強算法［11］（Multi-Scale Retinex with Color Restoration，MSRCR）等，它們能夠在一定程度上增強低光照圖像的亮度，但同時都會產生不同程度的色彩失真。

同態濾波［12］通過不同的濾波函數以不同的方法影響傅里葉變換的高、低頻成分，對原始圖像中的反射分量進行擴展、光照分量進行壓縮，從而消除不均勻照度的影響，增強圖像細節，且不會產生色彩失真的問題。同態濾波能夠提高低光照圖像的亮度和紋理，但處理后的圖像仍然存在偏色問題，因此對圖像進行偏色檢測和顏色校正是圖像色彩恢復過程中必不可少的步驟之一。徐曉昭等［13］提出基于等效圓的偏色檢測方法，由等效圓在a-b色度平面上的具體位置，判斷圖像整體的偏色，再結合灰度世界［14］和完美反射［15］兩種方法的優點，對偏色圖像進行校正。

隨著深度學習技術的快速發展與廣泛應用，其也被用于圖像增強，主要包括基于CNN 和基于GAN 兩類方法。大多數基于CNN 的解決思路如同LLNet 方法［16］采用成對數據進行有監督訓練，但是成對數據的收集在實際應用中較為困難，而且會導致模型嚴重依賴這些數據，泛化能力較差；為此，基于GAN 的無監督方法，如EnlightenGAN［17］消除了成對數據訓練的限制，采用未配對的低光照和正常光照圖像，然而上述解決方案不僅需要仔細選擇非配對數據，而且模型同樣高度依賴訓練數據，同時會消耗較多的計算資源。

在上述研究的基礎上，本文根據照度-反射模型給出同態濾波、偏色檢測與校正相結合的圖像增強方法，及其實驗驗證結果。

2 基于同態濾波與顏色校正的低光照圖像增強處理方法

基于同態濾波與顏色校正的低光照圖像增強處理方法主要包括兩個環節：首先，通過同態濾波消除不均勻照度對低光照圖像的影響，同時增強圖像細節；其次，在Lab顏色空間對a、b通道進行偏色檢測，并基于直方圖規定化對圖像進行偏色校正。由此可知，該方法兼顧了低光照圖像的亮度、紋理和色彩特征，可以顯著提升圖像增強的整體效果。

基于同態濾波與顏色校正的低光照圖像增強方法如圖1所示，主要步驟如下。

1）利用同態濾波消除不均勻照度的影響，增強圖像細節。

2）將經過同態濾波增強的圖像由RGB 通道轉換為Lab通道，對a、b顏色通道圖像進行偏色分析，判斷偏色程度。

3）根據偏色分析結果，對圖像a、b 通道進行直方圖方圖匹配校正，恢復低光照圖像顏色。

2.1 同態濾波

根據圖像特性，定義不同的同態濾波函數能以不同的方法影響傅里葉變換的高、低頻部分，圖3為同態濾波對低光照圖像處理流程。采用高斯濾波函數影響照度-反射模型中的高、低頻信息，壓低照明分量，提高反射分量，從而達到抑制圖像動態范圍、擴大圖像細節灰度范圍的作用。同態濾波函數計算公式如下：

圖3 同態濾波處理流程

式中，x，y，表示圖像像素點，濾波器參數σ取σ=1.5 高斯模板尺寸取5×5。

2.2 偏色檢測

通過同態濾波處理后，圖像的亮度與紋理得到了增強，但其色彩效果與真實場景仍有差距。為了準確描述這種差距，受基于等效圓的偏色檢測的啟發，采用平均色度AC 和色度中心距D 的比值作為偏色因子P 分別衡量a、b 顏色通道的偏色程度，其具體計算方法如下：

式中，X、Y為圖像的寬和高，T表示顏色通道上的像素值；a、b 表示a 顏色通道和b 顏色通道，在a 通道上ACa>0 偏紅，反之偏綠；ACb>0 偏黃，反之偏藍。當偏色因子P<-0.5 或P>0.5 時，表明圖像偏色程度較高，需對其進行偏色校正。如圖4，同態濾波處理后的圖像的a、b 兩通道的偏色因子測量值為Pa=-1.28，Pb=1.59，數碼相機拍攝的圖像中a、b兩通道的偏色因子測量值為Pa=0.05，Pb=0.12。

圖4 同態濾波處理后和數碼相機拍攝

2.3 偏色校正

在a、b 顏色通道上，圖像的二維直方圖多呈現為單峰分布，且分布集中在特定值域。當描述圖像偏色程度的偏色因子P 值超出正常范圍時，則表明該圖存在偏色問題，需對其進行偏色校正。低光照圖像在顏色分布上與真實圖像差異比較明顯，可以采用直方圖規定化校正方法。直方圖規定化利用均衡化后的直方圖作為一個中間過程，然后求取規定化的變換函數，具體操作如下：

1）將a、b 通道圖像的灰度直方圖進行均衡化，得到一個變換函數：

式中，Sk是均衡化后的像素，r是原始像素，L是最大灰度級。

2）對規定的直方圖進行均衡化：

式中，vk表示規定直方圖均衡化后的像素，zm表示規定直方圖像素。

3）規定的直方圖和原始圖像直方圖進行均衡化處理后，需符合等式sk=vk，且滿足如下關系式：

根據直方圖均衡化中間結果，確定原始像素和規定化像素之間的映射關系，并基于a、b 顏色通道像素均衡分布的參考圖像，對目標圖像進行直方圖規定化處理，改變低光照圖像像素在a、b 顏色通道上的分布狀況，進而改善圖像顏色的整體效果。

3 實驗研究

當分別用同態濾波和直方圖規定化處理低光照圖像，如圖5，同態濾波可以明顯增強圖像亮度和紋理，但在顏色恢復上存在不足，單獨使用直方圖規定化處理低光照圖像時，由于圖像局部光照不足造成圖像失真現象，而結合二者各自優點，可以同時增強圖像的亮度、紋理和顏色。

圖5 低光照圖像在不同模塊的增強實驗結果

為了檢驗基于同態濾波與顏色校正的圖像增強方法的有效性，這里選取不同的數據集進行實驗研究。實驗數據集如下。

1）DPED［18］由三款智能手機和一臺單反相機在野外同步拍攝的照片組成，包括來自索尼智能手機的4549張照片，蘋果手機的5727張照片，黑莓手機和佳能相機的6015 張照片。這些照片均是在不同地點、不同光照和天氣條件下白天拍攝的。

2）DICM［19］收集的商業數碼相機拍攝的69 張照片。

3）NPE［20］從互聯網下載的85張低光照圖像，包含8張戶外自然場景圖像；而NPE-ex1、NPE-ex2和NPE-ex3 是三個補充數據集，涵蓋多云、白天、黎明、黃昏和夜晚等不同場景。

將本文圖像增強方法在這些數據集上進行應用實驗，并與LIME［21］（基于光照估計的方法）、NPE（自然度保持增強算法）、MSRCR、SRIE［22］（同時反射和光照估計）、EnlightenGAN 和Zero-DCE［23］等算法進行對比，結果如圖6所示。同時，選擇DPED數據集中數碼相機（Canon）拍攝的圖像作為全參考圖像，基于客觀評價指標對上述幾種算法的處理結果進行定量分析。

圖6 實驗對比結果

實驗運行環境為Windows10 操作系統上的Matlab R2018a 軟件平臺，搭配i7-9700 CPU@3.00GHz、3.00 GHz。

圖6中從左到右（i）為輸入圖像，（a）為LIME算法，（b）為NPE 算法，（c）為MSRCR 算法，（d）為SRIE 算 法，（e）為EnlightenGAN 算 法，（f）為Zero-DCE 算法，（g）為本文算法，從上圖的實驗結果可以直接看出，LIME 和MSRCR 算法在圖像亮度增強上優于其他算法，但是存在嚴重的顏色失真，SRIE 算法在亮度增強上最差，EnlightGAN 處理的亮度高但存在顏色失真，而本文算法在亮度和顏色效果上更符合人眼視覺。

為了客觀準確對比上述實驗結果，圖像增強后，還需對其進行客觀準確的評價，而現有的圖像評價指標不能對圖像顏色進行有效測評，被大家普遍認可并采用最多的客觀評價指標有PSNR［24］（Peak Signal to Noise Ratio）和SSIM［25］（Structural Similarity）。前者表示峰值信噪比，基于對應像素點間的誤差，PSNR 值越大，代表失真越少；后者從亮度、對比度、結構三方面度量圖像相似性，取值范圍為［0，1］，其值越大，表示圖像失真越小，當兩張圖像相同時，SSIM為1。

但是在全參考圖像數據集中，由于不同的視角和位置，同步捕獲的圖像并不能完全對齊。為此可以先通過SIFT 特征提取匹配確定重疊區域，然后進行非線性變換和裁剪，得到相同分辨率的兩幅圖像所表示的同一場景，如圖7所示。表1為SSIM 和PSNR 兩種評價指標對圖8 所示多種算法處理圖像結果的測評數值，圖8 中（h）為數碼相機（Canon）拍攝的圖像。

表1 基于SSIM和PSNR的測評結果

圖7 基于SIFT描述子匹配的重疊區域圖像對齊

圖8 DPED數據集實驗對比結果

在表1 中包含四張不同圖像和六種圖像增強算法，每種算法下的增強圖像分別通過SSIM 和PSNR兩種評價指標進行測評。表的縱行表示四張不同圖像在不同算法下的測評值，橫行表示圖像在同一算法處理下的測評值。EnlightenGAN 在i1 的PSNR值以及圖像i2和i4處的SSIM 值最大，在其他處理結果中本文方法測量值都是最大的，結合整體分析，SSIM 指標提高了2%～18%，最接近數碼相機拍攝的圖像質量；PSNR 指標提高了1%～3%。據此表明，本文算法能有效提高低光照圖像質量。

4 結語

低光照圖像清晰度差，圖像顏色往往明顯偏離正常圖像。為此，首先通過同態濾波改變低光照圖像的高、低頻信息，增強低光照圖像的亮度和紋理；在此基礎上變換圖像顏色空間，通過偏色因子對圖像在a、b 顏色通道的偏色程度進行度量和判斷，再據此對偏色通道采用直方圖規定化方法進行恢復校正，最后合并顏色通道，并重新轉換回RGB 顏色空間，得到最終的增強圖像。通過在不同數據集上的實驗及其與代表性圖像增強算法的對比分析，本文算法在處理低光照圖像的亮度和顏色上更具優勢，且更符合人眼視覺；同時，在DPED 數據集上與數碼相機拍攝的高質量圖像對比，結合SSIM 和PSNR 評價指標定量分析，該方法能有效提高低光照圖像的整體質量。