融合彩色模型空間的非線性低照度圖像增強

劉壽鑫， 龍 偉， 李炎炎， 程 鴻

(四川大學機械工程學院， 成都 610065)

1 引 言

在光照不充足的情況下所拍攝的照片,由于成像設備的光傳感器因感光不足或光圈不夠大而造成圖像整體偏暗、色彩飽和度過高等問題而無法達到拍攝者實際所需要的圖像質量.

通常,圖像增強算法可按照有無構建物理模型而分為兩類,一類是基于物理模型的圖像增強方法;另一類是不依賴于物理模型的直接法,即直接對圖像進行數字增強處理.物理模型的算法首先需要設計符合特定場合的物理模型,再由已知條件來逆推出清晰圖像,如大氣消光系數物理模型[1]，暗通道先驗模型[2]，Retinex模型[3]，后來以此為基礎發展而來的多尺度Retinex算法MSR[4]與在此基礎上帶有圖像色彩恢復重建的MSRCR算法[5],分階融合低照度圖像增強算法[6]以及結合暗通道先驗理論與MSRCR的圖像增強算法[7],但是物理模型的增強方法不僅構造物理模型麻煩,而且只能適用于特定的場景,就暗通道先驗理論來說,有許多待增強的低照度圖像并不滿足該理論.而直接法可認為是直接利用圖像直方圖信息進行圖像增強,比如圖像增強的經典直接算法——直方圖均衡化HE算法[8],但是經該方法處理后的圖像易出現過度增強的情況以及偽影現象,此后又有不少學者針對此類缺陷對HE算法進行了改進,提出了雙邊直方圖均衡化算法BBHE[9],限制對比度的自適應直方圖均衡化算法CLAHE，基于曝光子直方圖均衡化的算法ESIHE以及其改進算法[10-11],除直方圖均衡算法之外,也有不少基于數學方法的數字圖像增強算法[12-14]和基于伽馬校正的非線性增強算法及其改進算法被提出[15-19],比較經典的算法如Huang等[18]提出的自適應權重分布的伽馬矯正增強算法AGCWD, 近年來已有學者將深度學習的方法引入到圖像處理當中[20],此類方法利用神經元網絡對標準的參考圖像進行特征分解與學習,并利用大量的標準圖像與低照度圖像數據集對已構建的神經元網絡節點進行權重優化以達到該神經元網絡最好的圖像增強效果,而最具代表性的是CNN卷積神經元網絡[21],基于此神經元網絡的算法有全卷積網絡的MR-VEA增強算法以及與傳統方法相結合的Retinex-UNet網絡算法等[22],盡管基于深度學習的增強算法能夠抑制過度增強的情況以及能夠較好地恢復圖像色彩與細節,但是該類算法的神經元網絡設計復雜,訓練模型需要大量的訓練數據,整體運算量大且難以獲取成對的標準圖像和低照度圖像.

本文提出了一種類屬于“直接法”的低照度圖像增強算法,在該算法中將圖像增強分割為RGB彩色模型空間處理模塊與HSV彩色模型空間處理模塊.在RGB空間的處理過程中,先對圖像進行分灰度等級處理的亮度抑制與高斯濾波預處理,由于RGB彩色模型空間中的亮度與色彩由R、G、B三分量以不同的比例構成,所以R、G、B三分量的分布特征相類似,利用此特征,針對圖像灰度級偏低的問題提出了統一的灰度級增強函數;在HSV空間中,為避免亮度過低而影響色彩表達效果,單獨提出了針對V分量的亮度調節函數,針對圖像色調過飽和問題,提出了一種基于S分量的色調矯正函數,最后將兩空間中的圖像進行加權融合.最終的實驗結果表明,所提算法有著良好的圖像處理結果,圖像亮度提升明顯,色調矯正效果好.

2 本文算法

較于RGB彩色模型空間,由于HSV彩色模型空間具有面向人體主觀非線性感知色彩特性的特性,故在HSV彩色模型空間中處理后的照片擁有更加飽和與鮮艷的色彩,由此提出一種融合RGB彩色模型空間與HSV彩色模型空間的照度圖像增強算法.該算法的增強過程的流程圖如圖1.

2.1 RGB彩色模型空間的增強

RGB彩色模型空間,又稱三原色(紅色、綠色、藍色)彩色模型空間[23].在該空間中,所有的色彩及其亮度全部由R、G、B三原色分量以不同的比例混合而成,當一色彩點處的三分量均以255灰度級一比一融合時，該色彩點為白色,均以0灰度級一比一融合時，該色彩點為黑色.

實驗結果表明,低照度圖像之所以整體亮度偏暗是因為圖像的灰度等級整體分布主要集中于低灰度等級處,以“Satellite”圖像為例,未經過增強處理前的圖像及其灰度圖如圖2的(a)和(c)所示.低照度圖像由于整體的灰度級偏低,故R、G、B三分量的分布特征與低照度圖像的整體灰度級分布特征相類似,均分布于灰度等級較低處.

為防止圖像出現過度增強的情況,在進行R、G、B三分量增強處理之前,采用如下灰度等級分段處理的處理方式對圖像灰度等級進行預處理.

(1)

其中,A(i,j)表示輸入圖像在位置(i,j)處的灰度級,A(i,j)的取值范圍為[0,255],A1(i,j)表示輸出圖像在位置(i,j)處的灰度級.

將預處理后的圖像,進行高斯高通濾波處理.相較于巴特沃斯濾波器以及理想濾波器,經高斯濾波器處理后的圖像具有更高的平滑性.高通濾波器的作用是過濾掉圖像中的低頻信息,保留高頻信息,使得圖像較多的細節得以保留.本文以盡多的保留圖像細節為目的,選用高通濾波器,高斯高通濾波器的產生公式如下式所示.

(2)

其中,D0為高斯高通濾波器的截止頻率；D(r,c)表示在大小為M×N的圖像中,頻率點(r,c)與頻域中心之間的距離,其表達式為

(3)

針對低照度圖像的灰度等級較低的問題,提出了一種基于RGB彩色模型空間特性的灰度級增強函數,該函數如下式所示.

(4)

其中,A(i,j)表示輸入圖像在位置(i,j)處的灰度級,A(i,j)的取值范圍為[0,255].經RGB彩色模型空間增強后的圖像結果如圖2(b)所示,其灰度圖如圖2(d)所示.

2.2 HSV彩色模型空間的增強

HSV彩色模型空間是一種將RGB三原色彩色模型空間進行歸一化處理演化而來的色彩空間,其通過色調H分量,飽和度S分量以及亮度V分量三個色彩分量來描述彩色圖像,是面向人體非線性視覺感知神經的主觀彩色圖像模型,相較于RGB彩色模型空間,經HSV彩色模型空間處理后的圖像具有更加豐富的色彩與更加飽滿的色調,H、S、V色彩分量與R、G、B三原色色彩分量之間的相互轉換關系如式(5)～(7)所示.

(a) 原圖

(5)

(6)

(7)

低照度圖像由于亮度不足而導致圖像色彩被掩蓋,造成主觀視覺效果差,針對此問題,提出了V分量的非線性亮度增強處理函數,其表達式如式(8)所示;低照度圖像除了亮度低之外,其色彩飽和度偏高,通常會比實際所看到的物體顏色更加飽滿,從而導致了圖像色偏的產生,為矯正圖像的色偏問題,提出了一種針對S分量的色彩飽和度矯正函數,其表達式如式(9)所示,為進一步展示所提出的函數處理效果,在圖3分別給出了V分量與S分量的原圖與處理結果圖,在圖4中給出了V分量的灰度級統計圖與S分量的灰度級統計原圖與處理結果圖.

(8)

(9)

其中,V(i,j)表示圖像亮度V分量在位置(i,j)處的亮度大小;S(i,j)表示圖像色彩飽和度S分量在位置(i,j)處的色彩飽和度大小,V(i,j)與S(i,j)的取值范圍為[0,1].

(a) V分量原圖

(a) V分量灰度級原圖

2.3 彩色模型空間融合

最后采用加權融合的方式,將經過RGB與HSV彩色模型空間增強所得到的圖像進行融合,融合函數表達式如下式所示.

F(i,j)=w*R(i,j)+(1-w)*H(i,j)

(10)

其中,F(i,j)為融合結果;R(i,j)為RGB彩色模型空間中的圖像增強結果;H(i,j)為HSV彩色模型空間中的圖像增強結果;w為權重值,當w等于1時,融合結果即為RGB彩色模型空間中的增強結果,當w等于0時,融合結果即為HSV彩色模型空間中的增強結果,由于本文算法采用等量加權融合的方式,故w的取值為0.5.

3 實驗結果與分析

本文中所有實驗均在MATLAB R 2018b中完成,實驗平臺操作系統為Windows 10,硬件系統運行內存為8 GB RAM,處理器為Intel(R)Core(TM)i5-5200U CPU@2.20 GHz.為驗證本文所提算法的有效性與先進性,選取了目前較先進的四種增強算法作為對比算法,分別為新的多曝光融合算法EFF[24]、具有代表性的基于直方圖均衡化的改進算法ESIHE[10]、具有代表性的基于冪律函數的伽馬矯正算法AGCWD[18]和結合伽馬矯正與直方圖均衡化優勢的ACLAHE算法[11].對比實驗結果如圖5至圖12所示.

(a) 原圖

(a) 原圖

(a) 原圖

(a) 原圖

(a) 原圖

(a) 原圖

(a) 原圖

(a) 原圖

3.1 主觀評價

從實驗對比圖5至圖12可以看出,經EFF算法處理后的圖像色差較小,且結果圖像具較高的亮度,但是該算法在圖6和圖7的暗區域對圖像細節信息的保留效果相對較差.經ESIHE算法處理后的圖像色彩飽和度過高,圖11與圖12的處理結果表現尤為明顯,造成圖像色彩發生偏差而不符合主觀視覺感受,且圖6與圖7的總體增強效果并不明顯,處理后的圖像依然整體偏暗的情況.AGCWD算法的圖像亮度提升效果不夠好,在圖6與圖7近景處的增強效果不明顯,在圖9的中間部分出現了較為明顯的噪點而導致該圖像質量較低,在圖11上部的“屋頂”有部分細節丟失,亮度過高.ACLAHE算法在圖像的亮度增強方面表現較好,但是圖像有色彩增強不均的現象,圖像部分色彩的平滑性較差、飽和度較高的部分色彩過于集中,該現象在圖8的底部圖騰處,圖9的籃球表面處以及圖10的天空區域表現較為明顯.經本文算法處理后的圖像不論是在圖像亮度增強效果上還是色彩飽和度矯正控制上,均有較為良好的表現,經處理后的所有圖像均未有過度增強以及色彩發生嚴重偏差的情況發生,總體來說符合人體主觀視覺感受.

3.2 客觀評價

為進一步表明本算法的有效性,選擇了兩種無參考圖像的客觀圖像質量評價標準和峰值信噪比PSNR(Peak Signal to Noise Ratio)對處理后的圖像進行質量評價.兩種無參考圖像的客觀評價標準分別為NIQE(Naturalness Image Quality Evaluator)和PIQE(Perception based Image Quality Evaluator)[25-26],兩種評價標準的測定值取值范圍均在[0,100]之間,其值大小與圖像質量成反比,所測得數值越小,圖像質量越高,反之越低.而PSNR值的大小與圖像質量成正比,其值越大,則表明圖像質量越高.對比實驗測定結果如表1所示.

表1中的評價結果數據均采用四舍五入的方式保留至小數點后兩位,從無參考圖像質量評價標準Piqe和Niqe來看,經本文算法處理后的圖像測評結果位于所有數據的中上位置,沒有位于末尾的測定結果出現,Piqe與Niqe測定結果總體表現較好;從峰值信噪比Psnr對本文所提算法處理后的結果圖像測定結果來看,該測定結果的總體趨勢與無參考圖像評價測定結果類似,同樣所有的測定結果均表現較好,且相較于其他算法的測定結果沒有出現較差的測定值.綜合兩類客觀評價指標測定結果來看,本文所提算法總體表現較好,符合低照度圖像增強要求.

表1 客觀評價結果

4 結 論

本文提出了一種將圖像進行分彩色模型空間處理最后再融合彩色模型空間的夜間低照度增強算法,并與現有的4種圖像增強算法進行了低照度圖像增強對比實驗.最終的對比實驗結果表明,本文所提算法表現較好,經其處理后的圖像有較高的亮度、較好的圖像質量以及色彩飽和度校正效果良好,符合人眼視覺特性；且不論是主觀評價結果還是客觀評價結果,本文算法均表現良好,因此,所提算法是對低照度圖像增強行之有效的一種算法.