融合非物理模型的改進AM-RetinexNet圖像增強算法

王小芳，徐何方圓，劉嘉琳，郭松銘，鄒倩穎，穆 楠

(1.吉利學院 智能科技學院，四川 成都 641423；2.電子科技大學成都學院 計算機學院，四川 成都 611731；3.四川師范大學 計算機科學學院，四川 成都 610066)

0 引言

隨著數字經濟時代的發展，新基建成為時代發展的重點。地下空間作為新基建的一種主要環境，安全性直接影響基本民生。如何實現智能化地下空間探測成為改造與監控的核心，但地下空間圖像往往在圖像采集時，出現圖像照度低、亮度不均勻、噪聲多和細節丟失嚴重等問題，如何進行地下空間圖像增強處理以解決地下空間探測[1]成為智能探測研究熱點。

低照度圖像增強處理分為非物理模型和物理模型。物理模型增強忽略圖像成像，以數據驅動和Retinex理論[2]為代表。其中，Guo等[3]提出了微光圖像增強的零參考深曲線估計模型對像素級信息進行有效映射以增強圖像；Kim等[4]提出了由編碼器、特征融合、全局網絡和局部網絡構成的顏色轉換網絡模型，利用再現性顏色變換實現圖像增強。Li等[5]提出了可訓練卷積神經網絡的LightenNet模型，該模型以低光照圖像作為輸入得到光照圖，并利用Retinex模型估計光照映射獲得圖像增強效果。張紅穎等[6]提出了HSV-RetinexNet模型，該模型將RGB圖像轉換成HSV分量，通過對V分量增強圖像照度，相關系數調整飽和度分量以增強圖像。黃輝先等[7]提出了AM-RetinexNet模型，該模型將低照度圖像分解為緩變平滑性光照圖和不變性反射圖，利用注意力機制增強圖像空間與局部信息，進而實現圖像增強處理。以上算法對照度調節和細節處理效果較好，但處理后圖像易出現顏色失真，增強圖像整體光照分布不均、視覺不佳，無法滿足照度不均場景。

非物理模型以濾波增強和空間域圖像增強算法為代表[8-9]。其中，Babakhani等[10]提出了Gamma優化模型，該模型利用Gamma曲線對圖像和非線性色調進行編輯，將圖像暗部和亮部按比例調整以增強圖像；羅萍等[11]提出了優化LOG模型，該模型利用各向異性的LOG算子與幾何學角度差進行梯度計算，以實現圖像增強。直方均衡化HE模型[12]將原始圖像灰度值由相對集中的灰度區間均勻分布至整個灰度空間，實現圖像非線性拉伸，并重新分配圖像的像素值以增強圖像；自適應CLAHE模型[13]通過對自適應直方圖均衡模型設置閾值限制對比度，結合線性插值/雙線性插值方法優化圖像塊與塊間過渡問題，實現圖像增強。馮麗等[14]提出了Laplacian模型，該模型使用圖像二次微分變形進行銳化處理，利用鄰近像素關系處理對比度以增強圖像。以上算法雖在圖像色彩上保留一定優勢，但增強后圖像存在整體偏黑、色彩飽和度較低、細節效果和圖像降噪效果不佳等問題。

為解決上述問題，研究利用HSV空間圖像三分量的相互獨立性分別使用非物理模型的直方均勻化和β權值自適應計算方法對S分量的飽和度進行整體視覺色彩修復；使用非物理模型的直方均衡化方法對V分量亮度進行均勻黑預處理，再使用改進AM-RetinexNet進行亮度增強；將處理后的S分量和V分量結果與原始H分量進行融合，并使用自適應色彩恢復因子對增強RGB圖像進行修正，得到整體色彩與照度增強的結果。通過構建融合非物理模型的改進AM-RetinexNet低照度圖像增強模型，能有效實現地下空間非均勻亮度低照度圖像增強，一定程度上解決了現有圖像因照度分布不均引起的圖像增強整體效果較差的缺陷。

1 改進算法實現

將非物理模型與物理模型融合，使用HSV模型[15]將圖像分解為H通道、S通道和V通道變量，利用三通道間相對獨立關系，改善增強后圖像的顏色失真、處理效果差的問題，實現圖像照度增強，其模型架構如圖1所示。

圖1 改進算法架構Fig.1 Architecture of the improved algorithm

由圖1可知，算法核心思路為：

① 將基于非物理模型的直方圖均衡化和β權值自適應與物理模型融合實現圖像低照度增強；

② 對V分量采用均勻黑思想的改進AM-RetinexNet算法進行亮度增強，依次使用直方圖均衡化對V分量進行亮度均勻黑處理，使用改進AM-RetinexNet算法進行亮度增強，增強處理中使用NL-Means模型對V分量進行降噪；

③ 利用自適應色彩恢復方法對S分量和融合圖像進行優化，其中，S分量使用β權值自適應調整圖像飽和度，融合RGB圖像使用顏色恢復因子實現自適應色彩修復。

1.1 HSV色彩空間

為保留圖像低照度增強處理過程中細節信息和圖像色彩視覺效果，研究采用面向視覺感知的HSV模型將RGB圖像轉換為HSV分量分別進行增強處理，計算如下：

(1)

(2)

V=Mmax，

(3)

式中，H，H′分別表示低照度圖像的色調分量和增強后的色調分量；S表示低照度圖像的飽和度分量；V表示低照度圖像的亮度分量；Mmax表示低照度圖像的R，G，B分量中最大值；Nmin表示低照度圖像的R，G，B分量中最小值。

1.2 S分量的自適應調整

為解決色彩飽和度引起的圖像失真、色彩暗淡和主觀視覺不佳等問題，研究使用β權值自適應拉伸函數[15]對飽和度分量進行自適應，計算如下：

(4)

式中，S1表示自適應后的圖像色彩飽和度分量；S表示低照度圖像色彩飽和度分量；α表示飽和度調節系數，取值為2.73[15]；β表示V分量計算的權重值。

1.3 V分量的增強處理

1.3.1 直方圖均衡化預處理

為避免增強后圖像亮度不均、局部增強效果不佳，研究使用直方均衡化[16]對V分量進行預處理，得到均勻黑亮度圖，計算如下：

(5)

均勻化處理后的亮度分量V1low需滿足像素級動態范圍，其計算如下：

(6)

式中，V1low滿足在原始圖像亮度分量區間；P(V1low)表示均勻黑亮度分量的概率估計值。

通過像素級動態范圍調整結果引導V分量進行預處理，得到均勻黑亮度分量圖V1low。

1.3.2 優化的AM-RetinexNet模型

為增強圖像細節、有效降低圖像噪聲和模型訓練時間，研究使用改進AM-RetinexNet模型進行亮度增強處理。

(1) 優化的AM-RetinexNet網絡架構

模型分為分解網絡和增強網絡，網絡在RetinexNet[17]基礎上引入注意力機制對特征圖進行強化，并使用NL-Means算法[18]進行圖像降噪。其架構如圖2所示。

圖2 輕量型的AM-RetinexNet結構示意Fig.2 Schematic diagram of the lightweight AM-RetinexNet structure

由圖2可知，分解網絡采用Decom-Net網絡對V分量進行分解。網絡通過反射率一致性原理共享網絡參數，將低照度V分量圖V1low和正常V分量圖Vnormal分解為低照度圖像光照分量V1Ilow、反射分量V1Rlow、正常照度圖像光照分量VInormol和反射分量VRnormol，正常分量圖用于引導低照度分量訓練。

考慮噪聲與模型訓練時間問題，研究使用NL-Means對反射圖像V1Rlow進行降噪。NL-Means利用圖像冗余信息，在降噪同時最大限度保留圖像細節特征。其處理過程為利用圖像中相似鄰域結構像素的加權平均值計算像素估計值實現圖像降噪處理，計算如下：

V2R(x)=∑y∈Iε(x,y)*V1Rlow(y)，

(7)

式中，V1Rlow為低照度反射圖的噪聲圖像；V2R為低照度反射圖的降噪結果；ε(x,y)為降噪處理的權值，計算如下：

(8)

式中，ε(x,y)值由以x,y為中心的低照度圖像矩形鄰域V(x),V(y)距離‖V(x)-V(y)‖2決定，計算如下：

v(y+z)‖2，

(9)

式中，z表示低照度反射圖降噪處理的歸一化系數，計算如下：

(10)

式中，h用于控制高斯函數的衰減程度。經過NL-Means處理，得到增強反射圖V2R。

增強網絡對反射分量V1Ilow進行處理，增強網絡在U-Net[7]架構上引入注意力機制(AM層)改善網絡結構，實現對亮度空間信息感知。AM層將空間域上的光照分布、空間結構信息引入網絡，擴大特征信息，使網絡對物體空間信息更加敏感，以增強圖像細節信息，減少圖像色塊和邊界扭曲，計算如下：

Fl+1,AM(i,j)=(ωl,AM+1)×[Fl(i,j)×ωl+1+z]，

(11)

(12)

式中，Fl+1和Fl分別表示第l+1層卷積輸出和第l層的輸入；ωl,AM表示第l層加入AM權重的VIlow(i,j)照度特征；Fl+1,AM(i,j)為第l+1層加入AM層特征圖。AM層中圖像塊距離計算式為：

(13)

式中，xi,xj表示低照度光照圖的特征點；f(xi,xj)表示相似系數,當且僅當f(xi,xj)=exp(xixj)可計算待測像素與其他像素點之間的距離。

U-Net架構[19-20]采用上下采樣路徑對稱結構對特征通道數翻倍進而提升特征圖分辨率。上下采樣層之間設復制與修剪通路實現特征圖直接在采樣路徑間傳遞，使上采樣網絡有效推斷丟失像素，獲得高分辨率光照圖像V2I。

下采樣使用大小和補償為2的最大池化層處理，每組下采樣塊由2層3×3 unpadded卷積層和ReLU組成，使每組下采樣塊進行一次卷積后，其特征圖通道數增加1倍，當網絡獲取大尺度光照分布后對輸入圖像依次下采樣到小尺度。

上采樣處理采用多組調整圖像尺寸的卷積層處理，每組上采樣先使用2×2 up-convolution將V分量光照圖的分辨率翻倍、通道數減半，并與收縮網絡中對應位置的編碼器進行卷積，輸出特征圖concatenation。

上下采用處理過程以元素求和從下采樣塊中引入鏈接與上采樣塊映射，強制網絡進行殘差學習，并通過收縮路徑捕獲上下文信息。收縮路徑交替進行卷積和池化運算，并使用Overlap-tile策略[21]將特征圖裁剪后拼接到擴張網絡特征圖，結合跳躍連接實現上采樣特征和收縮路徑的高分辨率特征圖融合，提高輸出圖像分辨率。

(2)訓練評價參數

模型參考RetinexNet[17]損失函數，分為分解損失和重建損失，其中，分解損失用于控制反射圖與光照圖的分解效果[7]，計算如下：

Li=‖V1Rlow-VRnormal‖1，

(14)

式中，Li表示圖像增強的分解損失函數；‖·‖1表示1-范數。

重建損失用于控制反射圖和光照圖的增強與重建效果，計算如下：

(15)

式中，Lj表示圖像增強處理的重建損失函數；V1Ilow×V1Rlow表示低照度圖V1low；(VSnormal)i表示圖像歸一化處理結果；(V1Ilow×V1Rlow)i表示圖像歸一化后的結果。為避免像素色彩超出色域范圍，將圖像歸一化至[0,1]，確保像素值有上界。

總損失函數由分解損失函數和重建損失函數構成，計算如下：

L=ωiLi+ωjLj，

(16)

式中，Li，Lj分別表示V分量圖像的分解損失函數和重建損失函數；ωi，ωj分別為分解損失和重建損失的權重值，其值設為ωi=2，ωj=1.5最佳[7]。

將處理后的V2I和V2R相乘得到增強亮度分量圖像V2，計算如下：

V2=V2R*V2I。

(17)

為避免圖像融合過程中邊緣不平滑情況，研究利用平滑卷積對V2平滑處理，計算如下：

(18)

V3=V2?Z，

(19)

式中，V2為2個亮度分量的融合結果；Z為卷積濾波器的卷積核；?為卷積操作；V3為平滑處理后分量圖。

1.4 分量融合與自適應色彩恢復

經平滑處理得到V3，將H處理后的S1，V3轉換回RGB空間，得到照度和色彩飽和度增強圖像。該圖像在色彩比例上存在一定的失調和失真，研究使用顏色恢復因子[22]Cδ對圖像的R，G，B分量進行進一步色彩修正，計算如下：

(20)

式中，G表示增益參數；λ用于調節圖像亮度；c表示R，G，B三種顏色調節比重值；Sδ(n,m)表示輸入圖像的R，G，B色彩分量。將色彩恢復因子帶入色彩恢復公式進行處理，得到自適應R，G，B結果，計算如下：

Fδ(i,j)=Cδ(i,j)Rδ(i,j)，

(21)

式中，Rδ(n,m)表示顏色恢復前增強圖像的R，G，B顏色分量；δ取值為(1,2,3)；Fδ(n,m)代表恢復后的顏色分量，將三分量進行融合得到最終低照度增強結果。

2 實驗結果與分析

2.1 實驗環境

研究采用Intel i7 8700 CPU、32 GB內存和PaddlePaddle平臺2 GB GPU資源，使用自建地下空間數據集DCIM、開源數據集LOL以及自建數據集進行模型訓練，其中自建數據集1 052張，數據以訓練集與測試集7∶3比例進行隨機分配，并使用OpenCV，TensorFlow和Pytorch框架進行訓練。

2.2 評價模型

研究使用互信息(MI)、標準差(STD)、結構相似性(SSIM)、平均梯度(AG)、空間頻率(SF)和峰值信噪比(PSNR)[23]對圖像進行評價。其中，MI用于度量低照度增強的2幅圖像之間的相似程度值越高，越接近原圖，計算如下：

MI=H(A)+H(B)-H(A,B)，

(22)

式中，A，B分別表示原始圖像和增強圖像；H(A)，H(B)表示對應圖像的信息熵；H(A,B)表示聯合信息熵。

STD用于度量低照度增強處理后像素分布的分散程度，計算如下：

(23)

式中，N表示x的數量；xε表示圖像數據；μ表示算術平均值。

SSIM用于衡量2幅圖像的相似度，值越大，越接近原圖，計算如下：

(24)

AG用于衡量融合圖像的清晰程度，值越大，圖像還原越清晰，計算如下：

(25)

式中，H表示融合圖像；M與N分別表示圖像的高和寬；H(i,j)表示第i行第j列的像素值。

SF反映圖像灰度的變化程度，值越大，效果越佳，計算如下：

(26)

PSNR用于衡量圖像質量及降噪效果，值越大效果越佳，計算如下：

(27)

式中，MSE為原圖像與處理圖像之間均方誤差。

2.3 不同算法不同數據集性能分析

研究在相同實驗環境下對自建數據集、開源數據集DICM和LOL分別采用Laplacian算法[14]、CLAHE算法[13]、LOG算法[11]、Retinex算法[2]、直方均衡化HE算法[12]、RCTNet算法[4]、Zero-DCE算法[3]以及改進算法實現圖像全局增強處理和局部增強處理，結果如圖3和圖4所示。

圖3 不同算法不同數據集的全局增強處理Fig.3 Global enhancement processing diagram for different data sets with different algorithms

圖4 不同算法不同數據集的局部放大增強處理Fig.4 Local magnification enhancement processing diagram for different datasets of different algorithms

由圖3肉眼分析可知，3種數據集使用Laplacian算法進行照度增強無明顯增強變化；CLAHE算法、直方均衡化HE算法、LOG算法和經典Retinex算法雖在照度處理上有一定提升，但出現泛白及視覺光照過亮等情況，在增強后圖像中餐桌、墻體和車頭存在明顯噪聲，且圖像顏色偏藍、色彩飽和度失真較為嚴重；RCTNet算法和Zero-DCE算法有一定增強效果，在一定程度上還原色彩飽和度，但增強圖像局部過亮、肉眼感官不佳。改進算法的色彩飽和度、圖像整體增強效果最符合原圖，細節較為清晰，改進算法在全局圖像增強的主觀評價上具有一定優勢。

由圖4可知，局部放大增強圖像處理中，Laplacian和CLAHE整體照度較低、圖像增強效果不明顯，LOG，Retinex，RCTNet以及Zero-DCE增前后圖像噪聲明顯、較模糊。LOL和DICM數據集的正常圖和改進算法增強圖從肉眼觀看，色彩飽和度幾乎沒有差異，整體保留圖像的一定細節信息，降噪效果明顯。改進算法較傳統算法而言，其局部放大圖像增強可較好恢復圖像色彩飽和度、圖像對比度，圖像整體亮度感官較均勻，整體色彩、細節和亮度恢復與正常圖最為吻合，改進算法在圖像局部放大增強處理上具有一定價值性。

2.3.1 不同算法全局圖像增強客觀評價

為驗證各算法性能，研究對自建數據集、開源數據集LOL和DICM在相同實驗環境下分別使用Laplacian算法[14]、CLAHE算法[13]、LOG算法[11]、Retinex算法[2]、直方均衡化HE算法[12]、RCTNet算法[4]、Zero-DCE算法[3]以及改進算法對圖像全局進行增強處理，處理后采用客觀評價指標MI，STD，SSIM，AG，SF和PSNR進行分析，結果保留2位小數，如表1所示。

表1 不同算法對3種數據集圖像全局增強處理評價分析Tab.1 Evaluation and analysis of global enhancement image processing for three datasets by different algorithms

由表1可知，自建數據集的全局圖像效果最佳為改進算法，圖像評價指標MI，STD，SSIM，AG，SF，PSNR值分別為5.97，76.40，0.63，13.25，37.87，38.67；改進算法較效果最佳的低照度圖像增強算法而言，整體分別提升1.53%，10.80%，6.78%，45.29%，11.74%和8.13%；較傳統算法而言，整體分別提升10.27%，56.32%，41.02%，177.46%，382.39%，25.80%。

DICM開源數據集的全局圖像增強處理效果最佳為改進算法，圖像評價指標MI，STD，SSIM，AG，SF，PSNR值分別為5.54，74.18，0.61，12.66，35.85，39.27；改進算法較傳統最佳的低照度圖像增強算法而言，整體分別提升6.74%，13.88%，22.00%，31.19%，17.66%，2.99%；較傳統算法而言，整體分別提升31.63%，51.31%，125.80%，207.13%，77.46%，29.60%。

LOL開源數據集的全局圖像增強處理效果最佳仍為改進算法，圖像評價指標MI，STD，SSIM，AG，SF，PSNR值分別為6.21，56.11，0.66，11.12，35.83，41.89；改進算法較效果最佳的低照度圖像增強算法而言，整體分別提升2.81%，4.82%，15.79%，33.65%，17.59%，1.60%；較傳統算法而言，整體分別提升19.78%，50.59%，82.29%，131.90%，77.36%，35.43%。

改進算法在自建數據集、開源DICM和LOL數據集的全局圖像處理中，較效果最佳的低照度圖像增強算法而言，MI，STD，SSIM，AG，SF，PSNR整體分別提升3.70%，9.83%，14.86%，36.71%，15.66%，4.24%。改進算法的細節處理、色彩恢復、圖像降噪和照度增強處理整體效果最佳，色偏最小，改進算法在低照度圖像增強中有一定優勢。

2.3.2 不同數據集不同算法局部放大增強客觀分析

為驗證各算法性能，研究對自建數據集、開源數據集LOL和DICM在相同實驗環境下分別使用Laplacian算法[14]、CLAHE算法[13]、LOG算法[11]、Retinex算法[2]、直方均衡化HE算法[12]、RCTNet算法[4]、Zero-DCE算法[3]以及改進算法對局部放大圖像進行增強處理，處理后采用客觀評價指標MI，STD，SSIM，AG，SF，PSNR進行分析，結果保留2位小數，如表2所示。

表2 不同算法對3種數據集的局部放大圖像處理評價分析Tab.2 Evaluation and analysis of local magnification image processing for three datasets by different algorithms

由表2可知，自建數據集的局部圖像增強處理效果最佳為改進算法，圖像評價指標MI，STD，SSIM，AG，SF，PSNR值分別為6.07，73.24，0.61，11.24，35.54，37.83；改進算法較效果最佳的低照度圖像增強算法而言，整體分別提升1.16%，47.17%，0.33%，35.33%，88.83%，1.67%；較傳統算法而言，整體分別提升12.52%，49.26%，35.09%，123.89%，87.38%，47.89%。

DICM開源數據集的局部圖像增強處理效果最佳為改進算法，圖像評價指標MI，STD，SSIM，AG，SF，PSNR值分別為7.32，87.70，0.45，20.05，36.84，37.83；較效果最佳的低照度圖像增強算法而言，整體分別提升5.67%，69.33%，0.67%，3.00%，92.00%，10.00%；較傳統算法而言，整體分別提升24.25%，186.68%，145.65%，383.90%，93.16%，44.11%。

LOL開源數據集的局部圖像增強處理效果最佳仍為改進算法，圖像評價指標MI，STD，SSIM，AG，SF，PSNR值分別為6.02，56.13，0.43，11.43，37.28，39.83；改進算法較效果最佳的低照度圖像增強算法而言，整體分別提升0.50%，4.83%，0.33%，6.00%，65.33%，26.50%；較傳統算法而言，整體分別提升13.31%，59.14%，113.62%，187.22%，76.52%，50.79%。

改進算法在自建數據集、開源DICM和LOL數據集的局部圖像放大增強處理上，較效果最佳的低照度圖像增強算法而言，MI，STD，SSIM，AG，SF，PSNR值平均分別提升2.44%，40.44%，0.44%，14.78%，82.06%，12.72%。改進算法在細節處理、圖像降噪處理、圖像色彩恢復和整體亮度增強最佳，對低照度圖像增強處理具有明顯優勢。

2.4 消融實驗分析

本模型在RetinexNet基礎上通過改進AM-Retinex架構對HSV空間進行增強處理。為驗證本研究相較基礎模型對圖像增強有更好效果，將研究算法與RetinexNet[17]、AM-RetinexNet[7]以及HSV-RetinexNet[6]模型進行對比實驗，實驗使用自建數據集、DICM數據集和LOL數據集進行全局處理和局部放大處理驗證，結果如圖5和圖6所示。由圖5和圖6可知，引入注意力機制的AM-Retinex算法與本文算法，其圖像低照度增強處理主觀視覺和色差處理效果更佳。此外，改進算法的圖像細節效果最佳、降噪效果最明顯，最符合正常圖。

圖5 消融實驗全局圖像增強效果對比Fig.5 Comparison of enhancement effect for global image in ablation experiment

圖6 消融實驗局部放大增強效果對比Fig.6 Comparison of local amplification and enhancement effect in ablation experiment

為保證客觀性能，實驗選用MI，SSIM，AG，PSNR和平均檢測時間5個指標對3種數據集低照度圖像增強的平均效果進行定量評價，評價數據保留2位小數，如表3所示。

表3 消融實驗評價分析Tab.3 Evaluation and analysis of ablation experiment

由表3可知，消融實驗的單張圖像平均檢測時間最佳為RetinexNet，次之改進算法，最長為AM-RetinexNet，改進算法單張圖像平均檢測時間雖較最佳算法RetinexNet增加了0.72 s，效率降低2.2%。但改進算法在圖像增強處理上，3個數據集處理的平均MI，SSIM，AG，PSNR結果最優，分別達到6.18，0.56，13.29，39.22，改進算法較其他消融實驗算法而言，平均MI，SSIM，AG，PSNR整體分別提升7.7%，10.0%，75.8%，17.4%。改進算法低照度增強的細節更佳、降噪效果更好，色彩修正以及整體亮度增強更符合正常圖，改進算法在整體增強處理上有明顯優勢。

3 結論

研究針對低照度圖像亮度分布不均、增強后圖像噪聲大和色彩不佳問題，構建了基于HSV空間的改進AM-RetinexNet圖像增強算法。為保留圖像色彩飽和度，引入自適應β系數進行飽和度自適應；為提升圖像分辨率、增強整體視覺效果、降低噪聲，利用融合直方均衡化的改進AM-RetinexNet算法進行亮度處理，并利用平滑卷積進行銳化處理；最后為增強整體色彩，對處理后RGB圖像進行色彩修正，得到最終低照度增強圖像。

在3個數據集上進行全局增強和局部放大增強對比實驗。與基礎RetinexNex算法相比，能有效修正色偏、降低圖像噪聲。改進算法在MI，STD，SSIM，AG，SF，PSNR評價指標上表現更佳。與其他傳統低照度圖像增強算法相比，圖像整體亮度增強效果明顯，圖像分辨率較高、色彩修正效果最佳，且單張圖片檢測時間無較大增加。

本研究除能很好地應用于地下空間圖像增強外，還能應用于夜間圖像、水下圖像增強領域。研究在實驗上依賴大量的數據進行訓練，模型訓練所花費時間仍較長，有待進一步改進。