顏色恢復和邊緣保持的低照度圖像超分辨率重建方法

摘要：針對常規圖像超分辨率重建方法應用于低照度環境下的圖像時存在紋理信息丟失、顏色偏移失真和重建性能退化等問題，提出了一種顏色恢復和邊緣保持的低照度圖像超分辨率重建方法。在錨定鄰域回歸（ANR）的圖像超分辨率重建方法基礎上引入顏色恢復和邊緣保持的照度增強函數，從而提高圖像內容和邊緣紋理的顯著性；選擇最小加權二乘濾波作為中心環繞函數（WLS）以抑制高頻特征退化；同時針對YCbCr顏色空間的Y通道分量采用邊緣保持的照度增強函數計算其反射分量，進一步增強邊緣紋理特征。實驗結果表明，所提方法獲得了更好的視覺效果，相比于其他方法，該方法峰值信噪比（PSNR）提高了63.15%、結構相似度（SSIM）提高了46.86%、感知質量（PI）提高了4.12%。

關鍵詞：低照度圖像；超分辨率重建；多尺度Retinex；邊緣保持；錨定鄰域回歸

中圖分類號：TP391文獻標志碼：A

文章編號：1001-3695（2022）04-050-1253-06

doi：10.19734/j.issn.1001-3695.2021.08.0336

Super resolution of low illumination image based on color restoration and edge preserving

Guo Lina，Chen Lianglianga，Cheng Deqianga，b，Jiang Mana，Kou Qiqic，Qian Jianshenga

（

a.School of Information amp; Control Engineering，b.Engineering Research Center of Intelligent Control for Underground Space of the Ministry of Education，c.School of Computer Science amp; Technology，China University of Mining amp; Technology，Xuzhou Jiangsu 221000，China）

Abstract：In order to overcome the problems of texture information loss，color offset distortion and reconstruction performance degradation in case of super resolution of images in low illumination environment，this paper proposed a super-resolution method of low illumination image based on color restoration and edge preservation.Based on anchored neighborhood regression（ANR），the method introduced the illuminance enhancement function of color restoration and edge preservation to improve the significance of image content and edge texture.Meanwhile，it selected the weighted least squares（WLS） as the central surround function to suppress the degradation of high-frequency features.Moreover，for the Y-channel component of YCbCr color space，it used the edge preserving illuminance enhancement function to calculate reflection component to further enhance the edge texture feature.The experimental results show that the proposed method achieves better visual effect.Compared with other methods，the PSNR of this method is improved by 63.15%，SSIM is improved by 46.86% and the perceived quality（PI） is improved by 4.12%.

Key words：low-light image；super resolution reconstruction；multi-scale Retinex；edge preserving；anchored neighborhood regression

0引言

超分辨率重建是圖像恢復領域中的一大研究方向，表示根據一張或多張低分辨率圖像重建其對應的高分辨率圖像。通常，相比于低分辨率圖像，高分辨率圖像包含更加豐富的紋理細節信息與清晰的邊緣結構，因此圖像超分辨率技術在醫學領域［1］、遙感成像［2］、目標識別［3］、圖像特征提取與分類［4］等領域有著重要意義。但是，目前絕大多數的超分辨率重建方法都是針對正常光照環境下的圖像，而進行弱光環境下的圖像超分辨率重建則表現效果不佳［5］，重建圖像丟失大量紋理信息、色彩飽和度較低、視覺效果不佳。因此研究針對低光照圖像的超分辨率重建方法具有重要意義。

當前，單幅圖像超分辨率重建算法可以大致分為三類：

a）基于插值的方法［6，7］。這種方法主要是利用鄰域像素來估計待插入的像素值，從而將低分辨率圖像轉換為高分辨率圖像，如雙線性插值和最近鄰插值。這些算法主要通過計算鄰域像素的加權值來表示當前的像素值，因此比較容易實現，但也極易生成圖像偽影，例如圖像模糊和振鈴效應。

b）基于重建的方法［8］。該類方法使用統計恢復技術，利用不同的先驗信息作為約束，為重建過程引入正則化項，從而重建丟失的高頻信號。基于重建的超分辨率算法能夠克服基于插值方法中的偽影、紋理模糊等問題，并且先驗信息的約束也在抑制噪聲和邊緣保持方面起到了良好的效果，因此在客觀和主觀圖像質量方面優于基于插值的方法。但是，該方法高度依賴于所使用的先驗約束和輸入低分辨率圖像的匹配過程，不適用于高放大倍數的圖像重建，魯棒性較差，并且計算復雜度較高。

c）基于學習的方法［9］。該類方法通過機器學習技術對大量的訓練圖像數據進行學習，從而根據先驗信息建立高、低分辨率圖像間的映射關系，例如梯度輪廓先驗方法、鄰域嵌入方法［10］、基于字典學習的方法［11］等。

Ma等人［12］提出的基于梯度指導的結構保留超分辨率方法，利用梯度分支網絡生成SR梯度特征圖，同時引入梯度損失作進一步的約束，從而緩解感知驅動方法生成的SR結果中普遍存在的幾何變形問題。鄰域嵌入方法根據流行學習理論，通過訓練圖像數據計算不同低分辨率圖像塊在高分辨率空間的鄰域，并用于重建高分辨率圖像，該方法利用鄰域能夠使用較少的先驗數據表示更多的高分辨率特征，但不合適的鄰域數量也會導致欠擬合或過擬合，造成紋理細節模糊。基于字典學習的方法則根據圖像的稀疏表示學習獲得高、低分辨率字典，并利用稀疏系數自適應地選擇表達高分辨率特征的字典原子數量，優化高、低分辨率圖像塊間先驗映射關系，但稀疏表示的計算增加了模型復雜度，且缺少圖像全局特征的表示。針對基于字典學習的方法存在的問題，程德強等人［13］通過多個小字典學習替代單一大字典學習降低計算復雜度，并通過邊緣修正等方法約束全局邊緣特征。Timofte等人［14］提出的錨定鄰域回歸方法（ANR），在高低分辨率字典基礎上求解字典原子的鄰域，并離線計算鄰域投影矩陣，提高字典原子特征表達能力的同時降低圖像重建階段的計算復雜度。這些基于學習的方法雖然具有較好的魯棒性和較低的計算復雜度，但是缺少全局特征的映射學習，從而在低光照圖像超分辨率重建中無法兼顧全局照度信息和局部紋理細節的重建，并且低光照環境使得圖像照度較低，降低圖像紋理結構的顯著性，導致現有單幅圖像超分辨率重建方法的性能進一步惡化，重建圖像存在邊緣模糊和色彩失真的問題，整體視覺效果不佳。

為了克服低光照環境對單幅圖像超分辨率重建方法的不良影響，本文提出了基于顏色恢復和邊緣保持的低照度圖像超分辨率重建方法。首先，考慮到ANR方法對低照度環境的不適應性，本文引入照度增強提高邊緣紋理的顯著性和改善圖像照度；同時，本文提出顏色恢復和邊緣保持的照度增強函數，利用顏色恢復函數調整不同通道響應比例抑制顏色偏移問題，引入加權最小二乘濾波函數提高紋理細節信息的顯著性，并融合不同顏色空間下計算的圖像反射分量，進一步增強圖像紋理細節信息。實驗表明，本文方法所重建圖像顏色視覺效果更佳，圖像紋理更清晰，在主觀評價和客觀評價方面均有顯著提升。

1相關工作

1.1基于Retinex的圖像增強

Retinex理論［15］指出，人眼觀察到的圖像是由反射分量R和照度分量L合成而來，其中反射分量是由物體自身的材質所決定，而照度分量則表示圖像的光照信息，其原理如圖1所示。觀察圖像I在（x，y）位置的像素I（x，y）可表示為

I（x，y）=L（x，y）·R（x，y）（1）

其中：L（x，y）和R（x，y）分別表示照度分量和反射分量在（x，y）處的相應值。

基于該理論，Jobson等人［16］提出單尺度中心Retinex低光照圖像增強方法（SSR），通過中心環繞函數求解圖像照度分量，其公式表示為

L（x，y）=FCI（x，y）=λLe-（x2+y2）σ2I（x，y）（2）

其中：*表示卷積運算；FC為中心環繞函數；λL是歸一化參數；σ為高斯環繞尺度。接著，圖像的反射分量可通過下式計算：

r（x，y）=log I（x，y）-log L（x，y）（3）

最后將反射分量r在指定顏色（0～255）進行映射并作為增強后的圖像。

雖然SSR在一定程度上改善了圖像的亮度，但固定的高斯環繞尺度無法適應不同的動態范圍壓縮，導致部分圖像色彩失真。為了平衡動態范圍壓縮和色彩恢復，Jobson等人［17］進一步提出多尺度Retinex算法（MSR）。相比于SSR算法，MSR分別采用不同高斯環繞尺度計算反射分量，并對這些反射分量進行加權計算得到圖像的反射分量，計算公式如下：

RMSRi=∑Nn=1ωnRni=∑Nn=1ωnlog I（x，y）-logFCn*I（x，y）（4）

其中：N是尺度個數；ωn是每個尺度的權重；FCn為第n個中心環繞函數。根據文獻［17］的實驗表明，較為理想的尺度及權重選擇為N=3，ω1=ω2=ω3=1/3。同時，根據文獻［18］可知，三個中心環繞函數的高斯環繞尺度參數σ的理想值分別為15、80和250。MSR方法克服了SSR無法兼顧圖像保真和動態范圍壓縮的問題，消除了光暈現象，進一步提高了低光照圖像增強質量。但是，SSR和MSR將求解得到的反射分量在顏色范圍間映射時會導致彩色圖像不同通道的比例失衡，造成圖像色彩產生偏移失真。為了解決該問題，Jobson等人［17］又提出了色彩恢復的多尺度Retinex（MSRCR）算法，通過引入顏色恢復函數（CRF）調節彩色圖像不同通道的比例，從而抑制色彩失真。在MSRCR中，第i個通道反射分量的計算公式為

RMSRCRi（x，y）=aG［Ci（x，y）RMSRi（x，y）+b］

Ci（x，y）=β log［αCIi（x，y）∑Nj=1Ij（x，y）］（5）

其中：aG為最終增益量；b為偏移量；Ci（x，y）為引入的CRF函數；β為增益常數；αC為非線性強度控制系數。根據文獻［19］，式（5）中參數分別設置為aG=194，b=-30，β=46，αC=125。

MSRCR方法具有較好的顏色保真性，并能夠有效提高低光照圖像的照度，但中心環繞函數易受噪聲影響，并且圖像紋理信息保持不佳。基于此，本文提出了顏色恢復和邊緣保持的照度增強函數。

1.2錨定鄰域回歸超分辨率重建算法

錨定鄰域回歸算法（ANR）［14］是在字典學習方法基礎上引入鄰域嵌入的單幅圖像超分辨率重建算法。通常，基于字典學習方法以L1范數對最小二乘問題進行約束，如式（6）所示。

minα‖Dlα-pl‖22+λS‖α‖1（6）

其中：Dl為低分辨率字典；α為稀疏矩陣；pl為低分辨率圖像塊特征；λS為平衡稀疏矩陣的權值參數。

ANR算法則進一步松弛基于字典學習的L1范數為L2范數，如式（7）所示。

minα‖Dlα-pl‖22+λS‖α‖2（7）

通過嶺回歸可計算得到稀疏矩陣α為

α=（DTlDl+λSE）-1DTlpl（8）

因此，pl所對應的高分辨率圖像塊特征可表示為

ph=Dhα=Dh（DTlDl+λSE）-1DTlpl（9）

其中：Dh為高分辨率字典。根據式（10），定義投影矩陣PG為

PG=Dh（DTlDl+λSE）-1DTl（10）

投影矩陣PG可利用字典學習方法［20］中的字典進行求解，從而簡化圖像重建過程中的低分辨率字典到高分辨率字典投影的計算。進一步，ANR引入鄰域嵌入（NE）方法［14］，計算字典原子的鄰域，并以字典原子的鄰域替代投影矩陣中全局字典的計算，從而構建多個投影矩陣，則第i個低分辨率圖像塊p（i）l對應的高分辨率圖像塊特征為

p（i）h=pj·p（i）l（11）

其中：pj為p（i）l的最近鄰原子所對應的鄰域投影矩陣。鄰域投影矩陣避免了基于全局字典的計算，從而進一步降低圖像重建的計算復雜度，同時鄰域的引入增強了局部特征的表示能力，提高了高頻紋理細節的重建能力。

ANR算法能夠有效重建正常光照下低分辨率圖像的紋理細節，改善圖像視覺效果。但是，在低光照圖像超分辨率重建中，由于ANR注重高頻紋理信息的映射關系學習，缺少低頻照度特征的表示，導致無法有效兼顧低頻照度和高頻紋理的改善。所以本文提出了基于照度增強的ANR方法用于低光照圖像超分辨率重建。

2顏色恢復和邊緣保持的低光照圖像超分辨率重建

為了減少低光照環境對圖像超分辨率的負面影響以及改善現有圖像超分辨率重建方法對低光照圖像超分辨率的局限，本文提出一種顏色恢復和邊緣保持的單幅低光照圖像超分辨率重建算法。首先，本文在ANR圖像超分辨率重建算法的基礎之上引入低光照圖像增強函數，克服ANR算法對低頻照度映射學習的局限性；進一步，考慮到低光照增強方法MSRCR退化紋理特征的問題，本文提出顏色恢復和邊緣保持的照度增強函數，通過引入顏色恢復函數和加權最小二乘濾波函數提高RGB顏色空間圖像的色彩保真度和紋理顯著性，并融合在YCbCr顏色空間計算得到的反射分量，進一步增強圖像邊緣信息的顯著性。本文算法的具體流程如圖2所示。

2.1基于照度增強的ANR

目前，常用的單幅圖像超分辨率重建方法僅應用于正常光照下的圖像。而在低光照環境中，偏低的照度使得圖像內容難以辨識、邊緣紋理被弱化等，這使得常規圖像超分辨率重建方法的性能嚴重退化。如圖3所示，常規圖像超分辨率重建方法ANR生成的圖像不僅紋理模糊，并且圖像內容不顯著，視覺效果較差。為此，本文在ANR方法中引入照度增強函數抑制低光照影響，根據式（7），其原理可通過如下公式進行表示：

minα‖DlRα-fR（pl）‖22+λS‖α‖2（12）

其中：DlR為被增強的低分辨率字典；fR（·）為照度增強函數。

若fR（·）為此處選擇計算反射分量的函數，則根據式（2）和（3）可進一步表示為

minα‖DlRα-plR‖22+λS‖α‖2=

minα‖DlRα-（log y-log （FC*pl））‖22+λS‖α‖2（13）

該式可通過K-SVD方法［12］進行求解得到低分辨率字典DlR，同理可求得被增強的高分辨率字典DhR。相對于傳統的字典Dl和Dh只包含低分辨率和高分辨率圖像的高頻特征，被增強的字典DlR和DhR則表示低分辨圖像反射分量與高分辨率圖像的高頻特征。由Retinex理論可知，圖像的反射分量不受光照強弱的影響，因此被增強的字典對于低光照圖像具有更強的特征表示能力。

并且，由于log y-log（FCpl）為確定量，其并不影響投影矩陣的計算，所以根據式（10）可知，反射分量的投影矩陣為

PGR=DhR（DTlRDlR+λSE）-1DTlR（14）

由此可得，低分辨率圖像塊進行圖像超分辨率重建的計算公式為

ph=PGR（log pl-log（FCpl））（15）

照度增強函數的引入增強了高、低分辨率字典對低照度圖像特征的表達能力，一定程度上能夠避免光照環境對圖像超分辨率重建的影響。

2.2顏色恢復和邊緣保持的照度增強函數

雖然ANR方法引入照度增強函數能夠改善圖像的照度，但是ANR方法只對YCbCr顏色空間下Y通道進行圖像超分辨率重建，這會導致YCbCr三通道的比例失衡，產生色彩偏移或失真。同時，照度增強函數所采用的高斯濾波器只考慮像素點的空間距離關系，具有較差的邊緣保持能力，因此圖像邊緣也會出現退化現象。為此，本文借鑒MSRCR對SSR和MSR的改進思想，通過調節圖像RGB通道分量間的比例來矯正顏色的偏移，提高圖像顏色的保真度；并且引入加權最小二乘濾波函數（WLS）替換高斯濾波函數，進一步增強圖像邊緣。

根據2.1節可知，單尺度照度增強函數的圖像超分辨率重建計算公式如式（15），再根據式（5）可知，引入顏色恢復照度增強函數的圖像超分辨率重建公式如下：

ph，i=aG·PGR，i·（β log pl，i·plR，i+b）（16）

其中：aG為最終增益量；b為偏移量；β為增益常數；pl，i為低分辨率圖像pl的第i個通道分量（i=1，2和3，分別對應R、G和B三個通道）；plR，i為pl的反射分量plR第i通道的分量，在式（16）中plR，i=log pl，i-log （FCpl，i）。

顏色恢復照度增強函數通過對plR，i進行調節從而保證圖像各通道分量間的比例與其原有色彩相匹配。但是，plR，i照度增強的中心環繞函數采用高斯濾波器，而該濾波器只考慮像素點空間距離的關系，具有較差的邊緣保持能力，導致plR，i中的邊緣紋理信息產生退化問題。而WLS是一種保邊性能優越的濾波器，能夠更好地保持圖像邊緣紋理等梯度信息，因此將WLS引入圖像照度增強，則增強圖像公式可表示為

plR，i=log pl，i-log［（E+λwlsLg）-1pl，i］（17）

其中：E為單位矩陣；λwls為平衡圖像光滑和邊緣梯度保持的參數；Lg為

Lg=pTdvAvpdv+pTdhAhpdh（18）

其中：pdv和pdh分別為垂直和水平方向的前向差分算子；pTdv和pTdh為對應的后向差分算子；Av和Ah分別是以平滑權重系數av和ah為對角元素的對角矩陣；av和ah為av=（| log pl，iy|k+ε）-1，ah=（| log pl，ix|k+ε）-1，其中，極小值ε一般取值為10-4，指數k取值為1.5，用于控制對pli梯度的靈敏度。

由式（18）可知Lg為五點空間異性拉普拉斯矩陣，這使得加權最小二乘濾波函數具有更好的邊緣保持能力，從而在一定程度上隨著圖像照度的增強而提高邊緣紋理的顯著性。

此外，為了進一步提高圖像的邊緣顯著性，采用最小加權二乘濾波函數計算YCbCr顏色空間的Y通道分量，并最終與RGB三通道的照度增強結果進行融合，融合后的反射分量pf為

pf=mplR+（1-m）plY（19）

其中：plR為在RGB顏色空間通過照度增強函數計算得到的反射分量，計算公式如式（16）和（17）；plY為在YCbCr顏色空間單獨采用式（17）對Y通道進行計算得到的反射分量；m為控制系數，且滿足0lt;mlt;1。

最終，單幅低光照圖像超分辨率重建公式可表示為

ph，i=aG·PGR，i·（β log pl，i·pf，i+b）（20）

其中：pf，i為融合反射分量pf的第i通道分量。

2.3本文方法的訓練和學習

本文方法包括訓練和重建兩個階段。訓練階段通過學習大量訓練圖像數據集的先驗知識計算并保存其鄰域投影矩陣；重建階段則利用投影矩陣對低光照環境下的低分辨率圖像進行圖像超分辨率重建，最終得到光照改善的高分辨率圖像。

1）訓練階段

輸入：低分辨和高分辨率圖像數據集。

輸出：鄰域投影矩陣。

a）基于顏色恢復和邊緣保持函數計算反射分量plR，計算公式如式（16）（17）；

b）輸入圖像轉為YCbCr顏色空間，邊緣保持函數計算反射分量plY，計算公式如式（17）;

c）plR和plY進行融合得到融合反射分量pf，融合公式如式（19）；

d）將pf替換式（13）中的plR，利用K-SVD方法計算低分辨率增強字典DlR，同理可計算高分辨率增強字典DhR；

e）計算鄰域投影矩陣PGR，計算公式如式（14）。

2）重建階段

輸入：低照度環境下的低分辨率圖像。

輸出：照度得到改善的高分辨率圖像。

a）基于顏色恢復和邊緣保持的照度增強，計算過程如訓練階段的步驟a）～c）；

b）計算最近鄰原子，通過低分辨率圖像與字典原子的歐氏距離比較確定最近鄰原子；

c）根據最近鄰原子確定最近鄰投影矩陣PGR；

d）重建高分辨率圖像，計算公式如式（20）。

3實驗與分析

為驗證本文算法的有效性，保證實驗的公平性，所有的實驗都是使用MATLAB R2016a，實驗環境為Windows 7 x64系統，計算機配置為：Intel CoreTM i5-7500 ，3.4 GHz 主頻，16 GB內存。利用低光照數據集（LOL）［21］構造以正常光照環境下圖像為目標高分辨率（HR）圖像的低光照圖像超分辨率重建（LOL-SR）數據集，并通過對低光圖像進行下采樣（下采樣因子設置為3，核函數為內核函數Bicubic）得到低分辨率（LR）圖像。該數據集包括485幅訓練圖像及15幅測試圖像。本文將對現實場景的低照度圖像進行測試，對于實驗結果也從主觀視覺和客觀質量兩方面進行評價。

3.1與其他方法的對比

本文選取的對比方法包括低照度-ANR算法、MSRCR-ANR、MSRCR-NE+LLE算法［14］、MSRCR-NE+LS［14］、MSRCR-NE+NNLS（neighbor embedding with non-negative least squares）［14］以及基于卷積神經網絡的超分辨率重建方法SRResNet［22］、EDSR［23］。對比方法同樣在LOL-SR訓練集上進行訓練。測試結果如圖4所示，客觀評價指標包括峰值信噪比（PSNR）、結構相似度（SSIM）和感知指數（PI），對比結果如表1所示。

3.1.1主觀評價

主觀視覺評價是一種簡單可行而又重要的圖像質量評價方法。如圖4所示，在這些方法中，可以看出本文算法生成的色彩最豐富，對比度更高，如圖中衣服的色彩、墻上藍色的畫，紋理和邊緣也相對清晰。EDSR的效果也相對較好，更加接近HR圖像，但存在輕微的顏色失真。其次是MSRCR-ANR、MSRCR-NE+LLE、MSRCR-NE+LS、MSRCR-NE+NNLS，圖像整體泛白，邊緣出現模糊，在色彩變化較大區域產生了噪聲，例如左邊門柱。效果最差的是SRResNet失真，存在嚴重的過度曝光問題。

3.1.2客觀評價

主觀視覺雖然可以直觀快速地對圖像的質量作出評價，但一定程度上會受到人的主觀感受等的影響，對圖像作出的質量評價可靠性不高。為了進一步驗證本文算法有效性，選取了峰值信噪比（PSNR）、結構相似度（SSIM）和感知質量（PI）對圖像作出客觀的評價。

a）峰值信噪比是對圖像失真程度的表達，值越大，代表圖像失真程度越小，圖像質量越好。其表達式為

PSNR（x，y）=20 lg（MAXIMSE）（21）

其中：MSE為圖像x和y的均方差，MSE=1mn∑m-1i=0∑n-1j=0‖x（i，j）-y（i，j）‖2；m和n分別代表圖像的高度和寬度；MAXI表示最大像素取值，本實驗中取255。

b）結構相似度從亮度、對比度、結構三個層次來對比圖像的失真，該值越大，代表重建圖像與原始圖像誤差越小。

SSIM（x，y）=（2μxμy+（k1MAXI）2）（2σxy+（k2MAXI）2）（μ2x+μ2y+k1MAXI）（σ2x+σ2y+k2MAXI）（22）

其中：μx是圖像x的平均值；μy是y的平均值；σ2x和σ2y分別為x和y的方差；σxy是x和y的協方差；k1lt;1，k2lt;1。

c）PI（perceptual index）是一種感知質量評價方法，PI［24］越小表示感知質量越好。公式如下：

PI=12（（10-Ma.score）+NIQE）（23）

其中：Ma-score來源于文獻［25］，NIQE來自文獻［26］。

客觀評價結果如表1所示，其中最佳結果以粗體顯示。本文方法優于照度-ANR算法、MSRCR-ANR，MSRCR-NE+LLE算法、MSRCR-NE+LS、MSRCR-NE+NNLS，甚至和基于卷積神經網絡深度學習方法相比，僅次于EDSR方法，在PSNR和SSIM中優于SRResNet，但是SRResNet的過曝光問題［27］導致無參考評價指標PI不準確，獲得了最優的PI值。雖然EDSR獲得了最佳的PSNR和SSIM值，但本文方法在PI方面優于EDSR。結果表明，本文方法對單幅低光照圖像超分重建具有優越性。

3.2現實場景下的實驗分析

本文針對現實場景下的低照度圖像，選取八張圖像進行測試，對比方法包括低照度-ANR、MSRCR-ANR、NE+LS、EDSR。根據Chen等人［27］以及上文的實驗，SRResNet存在嚴重的過曝光問題，性能太差，因此不再對其進行對比。基于MSRCR增強的NE+LLE、NE+LS、NE+NNLS算法取得了類似的結果，因此本文只對表現最好的MSRCR-NE+LS進行分析。

從圖中測試結果的整體來看，沒有增強的低照度圖像在經過ANR算法超分重建后整體亮度沒有變化，十分昏暗，無法關注到細節，視覺效果沒有提高；基于MSRCR的ANR超分辨率重建算法和NE+LS算法，圖像亮度明顯提高，但是亮度增幅過大，使得圖像整體泛白，部分圖像還產生了邊緣光暈和偽影現象；對于EDSR算法，單色圖像取得了優秀的視覺效果，如圖8（e），但是對于顏色復雜的圖像如圖6（e）和7（e），產生了明顯的色彩失真和色彩偏移；本文算法亮度增強幅度適中，并保持了良好的亮度自然性，視覺效果良好。

下面對圖9～12一組實驗結果進行一些細節分析：a）對于低照度ANR方法，由于亮度較低，重建后圖像沒有較大的視覺方面的變化，在亮度較暗處，損失了相對多的細節和紋理信息，例如圖8（b）穹頂上方壁畫除了色彩較為突出的白色邊緣，周圍圖案難以辨認，圖11（b）中紅框內的喇叭也幾乎無法辨認，圖10（b）中的磚縫以及圖12（b）的小草因亮度不高，重建后產生了較為明顯的模糊；b）基于MSRCR的算法，MSRCR-ANR 和MSRCR-NE+LS的超分辨率重建生成的圖像亮度和色彩有所提高，但重建后的圖片整體泛白，對比度降低，對于陰影處還出現了色彩偏綠的現象，例如圖11（c），其細節丟失嚴重，對于梯度變化較大的邊緣區域，還產生了光暈和偽影，如圖10（c）和11（c），圖像質量較差，視覺效果不好；c）EDSR方法整體表現較好，對于圖9（e）這種單色圖像，重建后的紋理清晰，但是中間區域有輕微的色彩失真，包括圖10（e）貓咪的身體，圖12（e）的白云部分出現亮度過強的現象。上述方法表明，對于低照度圖像，基于圖像增強的方法視覺效果遠好于普通的超分重建方法。而本文算法增強的圖像視覺效果進一步提高，對比度有很明顯的提升，顏色和亮度增強適中，特征信息基本還原和保留，重建后的效果也較為理想，圖像邊緣沒有光暈現象。與其他基于增強的MSRCR-ANR和MSRCR-NE+LS方法相比，本文算法在視覺效果提升上具有很明顯的優勢。

圖像的客觀比較結果如表2～4所示。從表2可以看出，因為大部分圖像亮度較低，大面積昏暗，所以低照度-ANR方法提升效果甚微，相比之下，本文算法及其他算法有更好的表現，PSNR值均得到有效提高。MSRCR-ANR與MSRCR-NE+LS分別提高了4.336 dB和4.619 dB，本文方法也得到了7.93 dB的提高，表現最好的是基于卷積神經網絡的EDSR算法。但是由于PSNR是一種基于對應像素點間誤差，即誤差敏感的圖像質量評價，不同于人眼更加關注低頻信息的特征，對于顏色變化較快的圖像，例如圖7，本文算法取得了更好的視覺效果，圖像對比度高，但是PSNR值不如MSRCR-ANR方法。

結構相似度方面，根據表3可知，本文算法在絕大多數場景下擁有較好的結構相似度，相較于低照度-ANR，結構相似度提高了46.86%，對比于MSRCR-ANR和MSRCR-NE+LS，也有6.05%和5.47%的提升。綜合來看，本文算法及其他對比算法均能有效提升圖像的結構相似度，其中，本文算法及MSRCR-ANR算法視覺效果改善明顯，圖像的亮度、對比度和圖像紋理特征都得到了顯著提高，但是與本文算法相比，基于MSRCR增強的方法存在整體泛白、邊緣保持不佳的問題。SSIM作為一種全參考圖像質量評價指標，從亮度、對比度與結構三方面衡量圖像相似性，更符合人眼視覺特性，對于圖12，由于本文算法更加強調整體色彩表現，圖像中部的樹木仍然較昏暗無顏色，整體亮度不如MSRCR-ANR，所以SSIM值略低。

很多算法能夠得到很好的PSNR和SSIM值，但是肉眼觀察SR圖片的重構效果并不理想，PI能夠更好地衡量感知清晰度，本文方法在大多數情況下取得了更優結果，PI平均值最低，這與主觀視覺效果評價相呼應，視覺上優于整體泛白與邊緣模糊的基于普通MSRCR增強的超分重建方法，也不存在EDSR色彩失真的情況。

通過客觀數據表明，本文提出的基于WLS濾波的低照度圖像多尺度Retinex增強與超分辨率重建方法在PSNR、SSIM和PI上與低照度-ANR、MSRCR-ANR相比，都有著顯著的提升，證明了改進方法對于低照度圖像超分辨率重建的有效性。

4結束語

針對低照度圖像超分辨率重建效果不理想，大量紋理信息丟失，產生顏色偏移失真及重建性能退化嚴重的問題，本文提出了一種基于顏色恢復和邊緣保持的低照度圖像超分辨率重建方法，該方法通過引入照度增強函數改善低光照圖像的照度，從而改善超分重建內容特征丟失嚴重的問題。針對常規MSRCR圖像增強方法存在的增強圖像整體泛白與邊緣保持不佳的問題，在保留其顏色保真能力的同時，采用加權最小二乘濾波函數（WLS）作為中心環繞函數替換掉邊緣保持能力較差的高斯環繞尺度函數，提高反射分量的邊緣紋理的表達能力。另一方面，在YCbCr空間，利用邊緣保持的照度增強函數計算Y通道的反射分量，結合RGB顏色空間的反射分量相融合，得到進一步的邊緣紋理特征增強反射分量，有效改善了重建圖像整體泛白的情況。本文方法與低照度-ANR、MSRCR-ANR、MSRCR-NE+LLE、MSRCR-NE+LS、MSRCR-NE+NNLS相比，在主觀視覺與客觀標準兩方面都有顯著性提升，甚至與基于卷積神經網絡的SRResNet方法相比，也有極大的提升。盡管在PSNR和SSIM方面略遜于EDSR方法，但是從視覺效果和PI方面，本文算法有很大的競爭力，并且與深度學習方法相比，本文方法無須漫長的訓練時間以及對設備的極高要求。本文算法有效解決了低照度圖像超分重建特征丟失嚴重，重建效果不佳的問題，也避免了圖像顏色失真及整體泛白、邊緣光暈的現象，得到了視覺效果更加良好、細節信息豐富、邊緣紋理特征顯著的圖像。本文涉及參數較多，且都是根據多次實驗設置的經驗值，如何針對圖像的邊緣和色彩特征，引入自適應的思想是下一步的研究重點。

參考文獻：

［1］Liu Ying，Yang Yi，Shu Yuexia，et al.Super-resolution ultrasound imaging by sparse Bayesian learning method［J］.IEEE Access，2019，7：47197-47205.

［2］Gao Lianru，Hong Danfeng，Yao Jing，et al.Spectral super resolution of multispectral imagery with joint sparse and low-rank learning［J］.IEEE Trans on Geoscience and Remote Sensing，2021，59（3）：2269-2280.

［3］Chen Jin，Chen Jun，Wang Zheng，et al.Identity-aware face super-re-solution for low-resolution face recognition［J］.IEEE Signal Processing Letters，2020，27：645-649.

［4］Ha Yan，Tian Junfeng，Miao Qiaowei，et al.Part-based enhanced super resolution network for low-resolution person re-identification［J］.IEEE Access，2020，8：57594-57605.

［5］許新宇.光照不均圖像的超分辨率重建與空間融合增強算法研究［D］.西安：西安科技大學，2020.（Xu Xinyu.Research on super-resolution reconstruction and spatial fusion enhancement algorithms for uneven light images［D］.Xi’an：Xi’an University of Science and Technology，2020.）

［6］Alvarez R V，Ponomaryov V，Shkvarko Y.Image super-resolution via block extraction and sparse representation［J］.IEEE Latin America Trans，2017，15（10）：1977-1982.

［7］Pandey G，Ghanekar U.A compendious study of super-resolution techniques by single image［J］.Optik，2018，166：147-160.

［8］劉克儉，陳淼焱，馮琦.一種優化的迭代反投影超分辨率重建方法［J］.遙感信息，2019，34（3）：14-18.（Liu Kejian，Chen Miaoyan，Feng Qi.An optimized iterative back projection super-resolution reconstruction method［J］.Remote Sensing Information，2019，34（3）：14-18.）

［9］Dang C，Radha H.Fast single-image super-resolution via tangent space learning of high-resolution-patch manifold［J］.IEEE Trans on Computational Imaging，2017，3（4）：605-616.

［10］高津峰，宋偉東.基于梯度改進的鄰域嵌入式超分辨率重建［J］.測繪與空間地理信息，2019，42（7）：103-106，109.（Gao Jinfeng，Song Weidong.Gradient based on improved neighborhood embedded super-resolution reconstruction［J］.Geomatics amp; Spatial Information Technology，2019，42（7）：103-106，109.）

［11］Yang Jianchao，Wright J，Huang T S.Image super-resolution via sparse representation［J］.IEEE Trans on Image Processing，2010，19（11）：2861-2873.

［12］Ma Cheng，Rao Yongming，Cheng Yean，et al.Structure-preserving super resolution with gradient guidance［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：7766-7775.

［13］程德強，陳亮亮，蔡迎春，等.邊緣融合的多字典超分辨圖像重建算法［J］.煤炭學報，2018，43（7）：2084-2090.（Cheng Deqiang，Chen Liangliang，Cai Yingchun，et al.Image super-resolution reconstruction based on multi dictionary and edge fusion［J］.Journal of Coal，2018，43（7）：2084-2090.）

［14］Timofte R，De V，Gool L V.Anchored neighborhood regression for fast example-based super-resolution［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2013：1920-1927.

［15］Land E.Lightness and Retinex theory［J］.Journal of the Optical Society of America，1971，61（1）：1-11.

［16］Jobson D J，Rahman Z，Woodell G A.Properties and performance of a center surround Retinex［J］.IEEE Trans on Image Processing，1997，6（3）：451-462.

［17］Jobson D J，Rahman Z，Woodell G A.A multiscale Retinex for bridging the gap between color images and the human observation of scenes［J］.IEEE Trans on Image Processing，2002，6（7）：965-976.

［18］Petro A B，Sbert C，Morel J M.Multiscale Retinex［J］.Image Processing on Line，2014，4：71-88.

［19］Parthasarathy S，Sankaran P.An automated multi scale Retinex with color restoration for image enhancement［C］//Proc of National Conference on Communications.Piscataway，NJ：IEEE Press，2012：1-5.

［20］Zeyde R，Elad M，Protter M.On single image scale-up using sparse-representations［C］//Proc of International Conference on Curves and Surfaces.Berlin：Springer，2010：711-730.

［21］Wang Junyi，Tan Weimin，Niu Xuejing，et al.RDGAN：Retinex decomposition based adversarial learning for low-light enhancement［C］//Proc of IEEE International Conference on Multimedia and Expo.Pisca-taway，NJ：IEEE Press，2019：1186-1191.

［22］Ledig C，Theis L，Huszar F，et al.Photo-realistic single image super-resolution using a generative adversarial network［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：105-114.

［23］Lim B，Son S，Kim H，et al.Enhanced deep residual networks for single image super-resolution［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition Workshops.Piscataway，NJ：IEEE Press，2017：1132-1140.

［24］Blau Y，Mechrez R，Timofte R，et al.PIRM challenge on perceptual image super-resolution［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2019：334-355.

［25］Ma Chao，Yang Yuanchi，Yang Xiaokang，et al.Learning a no-refe-rence quality metric for single-image super-resolution［J］.Computer Vison amp; Image Understanding，2017，158：1-16.

［26］Mittal A，Soundararajan R，Bovik A C.Making a“completely blind”image quality analyzer［J］.IEEE Signal Processing Letters，2013，20（3）：209-212.

［27］Chen Liangliang，Guo Lin，Cheng Deqiang，et al.Structure-preserving and color-restoring up-sampling for single low-light image［J/OL］.IEEE Trans on Circuits and Systems for Video Technology.（2021-09-26）［2021-09-26］.http：//doi.org/10.1109/TCSVT.2021.3086598.

收稿日期：2021-08-05；修回日期：2021-09-27基金項目：國家自然科學基金資助項目（51774281）

作者簡介：郭林（1997-），女，江蘇徐州人，碩士，主要研究方向為圖像超分辨率重建；陳亮亮（1993-），男，江蘇徐州人，博士，主要研究方向為計算機視覺與超分辨率重建；程德強（1979-），男（通信作者），河南洛陽人，教授，博導，博士，主要研究方向為機器視覺與模式識別、圖像處理與視頻編碼、圖像智能檢測與信息處理（chengdq@cumt.edu.cn）；江曼（1996-），女，江蘇徐州人，碩士，主要研究方向為圖像處理與模式識別；寇旗旗（1988-），男，河南襄城人，講師，博士，主要研究方向為圖像處理與模式識別；錢建生（1964-），男，浙江桐鄉人，教授，博導，博士，主要研究方向為寬帶網絡技術及應用、礦井通信與監控、智能礦山關鍵技術．