基于雙稀疏度K-SVD字典學習的遙感影像超分辨率重建

康軍梅，隋立春，2，李 麗，楊振胤，丁明濤，王 君

KANG Junmei1,SUI Lichun1，2,LI Li1,YANG Zhenyin1,DING Mingtao1,WANG Jun1

1.長安大學，西安 710054

2.地理國情監測國家測繪地理信息局工程中心，西安 710054

1.Chang’an University,Xi’an 710054,China

2.National Geographic Condition Monitoring National Mapping Geographic Information Bureau Engineering Center,Xi’an 710054,China

1 引言

遙感技術作為獲取地物信息的重要手段，在國民經濟、對地觀測等領域起著重要的作用。遙感影像的空間分辨率是衡量遙感影像質量的關鍵性指標，利用分辨率高的影像可獲得更為豐富和精致的地物細節，提高遙感影像的應用潛力。然而在遙感領域，受成像環境、成像平臺、傳感器成本等多方面的制約，通常難以獲得滿足實際應用的影像。超分辨率（Super Resolution，SR）方法不僅可以提高遙感影像的空間分辨率，而且成本較低，已成為遙感影像分辨率提升領域研究的熱點。SR方法通過一幅或多幅低分辨率（Low Resolution，LR）圖像重建高分辨率（High Resolution，HR）圖像，從而提高圖像的空間分辨率[1]。其關鍵技術是獲得額外附加信息來彌補降質過程中損失的細節信息[2]。

SR方法可分為基于插值的、基于重建的和基于學習的方法，其中基于學習的方法[3-4]通過訓練樣本圖像學習LR圖像與HR圖像之間的關系，從輸入LR圖像上重建出需要的HR圖像。此類方法充分運用了圖像的先驗知識，對圖像細節恢復較好。目前，由于機器學習和壓縮感知研究不斷深入，基于稀疏編碼以及字典學習的SR重建已成為學者們研究的熱點[5]。Glasner等[5]提出利用圖像自身冗余信息來建立樣本庫的SR算法，將測試圖像采用不同尺度進行插值運算組成樣本庫。該算法雖然充分利用圖像的冗余信息，但其自適應能力差。Yang等[6-8]提出一種基于稀疏表示的SR算法，其中利用大量的HR圖像構成圖像庫組成字典學習的訓練樣本，通過聯合字典訓練學習。該算法重建的圖像具有較好的視覺效果，但是運算復雜度高，需消耗大量時間進行字典學習，降低了SR重建的速度。Zeyde等[9]提出一種單幅圖像超分辨率（Single Image Scale-up Super-Resolution，SSSR）算法，其中HR字典和LR字典單獨進行學習，且在LR字典學習時對圖像塊進行降維，在HR字典學習時利用偽逆式簡化，大幅提高了SR重建的速度。倪浩等[10]提出一種基于雙正則化參數的在線字典學習SR算法，該算法利用在線字典學習方法，將兩個不同的正則化參數運用于字典學習階段以及圖像重建階段。該算法使字典訓練精度有所提高，且字典學習階段稀疏系數以及圖像重建階段稀疏系數獨立可調。本文借鑒文獻[9]和文獻[10]的方法，提出了一種基于雙稀疏度的K-SVD字典學習SR重建算法。算法通過K-SVD學習LR字典及其稀疏系數，將得到的稀疏系數引入至HR字典學習中，實現對高分辨率字典的優化更新。在LR、HR字典學習階段及SR重建階段，均采用正交匹配追蹤（Orthogonal Matching Pursuit，OMP）算法[11]進行稀疏編碼，在字典學習和稀疏重建過程中設置了不同的稀疏度，使兩者的稀疏系數獨立可調，提升了SR重建效果。通過真實遙感影像進行實驗，將本文算法與插值算法以及SSSR算法進行了比較，本文算法提高了字典學習效率，且重建影像質量均優于插值算法以及SSSR算法。

2 基于K-SVD字典學習的超分辨率重建

基于稀疏表示的SR重建是基于LR圖像局部區域低頻信號求一組基元來恢復對應HR圖像高頻細節信息。對于某一圖像信號x∈RN，可由過完備字典D及向量α線性表示[12]為：

其中，D=[d1,d2,…,dM]∈RN×M(M＞N)，α=[α1,α2,…,αM]T∈RM，α為稀疏表示系數。SR重建關鍵在于：（1）采用何種字典學習方法得到最優的過完備字典；（2）如何利用LR、HR字典重建HR圖像?；贙-SVD字典學習的SR重建主要包括訓練樣本處理、字典學習和稀疏重建三部分。

2.1 訓練樣本處理

字典學習階段的訓練樣本包括HR和LR兩種圖像，其中LR圖像由HR圖像降采樣得到。字典學習的訓練樣本為一系列遙感圖像，訓練過程中將圖像劃分為3×3大小的塊，當訓練圖像越多時，圖像塊數量越多，由此學習的字典相對精確，但消耗時間較長。本文選取合適的圖像塊數來平衡SR重建的速度與質量。為了在SR重建時精確得到HR圖像丟失的高頻信息，對于LR圖像的高頻部分，本文采用與SSSR算法中一樣的方法來獲取LR圖像特征塊，即利用一次梯度和拉普拉斯算子提取，具體提取算子為：

其中，T代表轉置。上述4個算子求出4個特征向量后組合成一個向量，將其作為LR圖像塊的表示向量。本文將LR圖像利用雙三次插值得到的圖像與HR圖像作差，將其差值圖像作為HR圖像的高頻信息[13]，然后提取圖像塊組成HR特征向量。

2.2 字典學習

目前，字典構造主要是基于學習的方法，該方法基于機器學習思想，通過樣本學習構造過完備字典對目標信號進行稀疏表示[14]。對于一個訓練樣本X，過完備字典D以及對應的稀疏系數陣A，字典學習實質上是下式的優化求解：

其中，αi是A的第i列；T為稀疏度。通過已知的X求解D和A一般通過交替優化求解，先給定字典，利用不同的優化算法求解稀疏系數，本文利用OMP算法求解。基于求解的稀疏系數通過字典學習算法對字典原子更新，常用的字典學習算法有在線字典學習算法[15-16]、最優方向算法[17]及K-SVD算法?？紤]算法的快速性和有效性，本文采用K-SVD算法學習字典。該算法通過奇異值分解更新字典原子，且分解K次。設樣本圖像塊對P=[X,Y]，其中X=[x1,x2,…,xn]為LR圖像特征塊，Y=[y1,y2,…,yn]為HR圖像塊的高頻部分，n為樣本數。為加入先驗信息，本文采用耦合字典學習方法進行字典學習，主要分為兩個階段：第一階段為低分辨率字典學習；第二階段為高分辨率字典學習。字典學習過程中將第一階段學習的稀疏系數作為HR特征塊的稀疏系數，從而保證高低分辨率字典具有相同的稀疏系數。具體字典學習過程如下：

（1）低分辨率字典Dl的學習。數學目標函數為：其中，A代表與Dl對應的稀疏系數矩陣。本文采用KSVD算法學習Dl，詳細步驟見算法1。

算法1 K-SVD字典學習算法

1.初始字典D0∈Rn×m的隨機生成，且歸一化每個原子，迭代次數k初始為0。

2.迭代：將k遞增1。

3.利用OMP算法求解：

4.更新字典原子，求Dl。定義以下變量：樣本集Pj0，且，過完備字典原子dj0，基于誤差陣選擇Ej0與Pj0相同的列求，然后進行奇異值分解對原子dj0=u1和稀疏系數進行更新。

6.輸出字典Dl。

（2）高分辨率字典Dh的學習。高分辨率字典學習數學函數為：

本文在保證重建效果以及重建速度的基礎上，利用偽逆式簡化高分辨率字典學習，公式如下：

通過上述過程求出字典Dl和Dh。

2.3 稀疏重建

稀疏重建過程中，為得到較好的重建結果，需根據空間鄰域之間的相關性，通過稀疏先驗求解每個圖像塊局部的稀疏表示，然后通過重建約束求解高分辨率圖像。上述K-SVD字典學習分別得到Dl、Dh及A，根據式（1），在SR重建階段，目標高分辨率圖像塊可由稀疏系數與高分辨率字典相乘得到，但前提是字典學習過程以及SR重建過程的稀疏度必須相同。通過實驗驗證，上述兩個過程的稀疏度可以不同，設置為：

其中，α、T1代表字典學習過程的稀疏系數和稀疏度；β、T2代表重建過程的稀疏系數和稀疏度。本文通過大量實驗靈活調整T1、T2的值，應用到不同類型的遙感圖像，選取其中的最優值。設置雙稀疏度的優點在于，可靈活調整字典學習以及重建兩個過程的稀疏度，來重建出最佳的高分辨率圖像。圖像超分辨率重建詳細步驟如下。

步驟1輸入LR圖像xl以及高低分辨率字典，且對xl用Bicubic方法放大到目標HR圖像大小，記為yl。

步驟2利用前述的一階梯度和拉普拉斯特征提取算子對yl進行特征提取，得特征圖像。

步驟3在保持相鄰塊之間有一定的像素重疊的前提下對特征圖像分塊，獲得數據集

步驟4利用OMP算法求解稀疏系數βk，目標函數如下：

步驟5基于上述稀疏系數及高分辨率字典估計HR圖像塊高頻信息，求得

步驟6求解下式最小化問題得HR圖像yh：

其中，Rk為塊提取算子。式（10）閉合形式的最小二乘解為：

式（11）中，將高頻信息塊放在對應位置，且對重疊區域求平均，最后將低頻信息疊加，獲得最終的HR圖像。

3 實驗結果及分析

本文通過兩組實驗來驗證本文算法的有效性。實驗采用影像為兩幅TM5影像、兩幅資源三號（ZY3）影像以及USC_SIPI圖像庫中的6幅遙感影像。為進行定量評價，將HR影像作為參考影像，需重建的LR影像由HR圖像通過相應的倍數降采樣獲得。采用定量評價指標峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結構相似性（Structural Similarity，SSIM）來比較本文算法、Bicubic方法以及SSSR方法重建效果。對于測試遙感影像，由于人們對影像的亮度變化更加敏感，實驗中只對影像的亮度部分進行SR重建。實驗過程中的相關參數設置如下：選取100幅HR訓練樣本，通過2倍降采樣得對應的LR訓練樣本，然后隨機提取100000個3×3大小的影像塊對進行字典學習，像素重疊為2，字典大小為2048，字典學習過程中稀疏度為3，重建過程中稀疏度為16，迭代次數為40。實驗在CPU為四核2.5 GHz，內存為4 GB的計算機上進行，軟件為MATLAB R2012b。

實驗1原始高分辨率影像不進行加噪處理時各算法重建效果對比。圖1和圖2分別為一幅市區影像和山區影像2倍重建結果圖。由圖1、圖2可得，Bicubic重建影像邊緣模糊，視覺效果較差。SSSR算法重建效果與Bicubic相比，恢復了部分高頻細節信息，視覺效果有一定提高，但在圖1中重建影像的建筑物和道路邊緣以及圖2中山脊線邊緣均較為模糊。與前兩種方法相比，本文算法重建效果較好，在影像邊緣銳化以及恢復高頻細節信息方面都取得了較好的結果，尤其是道路邊緣、山脊線邊緣恢復較明顯，整體重建效果較Bicubic和SSSR算法好。

圖1 影像2.1.02不同SR算法重建結果比較

圖2 影像TM5-1不同SR算法重建結果比較

圖3 影像2.1.05不同SR算法重建結果比較

圖4 影像ZY3-2不同SR算法重建結果比較

表1為Bicubic、SSSR以及本文算法重建的SSIM和PSNR定量評價結果。綜合表1中的10幅遙感影像求其平均值，對于PSNR指標，本文算法比Bicubic算法高1.465，比SSSR算法高0.217；對于SSIM指標，本文算法比Bicubic算法改善0.045，比SSSR算法改善0.003。綜合多幅影像的定量評價指標值以及主觀評價，本文算法重建效果比Bicubic算法有較大幅度的提升，比SSSR算法有一定的改善，證明了本文算法的有效性。

實驗2原始高分辨率影像進行加噪處理時各算法重建效果以及時間對比。實驗采用均值為0，標準差為10的高斯噪聲。圖3是USC_SIPI圖像庫中2.1.05影像重建效果，圖4是ZY3-2影像重建效果。從圖3、圖4可得，對于加入噪聲的遙感影像，Bicubic算法重建影像存在較多的噪聲且輪廓不清晰，視覺效果較差。SSSR算法重建效果與Bicubic算法相比，噪聲有所減少，但重建影像邊界較模糊。與前兩種算法相比，本文算法重建效果較好，噪聲減少，影像地物紋理豐富，輪廓特征明顯。

表2列出了各種算法重建的平均時間，表3列出了各種算法重建圖像的SSIM和PSNR指標。由表2可得，Bicubic重建時間為0.010 s，SSSR算法重建時間為24.652 s，本文算法重建時間為112.486 s，本文算法消耗時間最長。綜合表3中的10幅遙感影像求其平均值，對于PSNR指標，本文算法比Bicubic算法高0.598，比SSSR算法高0.101；對于SSIM指標，本文算法比Bicubic算法改善0.030，比SSSR算法改善0.005。本文算法雖然消耗最長的時間重建影像，但算法重建效果優于Bicubic、SSSR算法。

表1 無噪影像不同SR算法重建結果

表2 不同SR算法重建時間

表3 加噪影像不同SR算法重建結果

4 結束語

本文提出了一種基于雙稀疏度K-SVD字典學習的遙感影像超分辨率重建算法。本文算法結合稀疏表示理論和K-SVD字典學習算法來重建影像，通過在字典學習及稀疏重建兩個過程設置了不同的稀疏度，能較好地恢復圖像高頻信息，重建出最佳的高分辨率圖像。為驗證本文算法的有效性，采用三種不同類型的遙感影像進行實驗驗證。實驗表明，不管是有噪聲還是無噪聲的測試影像，本文算法在視覺效果上均較Bicubic及SSSR算法清晰，紋理結構更加顯著；在定量評價中，本文算法指標值較其他兩種算法有一定提高，證明本文算法具有較好的遙感影像空間重建效果。