遙感影像超分辨率重建的字典學習類算法

楊振胤，隋立春，2，李 麗，康軍梅,丁明濤

(1. 長安大學地質工程與測繪學院，陜西 西安 710054； 2. 地理國情監測國家測繪地理信息局工程技術研究中心，陜西 西安 710054)

?

遙感影像超分辨率重建的字典學習類算法

楊振胤1，隋立春1，2，李 麗1，康軍梅1,丁明濤1

(1. 長安大學地質工程與測繪學院，陜西 西安 710054； 2. 地理國情監測國家測繪地理信息局工程技術研究中心，陜西 西安 710054)

近年來基于字典學習的超分辨率重建技術已成為圖像處理領域的研究熱點，相比基于重建的超分辨率方法，基于學習的方法充分利用了先驗知識，在放大倍數較高時，仍可取得較好的效果，因此被公認為一種非常有前途的方法。本文對國內外已有的基于字典學習的超分辨率重建方法進行了系統研究，梳理了3種基于字典學習超分重建算法的基本原理及優缺點。此外，本文根據遙感影像的特點，使用同一數據源進行字典學習，利用不同字典學習算法分別生成高、低聯合字典對，采用不同尺寸大小及縮放倍數的測試圖像，進行超分辨率重建，對各種算法的重建性能、魯棒性和復雜度進行綜合分析，進一步研究了各種算法對遙感影像不同應用需求的適用性。

超分辨率重建；稀疏表示；遙感影像；字典學習

在圖像數據采集過程中，由于圖像傳感器、光學儀器設備及拍攝條件的限制，圖像的空間分辨率在采集階段提高漸難，但在眾多圖像應用領域，對圖像空間分辨率的要求仍在提高。航空航天遙感正向高空間分辨率、高光譜分辨率、高時間分辨率、多極化、多角度的方向迅猛發展，為提高遙感影像空間分辨率，影像超分辨率重建技術成為一個頗具潛力的研究方向[1]。超分辨率重建技術(super resolution reconstruction,SRR)可通過對一幅或多幅低分辨率(low resolution,LR)的圖像進行學習得到一幅高分辨率(high resolution,HR)的圖像，并且該方法成本低廉，重建后空間分辨率提升效果明顯[2]。隨著壓縮感知和機器學習技術的不斷提高，基于學習的超分辨率重建方法已成為研究熱點。此類方法主要是通過訓練學習與輸入影像相似的影像構成的訓練樣本數據，得到高低分辨率影像之間的關系，由先驗知識推廣用于類似的低分辨率影像的超分辨率重建。Freeman等[3]最早提出了基于樣例學習的超分辨率算法，其基本思想是利用馬爾可夫隨機場描述輸入圖像中的圖像塊與示例樣本塊之間的匹配條件，最終生成高分辨率圖像。Bishop等[4]對Freeman提出的方法作了一些改進，在圖像塊合并方面提出了新方法，提高了對應圖像塊的匹配速度。Jeong等[5]設計了K-means聚類字典，實現了快速的學習類SRR。Kim等[6]采用自適應的殘差信息和圖像塊可信度提升了基于學習的SRR。Pu和Zhang等[7]提出了交互式領域嵌入(K-nearest neighbor,K-NN)的SR方法。近年來，隨著壓縮感知理論和稀疏表示模型的技術發展，Yang等[8-9]提出了一種基于稀疏表示的超分辨率算法(super-resolution via sparse representation,ScSR)，通過聯合訓練兩個高低分辨率圖像塊的過完備字典，利用L1正則優化進行稀疏編碼，獲得了較好的重建效果。Zeyde等[10]對Yang的方法作了改進，對訓練樣本集作了主成分分析(principal component analysis，PCA)以降低數據維度，有效地提高了運算效率。Mairal等[11]提出了在線字典學習的稀疏表示算法，該方法允許樣本進行分批處理，顯著降低了樣本集的數量，自適應輸入圖像，且及時引入圖像退化信息并更新字典原子，對基于超完備字典的應用有重要意義。

隨著稀疏編碼理論的發展，字典學習方法的研究成為稀疏表示理論的重要組成部分。目前，主要的字典學習方法有：Engan等[12]最早提出的最優方向方法(method of optimal directions,MOD)、Aharon等[13]提出的快速奇異值分解方法(K-SVD)、Lee等[14]提出的FSS(the feature sign search)方法、Mairal等[15]提出的在線字典更新方法(online dictionary learning,ODL)等。本文針對地物特征復雜、數據量巨大的遙感影像，深入研究了基于字典學習類算法的基本原理及優缺點。此外，本文根據遙感影像的特點，使用同一數據源進行字典學習，利用不同字典學習算法分別生成高、低聯合字典對，采用不同尺寸大小及不同縮放倍數的測試圖像，進行超分辨率重建，依據重建圖像綜合分析各種算法的重建性能、魯棒性和復雜度，進一步研究針對遙感影像數據不同應用需求各種算法的適用性。

1 字典學習基本理論

通常對于圖像信號x∈RN，可以由過完備字典D=[d1d2…dM]∈RN×M(M>N)稀疏表示為

(1)

式中，α=[α1α2…αM]T∈RM，為稀疏表示系數。

對于圖像SRR過程來說，關鍵是字典的構建。理想的字典使得稀疏系數求解過程更加快捷，并能簡潔準確地表達圖像。基于學習的過完備字典構建方法主要采用了機器學習的思想，通過對樣本學習，構造出具有某種針對性的學習字典，從而更加準確地對圖像進行稀疏表示[16]。設X=[x1x2…xM]為樣本組成的矩陣，A=[α1α2…αM]為稀疏表示系數矩陣，其中M為樣本個數。若T表示預設的非零元素的最大值，即可以容忍稀疏度的最小值，則學習字典的優化更新問題可采用下式進行求解

(2)

由式(2)可知，字典學習就是已知X求解D與A的過程。而D和A為兩個需要更新的變量，因而此問題屬于非凸問題。對于此類問題，通常可采取交替優化的方法進行求解。該方法分為兩步：第一步初始化一個過完備字典，通過稀疏表示優化算法對稀疏系數進行求解；第二步根據得到的稀疏表示系數，對初始字典的原子進行更新。交替迭代上述兩步驟，得到優化解。其中第一步的稀疏表示優化算法有基追蹤算法、匹配追蹤算法等，由于正交匹配追蹤算法(OMP)及其擴展算法收斂性較好，成為求解此類問題的首選[17]。OMP算法是通過每次迭代選擇一個局部最優解來逐步逼近原始信號，首先采用相關性原則搜索字典中與殘差量最相關的一列原子，然后將已選的原子進行Gram-Schmidt正交化處理，計算出最優稀疏系數，并更新殘差，經逐次迭代求解得到字典的最優稀疏表示系數。第二步采用字典更新算法來更新優化字典原子，現階段常用的更新算法有：MOD算法、K-SVD算法、ODL算法、主分量分析算法(PCA)及廣義PCA(generalized PCA,GPCA)[18]等。其中GPCA是通過降維字典空間進行逼近求解，適用于與其他稀疏表示方法結合使用，本文不作詳細介紹。

2 字典學習類算法

2.1 MOD算法

MOD算法是通過對樣本圖像塊的字典表示進行求解，并判斷誤差大小迭代更新字典，獲得最優字典。數學定義的目標函數如式(2)所示，實現過程首先是隨機生成初始字典D0，迭代次數k初始值為1，每次迭代完成后增加1。迭代開始首先固定字典D，利用基匹配追蹤算法求稀疏系數的逼近解

(3)

式中，αi為樣本圖像塊關于字典的稀疏表示系數，即A=[α1α2…αi…αM]。將上式求得的A用于下式，更新字典原子

2.2 K-SVD算法

K-SVD算法本質與MOD算法相近，均采用交替迭代，先求解稀疏系數再更新字典。與MOD算法的不同之處在于更新字典時，采用奇異值分解方法逐個更新字典中的原子，完成更新需要進行k次分解。具體流程如下所述。

訓練樣本優化更新字典問題是求解式(2)的問題，首先初始化字典D0，但對D0的每個原子作歸一化；其次，固定字典D，采用基追蹤算法求解稀疏分解因子αi；最后利用稀疏分解因子依次修正字典原子，定義樣本集為Ωj0，字典原子為dj0，其中Ωj0={i|1≤i≤M，Ak[dj0,i]≠0}。

由式(2)可得誤差矩陣Ej0

(5)

2.3 ODL算法

針對訓練樣本集大而導致字典學習效率不高的問題，Mairal等提出了在線字典學習算法。該算法基于隨機逼近理論，可擴展實現不確定和大型數據集訓練樣本的學習，提高了字典訓練的精度。其具體過程如下：

在初始化階段，待訓練的圖像塊為X，隨機設置初始字典為D0，同時對At、Bt進行初始化設置：A0←0、B0←0。利用LARS稀疏編碼計算稀疏系數

(6)

其次，對At、Bt進行更新，為了算法的加速收斂，每次迭代選擇η>1個信號，則第t次迭代包含的信號可表示為xt,1,…,xt,η，利用下式迭代更新At、Bt：

(7)

通過Dt-1，利用式(2)計算并更新Dt

(8)

式中，c為字典D的約束條件

(9)

為滿足約束條件D∈c，必須對字典D逐列進行更新，采用牛頓迭代法對每列字典元素進行更新，共迭代t次，生成字典D，其重建所需的高低分辨率字典Dh、Dl均按照上述過程聯合生成。該算法在聯合字典的學習過程中，同時訓練Dh、Dl可保證其在誤差條件的約束下，生成最優的聯合字典。同時將重建過程與字典學習階段的正則化參數看作獨立量，分別進行設置，這樣可靈活調整字典學習階段和重建階段的稀疏表示誤差，以獲得最佳的超分重建效果。

3 試驗結果及分析

針對上述3種字典學習方法的分析，為驗證其在不同圖像大小下的重建性能差異，訓練樣本為100幅不同大小的遙感影像，采用5×5的低分辨率圖像塊和相應的10×10的高分辨率圖像塊提取特征，其中字典大小均設為2048，重疊像素設置為4。對于同一訓練樣本字典學習過程，ODL算法運行時間最短，500次迭代用時1 618.7 s，K-SVD算法50次迭代用時2 750.2 s，MOD算法最慢，50次迭代用時8 475.9 s。文中學習得到的字典均采用稀疏表示方法，利用L1范數求解得到稀疏系數，并與高分辨率字典結合重構得到高分辨率圖像。

試驗選取5幅不同像素大小同類地物的資源三號正射影像作為測試影像，比較不同算法的字典學習時間，并選取其中一幅影像進行不同縮放倍數的重建，比較3種算法的重建結果。為對各種算法的重建效果進行定量評價，測試影像由高分辨率影像降采樣得到。以高分辨率影像作為參考影像，采用峰值信噪比PSNR作為定量評價指標。

5幅測試圖像均為正方形，邊長分別為240、360、480、600、720像素，地物類型均為建筑物。試驗結果如圖1所示，隨著測試圖像尺寸的增大，3種基于學習的超分辨率重建算法其重建結果的定量評價值相比于插值方法，其差值在逐漸增大，證明了在圖像尺寸增大后，基于學習的方法重建效果遠優于插值方法。在3種基于學習的超分辨率算法中，K-SVD算法的平均PSNR值僅比MOD算法高0.02 dB，而對于不同大小的圖像，ODL算法的PSNR值時高時低，圖像大小為480時，ODL算法的比MOD低0.36 dB，但隨著圖像尺寸的增大，ODL算法重建圖像的PSNR值與K-SVD和MOD算法的值相近，且有高于兩者的趨勢。

圖2顯示了在不同的超分辨率重建放大倍數下，3種算法重建圖像的PSNR值折線圖，圖3顯示了邊長為600像素的測試圖像進行3倍重建時幾種算法的重建結果。由圖2顯示，3種算法重建結果均優于插值方法，K-SVD與MOD算法重建圖像PSNR值幾乎一致，ODL算法重建圖像PSNR值均高于K-SVD和MOD算法，平均PSNR高約0.36 dB左右，且在3倍放大時，ODL算法的PSNR值比MOD算法高1.08 dB。隨著放大倍數的不斷增大，基于學習的重建圖像質量與插值圖像質量無較明顯的差別，其原因是放大倍數較大時，將字典用于稀疏重建，其稀疏表示誤差增大，高頻細節信息丟失過多，致使重建質量下降；可通過調節重建時的正則化參數，或融入殘差高頻信息進行重建，以提高遙感影像的重建質量[19-20]。由圖3顯示，3倍重建時不同算法在建筑物及道路邊緣清晰度不同，而ODL算法恢復了更多的細節信息，重建效果相對最優，其重建影像更加清晰，紋理邊緣明顯，總體來看各算法的重建視覺效果與PSNR指標評價值相一致。

圖1 不同圖像大小各算法PSNR值

圖2 不同放大倍數各算法PSNR值

圖3 同一測試影像3倍重建結果

4 結論與展望

本文對基于學習的3種超分辨率算法即MOD、K-SVD、ODL字典學習算法進行了梳理，介紹了各種算法的原理及優缺點。針對遙感影像的超分辨率重建，選取了PSNR值與運行時間作為3種字典學習方法重建質量的評價指標，通過對比試驗發現，對于數據信息量較大的遙感影像，選擇ODL在線字典學習的超分辨率重建方法，重建性能稍高于其余兩種方法，但對于不同大小的圖像進行超分辨率重建，ODL算法穩定性較差。此外，當放大倍數逐漸增大時，3種方法重建影像的質量都在降低，需要進一步改進重建階段的算法，減小稀疏表示誤差，更加有效地進行遙感影像的超分辨率重建。

[1] 李德仁,童慶禧,李榮興,等. 高分辨率對地觀測的若干前沿科學問題[J]. 中國科學(地球科學),2012(6):805-813.

[2] 鐘九生.基于稀疏表示的光學遙感影像超分辨率重建算法研究[D]. 南京: 南京師范大學，2013:1-14.

[3] FREEMAN W T,JONES T R,PASZTOR E C. Example-based Super-resolution[J]. IEEE Computer Graphics and Applications,2002, 22(2): 56-65.

[4] BISHOP C M, BLAKE A, MARTHI B. Super-resolution Enhancement of Video[C]∥AISTATS. [S.l.]: [s.n.], 2003.

[5] JEONG S C,SONG B C. Fast Super-resolution Algorithm Based on Dictionary Size Reduction Using k-means Clustering[J]. ETRI Journal, 2010, 32(4): 596-602.

[6] KIM C, CHOI K, RA J B. Improvement on Learning-based Super-resolution by Adopting Residual Information and Patch Reliability[C]∥2009 16th IEEE International Conference on Image Processing (ICIP). [S.l.]：IEEE, 2009: 1197-1200.

[7] PU J, ZHANG J, GUO P, et al. Interactive Super-resolution through Neighbor Embedding[C]∥Asian Conference on Computer Vision. Berlin: Springer Berlin Heidelberg, 2009: 496-505.

[8] YANG J, WRIGHT J, HUANG T, et al. Image Super-resolution as Sparse Representation of Raw Image Patches[C]∥IEEE Conference on CVPR 2008.[S.l.]：IEEE,2008: 1-8.

[9] YANG J, WRIGHT J, HUANG T S, et al. Image Super-resolution via Sparse Representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[10] ZEYDE R, ELAD M, PROTTER M. On Single Image Scale-up Using Sparse-representations[C]∥International Conference on Curves and Surfaces. Berlin：Springer Berlin Heidelberg, 2010: 711-730.

[11] MAIRAL J, BACH F, PONCE J, et al. Online Learning for Matrix Factorization and Sparse Coding[J]. Journal of Machine Learning Research, 2010, 11(1): 19-60.

[12] ENGAN K, AASE S O, HUSOY J H. Method of Optimal Directions for Frame Design[C]∥IEEE International Conference on Acoustics, Speech, and Signal Processing.[S.l.]：IEEE, 1999, 5: 2443-2446.

[13] AHARON M, ELAD M, BRUCKSTEIN A.The K-SVD:An Algorithm for Designing of Overcomplete Dictionaries for Sparse Representation[J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322.

[14] LEE H, BATTLE A, RAINA R, et al. Efficient Sparse Coding Algorithms[C]∥Advances in Neural Information Processing Systems.[S.l.]:[s.n.]，2006: 801-808.

[15] MAIRAL J,BACH F,PONCE J.Task-driven Dictionary Learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 791-804.

[16] 李珅. 基于稀疏表示的圖像去噪和超分辨率重建研究[D].西安:西安光學精密機械研究所, 2014.

[17] 楊真真,楊震,孫林慧. 信號壓縮重構的正交匹配追蹤類算法綜述[J]. 信號處理, 2013, 29(4): 486-496.

[18] VIDAL R, MA Y, SASTRY S. Generalized Principal Component Analysis (GPCA)[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(12): 1945-1959.

[19] 倪浩,阮若林,劉芳華. 基于雙正則化參數的在線字典學習超分辨率重建[J]. 計算機應用研究, 2016, 33(3): 277-281.

[20] ZHANG J,ZHAO C, XIONG R, et al. Image Super-resolution via Dual-dictionary Learning and Sparse Representation[C]∥2012 IEEE International Symposium on Circuits and Systems. [S.l.]：IEEE, 2012: 1688-1691.

Super-resolution Methods Based on Dictionary Learning for Remote Sensing Images

YANG Zhenyin1，SUI Lichun1，2，LI Li1，KANG Junmei1，DING Mingtao1

(1. College of Geology Engineering and Geomatics, Chang’an University, Xi’an 710054, China； 2. Engineering Research Center,Geographical Conditions Monitoring National Administration of Surveying, Mapping and Geoinformation, Xi’an 710054, China)

In recent years, super-resolution reconstruction technology based on dictionary learning has obtained much attention and has been intensively studied. Compared with the super-resolution method based on reconstruction, the learning-based method makes full use of prior knowledge. This learning-based method can get better results when magnification is high, which has been recognized as an extremely promising method. The properties of the existed learning-based super-resolution reconstruction algorithms are firstly analyzed systematically. Then this paper reviews the theory of three learning-based algorithms and combs their advantages and disadvantages. Finally, according to characteristics of remote sensing image, the same data sources are used for dictionary learning. We select these three algorithms mentioned to generate high and low resolution joint dictionary and adopt test images of different sizes and zoom and complete reconstruction. The reconstruction performance, robustness and complexity of various algorithms are analyzed comprehensively by experimental results. What’s more, aiming at different application requirements of remote sensing image, the applicability of different algorithms is further studied.

super-resolution reconstruction; sparse representation; remote sensing imagery; dictionary learning

楊振胤，隋立春，李麗，等.遙感影像超分辨率重建的字典學習類算法[J].測繪通報，2017(6)：21-25.

10.13474/j.cnki.11-2246.2017.0182.

2017-03-15

國家自然科學基金(41372330);國家自然科學基金青年基金(41601345)

楊振胤(1990—)，男，碩士，主要研究方向為遙感影像超分辨率重建。E-mail：yangzy007@chd.edu.cn

P237

A

0494-0911(2017)06-0021-05