一種多尺度壓縮感知的遙感圖像超分辨重建方法

中北大學 信息與通信工程學院，山西 太原 030051

分辨率是遙感圖像的重要特征，高分辨率的遙感圖像對后續目標識別的精度有重要影響。受到客觀條件和硬件設備的限制，實際獲取的遙感圖像分辨率受到一定的影響。圖像超分辨重建技術基于信號處理和模式識別理論，可以對低分辨率圖像進行處理以獲取更高分辨率的圖像。

圖像超分辨重建方法按原理大致可分為3類：基于重建模型的方法、基于插值的方法和基于學習的方法。基于重建模型的方法[1?3]多用于多幀超分辨，多幀低分辨率圖像間的運動估計誤差會對超分辨效果產生較大影響。基于插值的方法[4?6]可以快速地對單幀圖像進行超分辨，缺點是不易加入合適的先驗信息。為克服以上缺點，機器學習理論廣泛引入到超分辨領域，使基于學習的超分辨方法取得了巨大的進展。該類方法基于神經網絡或者冗余字典進行超分辨重建。基于神經網絡的學習方法需要按照經驗設定較多參數，訓練需要較大的運算量，并且存在泛化能力問題[7?9]。基于冗余字典的方法以稀疏表示和壓縮感知作為理論基礎，為求解圖像超分辨重建這類典型的欠定問題提供了新的思路和方法，并且取得了較好的超分辨效果。文獻[10?12]通過學習大量圖像建立冗余字典，然后稀疏求解得到超分辨重建圖像。由于建立的是單一字典，要求訓練圖像與要超分辨的圖像具有一定的紋理相關性和算法的泛化能力。文獻[13?14]將訓練圖像限定在要超分辨的圖像本身，雖然一定程度上克服了上述問題，但字典是一次性的，并且低分辨率圖像的紋理狀況會對超分辨效果有一定的影響，比如過度模糊圖像等。

由于圖像紋理的復雜多樣性，上述利用單一字典表示具有很大局限性。基于多字典學習將會改進超分辨的性能。文獻[15?16]對學習的字典對進行聚類，分解成多個子字典，聚類的性能以及低分辨率塊搜索所屬類別的誤差都將影響超分辨的效果。文獻[17]按照圖像塊梯度大小將圖像塊分類，每類分別建立對應字典。該方法只根據圖像塊紋理復雜性進行分類而沒有考慮圖像紋理的方向性。文獻[18]對每個圖像塊提取多個紋理，形成不同的子字典；超分辨重建階段對每個低分辨率圖像塊都進行多次稀疏求解，提取紋理數目較多時計算量較大。由于小波變換可以將圖像分解為多個頻帶且具有多分辨特性。但圖像在小波域一般只能分解成4 個頻帶，具有一定的局限性和改進空間[19]。Contourlet 變換是小波變換在二維圖像的推廣，相比小波具有更多良好的性能，在Contourlet 域可以根據紋理方向建立更多的字典，取得更好的超分辨效果。

本文利用Contourlet 變換將具有復雜多樣的紋理遙感圖像高頻部分分解為多個不同的頻帶，對應建立多個殘余字典來表示。基于壓縮感知理論在不同頻帶分別進行稀疏求解，獲得超分辨重建遙感圖像。

1 壓縮感知和Contourlet 變換理論基礎

1.1 壓縮感知

假定信號x∈RN，y=Φx為對該信號的一次測量，其中Φ∈RM×N為測量算子。令x=Ψa，其中Ψ∈RN×N為固定基或冗余字典。若‖a‖0=S＜N，則稱信號x相對于Ψ 是S稀疏的，并且 Φ與Ψ 具有一定的相干性。壓縮感知理論[17?19]認為，在滿足一定條件下，可以通過較少的測量信號y完美重建原始信號x。完美重建所需的測量數目與 Φ和Ψ 的相干性、x的稀疏性密切相關。

1.2 Contourlet 變換

Contourlet 變換是小波變換在二維圖像空間中的擴展，保持了小波變換的多尺度和時頻定位功能，同時具有捕捉圖像多方向紋理的能力，可以更好地表示圖像的二維幾何結構[20]。Contourlet變換分2 個階段：子帶分解和方向分解。子帶分解利用Laplacian 金字塔分解成多級頻帶。方向分解則利用方向濾波器組(the directional filter bank,DFB)將二維圖像分解成整數次冪個鍥形的方向頻帶。這2 個分解階段是相互獨立的，因此，每個級別可根據需要分解成2 的任意整數次冪個方向頻帶。

2 多尺度壓縮感知超分辨重建

利用單字典表達復雜紋理圖像有很大的局限性，利用多字典表達圖像將會獲得更好的效果。Contourlet 變換可以將圖像分解成多個不同紋理方向的頻帶，并且具有多分辨特性。本文將利用多級Contourlet 變換建立多字典，基于壓縮感知理論求解面向遙感圖像的超分辨重建問題。

2.1 字典學習

字典學習即冗余字典的構建。假設Xb表示第b個 高分辨率圖像塊矢量表示，則Xb可以利用冗余字典D稀疏表示，兩者關系為

Xb=Dαb

式中：D∈RN×K為冗余字典；αb∈RK為稀疏表示系數，且有‖αb‖0=r＜＜K。

核奇異值分解(kernel singular value decomposition,K-SVD)算法是一種有效的字典學習方法[21]。該方法借鑒K均值聚類的思想，通過求解式(1)所示的最優化問題同時獲得冗余字典D∈RN×K和對應的稀疏表示αb∈RK。

式中T0為稀疏限制的閾值。

在Contourlet 域，假定將圖像分解為M個頻帶，在各個頻帶分別求解式(1)，如式(2)所示：

式中：Xb,k表示第k頻帶第b塊；Dk表示第k頻帶對應的冗余字典；αb,k表示對應的稀疏表達，k=1,2,···,M。

考慮到超分辨主要恢復圖像的高頻成分，只對高頻成分進行分解并學習。字典學習與超分辨重建如圖1 所示。

圖1 字典學習與超分辨重建示意

字典學習算法步驟如下：

輸入高分辨率圖像(high resolution image,HRI)IH。

輸出方向頻帶的字典Di(i=1,2,···,n)。

1)按照退化模型將輸入高分辨率圖像IH退化成低分辨率圖像(low resolution image,LRI)IL；

2)對IL執行雙立方插值，得到插值圖像IBI；

3)將IH與IBI相減，得到輸入HRI 的高頻成分IHF；

4)對IHF進行多級Contourlet 變換；

5)在Contourlet 域各方向頻帶利用K-SVD 算法分別進行字典訓練，獲得多個方向頻帶的字典Di(i=1,2,···,n)。

2.2 超分辨重建

利用在Contourlet 域建立的M個冗余字典，通過稀疏編碼即稀疏系數的求解可獲得超分辨重建結果。在Contourlet 域M個頻帶分別求解如式(3)所示的最優化問題：

式中：Yb,k表示輸入低分辨率圖像雙立方插值的高頻分量第k頻帶第b塊，k=1,2,···,M；Dk表示第k頻帶對應的冗余字典；αb,k表示對應的稀疏表達。

在稀疏求解算法中，正交匹配追蹤(orthogonal matching pursuit, OMP)算法是對匹配追蹤(matching pursuits,MP)算法的改進，在分解的每一步對所選擇的全部原子進行正交化處理，收斂速度更快[22?23]。本文利用OMP 算法進行求解。超分辨重建算法步驟如下：

輸入低分辨率圖像IL。

輸出超分辨重建圖像ISR。

1)對輸入低分辨率圖像IL進行雙立方插值得到插值圖像IBI；

2)對插值圖像IBI進行高通濾波，得到高頻分量IHF；

3)對高頻分量IHF執行多級Contourlet 變換；

4)利用訓練的多字典，對Contourlet 域各方向頻帶進行稀疏編碼，求取稀疏解；

5)將步驟4)學習所得的各頻帶稀疏解執行Contourlet 反變換，得到重建的高頻分量IHC；

6)將IHC與IBI相加，得到超分辨重建圖像ISR。

3 實驗結果

3.1 冗余字典參數對超分辨重建的影響

冗余字典中的原子數目和原子的尺寸是2 個重要的參數，對超分辨重建的效果有一定的影響。采用實驗的方法確定這2 個參數。首先選取10 幀1 024×1 024 的遙感圖像作為訓練圖像，建立Contourlet 域冗余字典。單個字典的原子數目(字典尺寸)分別設置為8、16、32、64 和128，而單個原子的尺寸即圖像塊大小分別設置為3×3、5×5和7×7，共建立15 組字典。每組包含6 個子字典。選取另外20 幀256×256 的遙感圖像退化成低分辨率圖像，對退化圖像分別基于上述15 組字典執行本文算法。基于每組冗余字典對算法結果圖像求PSNR 和SSIM 值，并對20 組參數求平均值。PSNR 和SSIM 的平均值如圖2 所示。

圖2 殘余字典參數對結果的影響

不考慮原子尺寸，PSNR 和SSIM 參數平均值都在字典尺寸為64 處達到最大值。在128 處反而有輕微的下降，這是由于字典尺寸過度冗余會導致過擬合以及測量矩陣和冗余字典的相干性增強，影響超分辨重建效果。因此，冗余字典的合適尺寸選取為64。另一方面，不考慮字典尺寸，PSNR和SSIM 參數平均值都在原子大小為5×5 處達到最大值。因此，圖像塊的合適尺寸應選取為5×5。

3.2 與其他方法對比分析

為證明本文算法有效性，基于建立的原子大小為5×5，數目為64 的冗余字典進行超分辨重建實驗，與雙立方插值、文獻[10]的單字典算法和文獻[17]的多字典算法進行比較。選取訓練圖像之外的3 組高分辨率遙感圖像進行實驗。首先對高分辨率原始遙感圖像進行高斯模糊和1/2 倍行列下采樣，得到低分辨率圖像；對低分辨率圖像分別執行相應算法，得到超分辨結果圖像。實驗結果如圖3 所示，而圖4 給出了圖3 的局部紋理區域的放大結果。

圖3 不同超分辨方法實驗結果比較

圖4 局部放大圖像對比

可以看出，雙立方插值圖像比較模糊，分辨率較低。文獻[10]單字典算法圖像分辨率有了明顯提高，而文獻[17]多字典算法圖像分辨率又高于單字典算法。本文算法結果圖像取得了更好的超分辨效果，圖像更加清晰，一些分辨不清的模糊紋理能夠清楚地分辨出來。進一步進行定量分析，分別計算了峰值信噪比PSNR 和結構相似度SSIM 2 個評估參數，如表1、表2 所示。相比文獻[10]算法和文獻[17]算法，本文算法的PSNR平均值分別提高6 dB、3.4 dB，SSIM 平均值分別提高0.05、0.02。

表1 實驗結果的PSNR 比較 dB

表2 實驗結果的SSIM 比較

4 結論

1)針對傳統冗余字典表達能力有限問題，本文提出了一種基于Contourlet 變換和壓縮感知理論的多殘余字典遙感圖像超分辨重建方法。該方法將多尺度變換與壓縮感知相結合，并利用殘余字典代替冗余字典，在各高頻子帶建立對應的多個殘余字典，圓滿解決了遙感圖像復雜紋理的訓練和描述問題。

2)為獲得最好的超分辨效果，通過實驗驗證了子殘余字典和原子的最佳尺寸分別為64 和5×5。

3)實驗結果表明，與其他相關超分辨方法相比，本文方法取得了良好的超分辨效果，視覺質量明顯改善，PSNR 和SSIM 都有明顯提高。進一步考慮圖像塊之間的相關性以及更深入的理論研究是下一步的研究方向。