一種優化的迭代反投影超分辨率重建方法

劉克儉，陳淼焱，馮琦

(中國人民公安大學 公安遙感應用工程技術研究中心，北京 100038)

0 引言

超分辨率(super resolution，SR)重建是指通過對單幅或多幅低分辨率(low-resolution，LR)圖像進行處理，重建出一幅或多幅高分辨率(high-resolution，HR)圖像的技術[1]。將超分辨率重建技術應用到衛星光學遙感圖像處理中，利用衛星遙感圖像進行超分辨率重建，提升遙感圖像的空間分辨率，是目前遙感圖像處理領域新的研究熱點之一。充分利用我國日益豐富的衛星遙感圖像數據，通過超分辨率重建這一圖像處理技術，改善國產衛星遙感圖像空間分辨率的質量，提高其空間分辨率，增強影像的可判讀能力，擴大數據的使用范圍，該項研究成果將具有重要的理論意義和實用價值[2-3]。

目前，按超分辨率重建的對象來分，可以分為：單幅圖像的超分辨率重建與基于多幅圖像的超分辨率重建。對于遙感圖像自身的特殊性而言，因其拍攝的地表范圍較廣，所拍攝的地形起伏較大，配準精度難以滿足多幅圖像超分辨率重建的需求，而且高精度、亞像元的大幅面遙感圖像配準研究也已經處于瓶頸期。因此，本文主要針對單幅遙感圖像的超分辨率重建方法進行研究。針對單幅的超分辨率重建技術，國內外學者提出研究方法大致可以分為三類[4]：基于插值的超分辨率重建方法、基于重建的超分辨率重建方法、基于學習的超分辨率重建方法。

基于插值的超分辨率重建，經典的插值方法主要包括：最近鄰插值、雙線性插值和雙三次插值[5]。這些方法主要通過圖像已有的信息對未知像素進行估計實現插值放大，并非真正意義上的超分辨率重建，因為這些傳統的插值方法在重建的過程中并未生成新的高頻信息，所以重建結果常常出現據齒、振鈴和模糊等視覺失真效應，對于復雜地貌的遙感圖像而言，基于插值的重建方法很難從真正意義上提高遙感圖像空間分辨率的質量。

基于重建的超分辨重建方法，此類重建方法是攝影測量與遙感領域研究的熱點，也是超分辨率重建的主流方法。此類超分辨率重建方法可建立較為全面的觀測模型，將復雜的全局和局部運動、光學模糊、運動模糊、空間可變點擴散函數、欠采樣等影響圖像質量的因素并入其中，并且能夠充分利用空域先驗知識進行約束，形式更加靈活，重建性能更好。空域法中主要包括[6-12]：凸集投影、最大后驗概率、迭代反向投影算法等。迭代反投影算法作為基于空域的超分辨率重建的一種典型方法，最早由Irani[13]于1991年提出，該方法在提高圖像空間分辨率時，對重建圖像進行去噪處理，導致重建圖像部分的邊緣區域存在鋸齒現象。

基于學習的超分辨率重建，在圖像處理領域一些學者突破原有的研究思路，提出了基于學習的超分辨率重建方法[14-16]，其基本思想是：選取與輸入影像含同類信息的影像作為訓練樣本數據，利用機器學習的方法獲得高分辨率與低分辨率影像之間的關系，即先驗知識，以指導其他低分辨率影像的超分辨率重建。近年來，隨著人工智能的興起，基于深度學習的超分辨率重建也得到了專家學者的廣泛關注。基于深度學習的超分辨率重建需要大量的訓練樣本，對大數據量的樣本進行訓練，得到一系列的參數用于超分辨率重建，對于遙感領域而言，目前沒有合適的訓練樣本庫，而且相較于遙感圖像的特殊性，此類重建方法在性能上還無法與基于重建的超分辨率方法相媲美，就目前而言還難以實現工程化。

綜上所述，本文針對遙感圖像的自身特點，權衡超分辨率重建的效果與性能，提出一種結合迭代反投影與限制對比度自適應直方圖均衡化的遙感圖像超分辨率重建方法。實驗選取ZY-3全色影像作為原始數據，以降低重建算法復雜度，提高重建質量與速度為前提，實現高清晰、多細節遙感圖像的超分辨率重建。

1 原理

本文基于衛星遙感圖像數據的特點，篩選無云的遙感圖像作為實驗數據，結合迭代反投影方法與限制對比度自適應直方圖均衡化[17]重建紋理細節豐富的高分辨率遙感影像，最后，通過灰度信息與梯度特征的優化模型進一步改善重建圖像質量。本文超分辨率重建的技術流程如圖1所示。

圖1 超分辨率重建流程圖

1.1 限制對比度自適應直方圖原理

限制對比度自適應直方圖是一種較好的細節增強方法，可以提升圖像的高頻細節信息。與普通的自適應直方圖均衡算法不同，限制對比度直方圖均衡化算法通過計算圖像的局部直方圖，然后重新分布灰度信息改變重建圖像高頻細節信息，在計算轉換時通過裁剪直方圖限制了局部細節的過度提升。如圖2所示，在直方圖均衡的過程中，對像素的領域進行對比度限制，將超出的部分修剪掉，被裁剪的區域重新均勻的分布到直方圖中，從而生成新的直方圖，這樣可以防止細節信息被過度提升，同時可以有效降低重建過程中引入的噪聲，從而增加重建的高分辨率遙感圖像的局部紋理細節，達到提升高頻細節信息的目的。

圖2 CLAHE 裁剪再分配示意圖

1.2 結合IBP與CLAHE的超分辨率重建原理

迭代反投影方法的核心思想是，假設重建的超分辨率影像接近真實的高分辨率影像，對重建的超分辨率影像進行降質，得到與輸入的低分辨率觀測影像大小一致的低分辨率影像，再將二者的誤差投影到高分辨率影像上，隨著誤差的收斂而得到相應的重建的高分辨率影像。

(1)

圖3 結合IBP與CLAHE的超分辨率重建

1.3 基于灰度信息與梯度特征的能量優化

有效的超分辨率重建算法除了改善影像分辨率與增加影像的細節信息之外，還必須使得重建后影像的灰度信息分布盡量接近參考影像，邊緣結構更加清晰明顯。因此，基于馬爾科夫隨機場理論，提出一種基于灰度信息與梯度域的能量優化模型。通過能量優化的方法對重建結果進一步優化，一方面，使得優化影像擁有參考影像的灰度分布，另一方面使得重建影像盡量逼近參考影像的梯度分布。形式上，該能量優化算法可以表示為：

(2)

式中：參數κ負責權衡這2個能量項，κ越大，高分辨率重建影像結果梯度分布越接近參考影像Iref的梯度分布；能量項Er代表參考影像Iref與重建影像Ih的灰度信息分布差異。全局的灰度分布能量優化Er(Ih|Iref)定義為：

(3)

式中：s為下采樣因子；μ是一個調節因子，確保優化后的高分辨率影像與參考影像的灰度分布盡可能相近。

(4)

梯度域的優化則是為了使重建影像的梯度與參考影像的梯度差異盡可能的小，使圖像的邊緣結構更加明顯清晰。

1.4 質量評價方法

為了更好地評價本文所提出的遙感影像數據細節增強的超分辨率重建結果，本文通過主觀與客觀相結合的方式對重建結果進行定量分析。由于本文選取的實驗數據為真實的衛星遙感影像，與其對應的高分辨率影像并不真實存在，所以本文采用信息熵和平均梯度2個評價指標對重建效果做出客觀評價[18]。

信息熵是用來表示任何一種能量在空間中均勻分布程度，能量分布越均勻，熵值越大，則影像中偏離影像直方圖高峰灰度區的大小越大，所有灰度值出現的幾率越趨于相等，則影像攜帶的信息量越大，信息越豐富。

平均梯度是指圖像的邊界或影線兩側附近灰度變化率大，其大小可用來表示圖像清晰度。它反映了圖像微小細節反差變化的速率，表征圖像的相對清晰程度，平均梯度越大，圖像層次越多，也就越清晰。

2 實驗結果與分析

為驗證本文提出的結合迭代反投影與限制對比度自適應直方圖均衡化的遙感圖像超分辨率重建方法的可靠性，本文以資源三號01星獲取的正視2.1 m分辨率光學影像作為實驗數據，通過對不同地貌類型的遙感圖像進行超分辨率重建的實驗，利用主觀與客觀雙重評價對實驗結果進行討論與分析，通過對比實驗驗證本文方法的有效性。

本文選取3組實驗數據進行舉例說明，利用結合迭代反投影與限制對比度自適應直方圖均衡化的遙感圖像超分辨率重建方法進行2倍的超分辨率重建實驗，并與雙三次插值、迭代反投影方法以及非全局反投影方法重建影像進行對比分析，實驗結果如圖4～圖6所示。

圖4 道路的超分辨率重建結果

圖5 鄉鎮的超分辨率重建結果

圖6 山區的超分辨率重建結果

本文給出了不同數據類型通過不同重建方法的實驗結果，圖4～圖6方框為對應區域的局部放大顯示。從局部放大圖可以明顯看出，圖4(b)、圖6(b)為雙三次插值結果，重建結果整體不是特別清晰，邊緣結構較為模糊。圖4(c)、圖6(c)為迭代反投影法重建結果，重建圖像細節信息不夠突出。圖4(d)、圖6(d)為非局部迭代反投影方法重建結果，是對經典的迭代反投影方法的一個改進，重建影像效果要優于經典的迭代反投影方法，但重建圖像紋理細節豐富度的提升依然沒有改善。本文所提出的超分辨率重建方法，從圖4(e)中可以清晰地看到道路中間線，圖5(e)、圖6(e)中可以看到重建圖像地貌的紋理細節都比較清晰。為了客觀定量地給出重建圖像質量效果的改善情況，利用信息熵與平均梯度對重建圖像進行質量評價，如表1所示。

表1 超分辨率重建客觀評價結果 dB

通過客觀質量評價結果可以看出，本文重建結果的客觀評價指標都有明顯的提高，3組實驗影像的信息熵指標，本文算法的信息熵值比雙三次插值高了0.85 dB，比迭代反投影法提升了0.67 dB，比非局部迭代反投影法提升了0.43 dB，同時評價梯度指標也有明顯提升。為了對超分辨率重建算法的性能進一步分析，表2記錄了不同實驗數據通過迭代反投影法、非局部迭代反投影法以及本文重建方法的運行時間。

表2 不同重建算法的運行時間 像元

結合上述主、客觀評價結果，與記錄的重建時間可以看出，迭代反投影領域最新的非局部迭代反投影法方法與經典的迭代反投影法方法相比，雖然在重建影像的效果上有一定改善，但是其重建時間也是成數量級增長。本文的重建方法，相較于經典的迭代反投影法方法雖然耗時較多，但是相對于非局部迭代反投影法方法，確在提升重建質量的同時，顯著提高了重建速率。由此可見，本文重建方法的復雜度相對較低，而且重建圖像的效果也得到了明顯提升。

3 結束語

本文提出結合迭代反投影與限制對比度自適應直方圖均衡化的遙感圖像超分辨率重建方法，通過限制對比度直方圖彌補迭代反投影重建過程中缺乏的高頻紋理細節信息。實驗結果表明，相比于雙三次插值、迭代反投影方法以及非局部迭代反投影方法，本文重建方法提高了重建影像的清晰度，而且在重建影像質量提高的同時，顯著地提升了重建速率，適合于對時間性能要求較高的超分辨率重建應用。本文的不足之處在于只進行了2倍的超分辨率重建實驗，對于更大倍數的超分辨率重建實驗，如何更好地提供高頻信息，還有待于進一步的深入研究。