基于高頻增強曲線與迭代反射投影的遙感影像超分辨率重建

郭桐宇,宋偉東

(遼寧工程技術大學 測繪與地理科學學院，遼寧 阜新 123000)

基于高頻增強曲線與迭代反射投影的遙感影像超分辨率重建

郭桐宇,宋偉東

(遼寧工程技術大學 測繪與地理科學學院，遼寧 阜新 123000)

針對傳統迭代反射投影方法得到的重建影像，其邊緣部分存在鋸齒效應和噪聲信息，從而無法達到提升影像清晰度不足的問題。文中對初始重建影像，首先使用反銳化掩模方法提取其中的高頻分量，并對高頻信息進行分類，然后平滑掉其中的噪聲信息，應用高頻增強曲線對高頻分量進行提升，保持高頻分量的單調性。實驗仿真結果表明，該方法可以消除噪聲，小的邊緣紋理細節得到增強，大輪廓沒有過增強，可有效提升重建影像的清晰度。

迭代反射投影；高頻增強；超分辨率重建；遙感影像

針對國產遙感衛星影像，采用提升傳感器件的方法需要耗費大量的開支，為節約成本，通常用算法來提升遙感衛星影像的空間分辨率。迭代反投影算法(Iterative Backprojection Projection,IBP) 是一種基于空間域的常見算法，最早由Irani[1]于1991年提出，對多幀序列彩色圖像和灰度圖像進行超分辨率重建。但IBP方法由于投影核的各向同性，導致重建出來的圖像在強邊緣部分存在鋸齒效應；針對這一現象，2007年戴盛陽[2]提出對單張圖像使用雙邊濾波與迭代反投影方法相結合的方案，使用雙邊濾波器起到平滑圖像的效果，同時對圖像的邊界進行保持，使得到的圖像更加清晰；魏生東[3]提出一種將非局部相似性與迭代反投影過程相結合的算法，在對圖像進行重建的過程中，同時保持圖像的邊緣部分，但是當這個算法應用于具有大片陰影區域的范圍時效果不明顯，并且這個算法復雜度高。范亞瓊[4]提出自適應閾值檢測與PCA數據降維相結合的方法來提升算法效率，但是其降質模型存在問題；郭偉偉[5]提出結合頻率域運動估計與迭代反投影相結合的方法，得到的結果更加清晰；干宗良[6]于2011年提出一種快速算法，對圖像的邊界使用Canny算子進行邊緣提取，在保持圖像邊緣的同時，提升運行效率。Jae-Seok[7]提出使用基于上下文相關的自相似性來產生更銳利的邊緣來達到更好的視覺效果。申世聞[8]提出將雙邊濾波應用于單幀整幅圖像作為圖像的預處理過程來保持圖像的邊緣。徐志剛等提出一種基于L1/2范數正則約束的超分辨率重建算法，將L1/2范數替代L1范數構建超分辨率模型[9]。黃煒欽[10]等提出一種空間自適應正則化的圖像超分辨率重建算法，將自回歸模型引入超分辨率重建過程。

上述方法已經實現了一定的進展和突破，但上述方法存在時間復雜度高、計算代價大等缺點。本文對現有的超分辨率重建方法進行分析和總結，提出基于高頻信息增強曲線與迭代反射投影相結合的超分辨率重建模型框架，使得重建結果可以提供更多有益的高頻細節信息，同時能夠達到兼顧遙感影像微觀與宏觀信息的目的。

1 相關理論

1.1 IBP算法模型

IBP算法應用于單幅圖像進行超分重建時，分為以下3個步驟[11]，其對應的算法流程圖見圖1。

1)對現有的原始低分影像Il插值得到的模擬的高分辨率影像Ih見式(1)，經過降質模 型產生對應的模擬低分辨率圖像見式(2)。

Ih=Il↑s，

(1)

Il=(Ih*g)↓s.

(2)

式中:Il為輸入的低分辨率圖像；Ih為使用雙三次插值模擬得到的高分辨率圖像；Il為對應的模擬低分辨率圖像；*表示卷積運算符，其中↓s表示下采樣運算符，↑s對應的 表示上采樣運算符。

2)計算每次迭代中圖像的重構誤差：

Er=Il-Il.

(3)

式中，Er為兩者之差即(誤差)。

3)將式(3)得到的誤差進行上采樣插值最后反投影到重建的高分辨率圖像中，來得到最終的高分辨率圖像。

(4)

隨著教育模式的不斷改革，微課作為互聯網背景下的一種教學載體，已經在教學中進行了應用。在農村語文教學過程中，由于教學資源的不均衡，微課成為了很好的教學模式，并且深受教師和學生的喜愛。

圖1 傳統迭代反投影算法流程

1.2 高頻增強曲線

對圖像進行分析，在空間域內計算出圖像的高低頻分量，依據頻率的性質和大小不同，設置相應閾值，區分出圖像中的噪聲、細節和邊緣；對檢測出的噪聲點進行去噪，并應用高頻增量曲線對不同區域的高頻分量進行自適應增強。細節區域做微增強，小邊緣做較大增強，大邊緣區域不做增強，使得圖像的紋理細節更加豐富，使得增強后的高頻分量可以保持圖像的單調性[12]。

2 基于高頻增強曲線和IBP超分辨率重建算法

為改善迭代反射投影方法重建后得到的影像質量，減小重建圖像的邊緣鋸齒效應，使重建圖像更加清晰，本文提出在使用迭代反射投影方法得到的重建影像依據高頻增強曲線進行自適應高頻信息增強。其算法流程如圖2所示，具體步驟如下：

1)對使用迭代反射投影算法得到的初始高分辨率圖像使用反銳化掩模方法[13]分別提取圖像的高低頻分量，則

fH=f-fl.

(5)

式中：fl表示原圖像f經過高斯濾波后得到低頻分量；fH表示原圖與fL差值運算后得到的高頻分量。

2)對圖像信號的高頻分量進行識別，分出噪聲、細節、小邊緣、大邊緣、并進行如下增強處理。計算降噪動態閾值T。

根據該點的高頻分量計算判斷該點是否屬于噪聲點。其表述為

T=ave×T0/128.

(6)

式中：T為降噪動態閾值；ave為N×N模板內各像素的亮度平均值的大小；T0為固定閾值。

(7)

圖2 算法流程

圖3 高頻信息增強曲線

本文方法的優勢是依據所設定的高頻曲線的變化趨勢，對整幅圖像其中的N×N大小的模塊區域自適應對其進行不同程度的處理，對判定為噪聲區域的圖像進行去噪，對細節小邊緣區域進行增強，而對大邊緣區域，新的高頻區域不應增強過大，防止畫面變化太大。

4)獲得增強信號。將依據高頻增強曲線增強后的高頻分量與低頻分量相加，即

(8)

式中：fout(i,j)為增強后的新圖像。

3 算法仿真實驗結果

本文采用matlab語言設計本文算法，分別對遙感影像中的典型地物(見圖4)，256×256像素圖a,256×256像素圖c分別應用雙三次插值算法[14]，NLIBP算法[15]以及本文算法進行2倍超分辨率重建實驗。并從重建圖像質量，算法重建所用時間，以及重建的主觀質量效果3個方面來評價本文算法的優劣性。圖像重建質量和算法重建所用時間分別見表1和表2。

圖4(a)、圖4(b)、圖4(c)及其降質圖像及其對應的不同算法重建得到的結果分別見圖5—圖7。同時本文采用峰值信噪比(PSNR)[16]這一客觀評價指標作為本文的圖像質量評價方法。

圖4 本文實驗用圖

算法圖像雙三次插值NLIBP本文算法圖a320026323780333880圖b302849305860314060圖c352872356076367071

表2 3幅測試圖進行超分重建所用時間對比圖 s

圖5 不同方法的超分辨率重建效果對比圖

圖6 不同方法的超分辨率重建效果圖

圖7 不同方法的超分辨率重建效果對比圖

從上述圖像中可以看到，圖4和圖6兩幅降質圖像普遍存在鋸齒效應，而經過雙三次插值和迭代反射投影方法進行處理后圖像的邊緣鋸齒效應得以消除，但是其紋理細節提升程度十分有限，其對應的紋理邊緣仍然存在不清晰的現象，而經過本文算法處理后，本文圖像的紋理低細節區域做微增強，小邊緣區域做較大增強，強邊緣區域不做增強，增強了重建圖像的輪廓和細節，產生的高頻分量保持圖像的單調性。通過上述實驗圖像和表格可以得到，本文算法能夠提升圖像的清晰度，增強圖像的紋理細節，并且算法的實現復雜度低，運行速度快，對于單幀圖像能達到實時的處理效果具有實際應用性。

4 結束語

本文提出一種基于高頻增強曲線和IBP的超分辨率重建算法，首先對圖像采用傳統的迭代反射投影算法進行超分辨率重建。對重建得到的圖像進行噪聲識別并平滑掉，然后對重建圖像的細節和小邊緣，應用高頻增強曲線進行自適應的圖像增強，保持圖像高頻分量的單調性。本文實驗表明，應用本文算法得到的圖像處理結果，濾除圖像噪聲，加強圖像的細節，同時也避免強邊緣區域的過增強，提升圖像的清晰度。

[1] IRANI M,PELEG S.Improving resolution by image registration[J].Cvgip Graphical Models & Image Processing,1991,53(3):231-239.

[2] DAI S,HAN M,WU Y,et al.Bilateral Back-Projection for Single Image Super Resolution[C]//IEEE International Conference on Multimedia and Expo.IEEE Xplore,2007:1039-1042.

[3] DONG W,ZHANG L,SHI G,et al.Nonlocal back-projection for adaptive image enlargement[C]//International Conference on Image Processing,ICIP 2009,7-10 November 2009,Cairo,Egypt. DBLP,2009:349-352.

[4] 范亞瓊.利用非局部相似性的圖像超分辨率重建研究[D].南京：南京郵電大學,2012.

[5] 郭偉偉,章品正.基于迭代反投影的超分辨率圖像重建[J].計算機科學與探索,2009,3(3):321-329.

[6] LIANG X,GAN Z.Improved Nonlocal Iterative Back-Projection Method for Image Super-Resolution[C]// Sixth International Conference on Image and Graphics.IEEE,2011:176-181.

[7] QIN Fengqing,LI Zhong,ZHU Lihong,et al.Research on the Influence of Initial Value Estimation on Image Super Resolution Reconstruction[C]//Proceedings of the 2nd International Conference on Information Science and Engineering.Washington D.C.,USA:IEEE Press,2010:1-4.

[8] 楊詞銀,尚海波,賈晨光,等.基于區域分割的自適應反銳化掩模算法[J].光學工程,2003,11(2):188-192.

[9] 徐志剛,李文文,朱紅蕾,等.一種基于L_(1/2)正則約束的超分辨率重建算法[J].華中科技大學學報(自然科學版),2017(6):38-42.

[10] 黃煒欽,黃德天,顧培婷,等.空間自適應正則化的圖像超分重建算法[J].小型微型計算機系統,2017(6):1398-1403.

[11] LI H,LAM K M.Guided iterative back-projection scheme for single-image super-resolution[C]// Global High Tech Congress on Electronics.IEEE,2013:175-180.

[12] 袁野,顧振宇.通過高頻增強曲線提高圖像清晰度的方法[J].電視技術,2013,37(5):42-44.

[13] 高河偉,張麗,陳志強,等.基于反銳化掩模的輻射圖像信息增強算法[J].核電子學與探測技術,2005,25(5):481-483.

[14] 屈有山,田維堅,李英才,等.基于小波雙三次插值提高光學遙感圖像空間分辨率的研究[J].光子學報,2004,33(5):601-604.

[15] DONG W,ZHANG L,SHI G,et al.Nonlocal back-projection for adaptive image enlargement[C]// IEEE International Conference on Image Processing.IEEE,2009:349-352.

[16] HORE A,ZIOU D.Image Quality Metrics: PSNR vs.SSIM[C]// International Conference on Pattern Recognition.IEEE,2010:2366-2369.

Superresolutionreconstructionofremotesensingimagebasedonhighfrequencyenhancementcurveanditerativebackprojection

GUO Tongyu，SONG Weidong

(School of Geomatics,Liaoning Technical University,Fuxin 123000,China)

For the reconstructed image obtained by the traditional iterative back projection method, the edges of the reconstructed image have sawtooth effect and noise information, so that the image resolution can not be improved. First, the unsharp masking method is used to extract high frequency components of the initial image reconstruction, classify the high frequency information, then smooth the noise information. The application of high frequency enhancement curve is used on the high frequency component upgrade to maintain the monotonicity of high frequency components. The simulation result shows that this method can eliminate the noise, small edge texture details are enhanced, and the large contour is not enhanced, which can effectively enhance the clarity of the reconstructed image.

iterative back projection;high frequency enhancement; super-resolution reconstruction；remote sensing image

著錄：郭桐宇,宋偉東.基于高頻增強曲線與迭代反射投影的遙感影像超分辨率重建[J].測繪工程，2018，27(1)：64-67，72.

10.19349/j.cnki.issn1006-7949.2018.01.013

2017-06-12

郭桐宇(1993-)，男，碩士研究生.

P237

A

1006-7949(2018)01-0064-04

王文福]