多級字典學習的圖像超分辨率算法

范九倫, 史香曄, 徐　健, 張小丹

(西安郵電大學 通信與信息工程學院, 陜西 西安 710121)

多級字典學習的圖像超分辨率算法

范九倫, 史香曄, 徐健, 張小丹

(西安郵電大學 通信與信息工程學院, 陜西 西安 710121)

摘要:改進單級字典學習的圖像超分辨率算法，給出一種多級字典學習的圖像超分辨率算法。通過多對字典的訓練，記錄不同層級退化圖像和原始高分辨率圖像之間的關系，由多對字典預測給定低分辨率圖像不同層級丟失的高頻信息，將預測出的高頻信息與給定的低分辨率圖像相加，得到逐級增強的高分辨率圖像。在訓練圖像集相同的條件下，對于無噪聲且沒有壓縮的低分辨率圖像，改進算法相比單級字典學習的圖像超分辨率算法，恢復出的高分辨率圖像的峰值信噪比可平均提高約0.6 dB。

關鍵詞:圖像超分辨率；稀疏表示；字典訓練

利用圖像超分辨率(Super-resolution，SR)算法，可將一個或多個低分辨率(Low-resolution，LR)圖像重建出高分辨率(High-resolution，HR)圖像[1-3]。SR算法分為基于差值、基于重構和基于學習的方法。

基于插值的方法[4]包括雙線性插值法和雙三次插值法[5]。這類方法雖然簡單高效，但是重建的HR圖像非常模糊，而且邊緣處有振鈴和鋸齒的人工痕跡，故不適合重建具有豐富紋理的圖像；利用方向插值算法[6-7]重建HR圖像，可以豐富放大后圖像的紋理信息，但其恢復能力有限。基于重構的方法通過降質模型重建HR圖像，降質模型選擇不佳可能會使圖像質量受損。

基于學習的方法假設LR圖像中缺少的細節可從對訓練樣本的學習中獲得，不受模型選擇所限，根據它可能涉及的稀疏局部模型[8-11]假設，圖像塊都能用字典中少量原子的線性組合表示[12]，不過，采用單級字典重建的HR圖像會在圖像邊緣部分引入人工痕跡。

為了減少基于稀疏表示的圖像放大(SingleImageScale-UpUsingSparse-Representations,SR_SISU)算法[12]帶來的人工痕跡，本文擬給出一種基于多級字典學習的圖像超分辨率(Multi-dictionariesLearningBasedImageSuperResolution,ML_SR)算法，借助記錄著不同層級退化圖像和原始HR圖像之間關系的多對字典，預測給定的LR圖像不同層級丟失的高頻信息，實現對LR圖像的增強。

1ML_SR算法

SR_SISU算法將LR/HR圖像映射到同一子空間，利用其在子空間稀疏表示系數相同的關系，重建LR圖像對應的HR圖像,即

‖ai‖0≤T (i=1,2,…,P)。其中Dh為HR字典，Dl為LR字典，ai為稀疏表示系數。

相對于SR_SISU算法，ML_SR算法利用α對LR/HR字典，逐級增強重建圖像的質量(α=3)。ML_SR算法分為訓練和測試兩個階段。

訓練階段包括特征提取和字典學習兩個部分。特征提取是用β個濾波器從水平和垂直兩個方向提取圖像特征，從而得到β個特征圖像。如此既可減少算法執行時間，又能在后續字典學習時，根據不同特征對字典分類，重建出質量更好的HR圖像。字典學習是利用提取的低頻特征和計算的高頻分量，借助K均值奇異值分解方法訓練字典，以得出α對HR/LR字典。

測試階段是利用提取特征后的LR圖像和α對HR/LR字典，重建出逐級增強的高分辨率圖像。

1.1特征提取

1.1.1第一類特征提取算法

1.1.2第二類特征提取算法

1.2降維

(1)

1.3字典學習

‖qs,k‖0≤L。

(2)

其中矩陣

Q=[qs,1, qs,2, …, qs,N]。

為了得到公式(2)的解，可將HR字典Dh表示為

1.4測試過程

具體測試步驟描述如下。

1.5多級字典訓練算法和重建算法

采用多級字典訓練算法訓練字典，得到3對HR/LR字典,并用所得字典來重建HR測試圖像。

(1) 多級字典訓練算法

輸入HR測試圖像集{Hs}。

步驟1將HR測試圖像集{Hs}隨機分為3組，即{H1，s}、{H2，s}和{H3，s}。

(2) 多級重建算法

輸入LR圖像Lt。

2實驗結果與分析

為得到質量更佳的HR圖像，用4個濾波器即

提取LR圖像水平和垂直方向的一階和二階特征。設置圖像的放大倍數為3，字典對數α=3，塊大小n=81，降維至nl=30，字典原子m=1000，字典原子中元素的個數L=3。因人類視覺系統對亮度變化更敏感，故只對亮度成分使用ML_SR算法。

為證明ML_SR算法的有效性，分別與SR_ISR[14]和SR_SISU[12]兩處單級字典學習的SR算法，在視覺和峰值信噪比兩個準則上作對比。

實驗所用測試圖像如圖1所示。3種對比算法的峰值信噪比如表1所示，其中ML_SR-2和ML_SR-3分別表示2級字典學習算法和3級字典學習算法。對3幅測試圖像Foreman、Pepper和Zebra，通過不同算法放大3倍的視覺效果分別如圖2、圖3和圖4所示。

圖1　測試圖像

算法ForemanZebraPepperFlowersMonarchPpt3BridgeSR_ISR32.038627.953133.325028.248730.713324.977724.8240SR_SISU33.139128.458734.003528.402231.049525.130525.0175ML_SR-234.361228.726434.382628.605531.440125.617425.1382ML_SR-335.237728.748134.416628.649231.521425.718225.1611

圖2　圖像Foreman放大3倍的效果

圖4 圖像Pepper放大3倍的效果

由表1可見：對于圖像Foreman，ML_SR算法要比SR_ISR算法高約3.2dB，比SR_SISU算法高約2.1dB；對于圖像Zebra，ML_SR算法比SR_ISR算法高約0.8dB，比SR_SISU算法高約0.3dB;對于圖像Pepper，ML_SR算法比SR_ISR算法高約1.1dB，比SR_SISU算法高約0.4dB;對于圖像Flowers、Monarch、Ppt3和Bridge，ML_SR算法比SR_ISR算法分別高約0.4dB、0.8dB、0.8dB和0.3dB， 比SR_SISU算法分別高約0.2dB、0.5dB、0.6dB和0.1dB?？傮w來說，ML_SR算法比SR_ISR算法平均高約1.1dB，比SR_SISU算法平均高約0.6dB,因此，ML_SR算法優于SR_ISR算法和SR_SISU算法。

從圖2可見：SR_ISR算法恢復了圖像的大部分高頻細節，但重建后的圖像看起來比較模糊；SR_SISU算法雖然提高了圖像的分辨率，但引入了大量的人工痕跡；ML_SR算法在墻的縫隙處人工痕跡明顯減少，而且整幅圖像紋理清晰，細節豐富。從圖3可見:SR_ISR算法恢復的辣椒瓣比較光滑;SR_SISU算法恢復出的辣椒瓣比SR_ISR算法的恢復效果細節更豐富，但有點模糊；ML_SR恢復出的辣椒瓣清晰且細節豐富。從圖4可見：SR_ISR算法恢復出斑馬腹部上的大部分細節；SR_SISU算法恢復出的斑馬腹部過于尖銳；ML_SR恢復的斑馬腹部與原圖像接近，都較平坦。

通過以上圖表可知，ML_SR算法確實能夠有效地重建出質量更好、細節更豐富和紋理更清晰的HR圖像。

3結語

給出一種多級字典學習的圖像超分辨率算法,使用多對HR/LR字典對測試圖像進行多級增強。實驗結果表明，隨著增強級別的提高，HR圖像的清晰度更高、細節更豐富，且人工痕跡更少。與單級字典學習的SR算法相比，所給ML_SR算法優勢明顯。多級字典學習的算法能有效提高輸出圖像質量，可用于低照度圖像增強和去圖像模糊。另外，稀疏表示模型能有效描述兩個不同空間信號之間的關系，可應用于研究兩個不同空間信號間的轉換。

參考文獻

[1]范九倫, 王彥梓, 徐健，等. 基于核典型相關分析的圖像放大算法[J/OL]. 西安郵電大學學報,2015, 20(2):52-57[2015-10-11].http://www.cnki.net/kcms/doi/10.13682/j.issn.2095-6533.2015.02.011.html.

[2]XUJ,CHANGZG,FANJL,et.al.NoisyImageMagnificationwithTotalVariationRegularizationandOrder-changedDictionaryLearning[J/OL].JournalofElectronicImaging, 2015,24(1):13039-1-29[2015-10-11].http://asp.eurasipjournals.springeropen.com/articles/10.1186/s13634-015-0225-y.

[3]ROMANOY,PROTTERM,ELADM.SingleImageInterpolationviaAdaptiveNon-LocalSparsity-BasedModeling[J/OL].IEEETransactionsonImageProcessing, 2014, 20(2):3085-3098[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6819019.DOI:10.1109/TIP.2014.2325774.

[4]SEKARK,DURAISAMYV,REMIMOLAM.AnapproachofimagescalingusingDWTandbicubicinterpolation[C/OL]//InternationalConferenceonGreenComputingCommunicationandElectricalEngineering.Coimbatore:IEEE, 2014: 1-5[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6922406.DOI:10.1109/ICGCCEE.2014.6922406.

[5]CHENSL,HUANGHY,LUOCH.ALow-CostHigh-QualityAdaptiveScalarforReal-TimeMultimediaApplications[J/OL].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2011, 21(11) :1600-1611[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5734808.DOI:10.1109/TCSVT.2011.2129790.

[6]SHIHJ,WARDR.Cannyedgebasedimageexpansion[C/OL]//IEEEInternationalSymposiumonCircuitsandSystems.USAAZPhoenix-Scottsdale:IEEE,2002:I-785-788[2015-10-11].http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=1009958.DOI:10.1109/ISCAS.2002.1009958.

[7]WANGQ,WARDRK.ANewOrientation-AdaptiveInterpolationMethod[J/OL].IEEETransactionsonImageProcessing, 2007,16(4):889-900[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=4130438.DOI:10.1109/TIP.2007.891794.

[8]ELADM,AHARONM.ImageDenoisingviaLearnedDictionariesandSparseRepresentation[C/OL]//2006IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(Volume1).USAWashingtonDC:IEEE, 2006 : 895-900[2015-10-11].http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=1640847.DOI:10.1109/CVPR.2006.142.

[9]ELADM,AHARONM.ImageDenoisingViaSparseandRedundantRepresentationsOverLearnedDictionaries[J/OL〗.IEEETransactionsonImageProcessing, 2006, 15(12):3736-3745[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=4011956.DOI:10.1109/TIP.2006.881969.

[10]BRUCKSTEINAM,DONOHODL,ELADM.FromSparseSolutionsofSystemsofEquationstoSparseModelingofSignalsandImages[J/OL].SocietyforIndustrialandAppliedMathematicsReview, 2009, 51(1):34-81[2015-10-11].http://epubs.siam.org/doi/abs/10.1137/060657704.DOI:10.1137/060657704.

[11]ELADM.SparseandRedundantRepresentations:FromTheorytoApplicationsinSignalandImageProcessing[M/OL].NewYork:Springer, 2010: 172-181[2015-10-11].http://link.springer.com/book/10.1007/978-1-4419-7011-4.

[12]ZEYDER,ELADM,PROTTERM.Onsingleimagescale-upusingsparse-representation[C/OL]//CurvesandSurfaces:7thInternationalConference,Avignon,France,June24-30, 2010,RevisedSelectedPapers.Berlin:SpringerBerlinHeidelberg, 2012: 711-730[2015-10-11].http://link.springer.com/chapter/10.1007/978-3-642-27413-8_47.

[13]SUNH,NIL.Compressedsensingdatareconstructionusingadaptivegeneralizedorthogonalmatchingpursuitalgorithm[C/OL]//2013 3rdInternationalConferenceonComputerScienceandNetworkTechnology(ICCSNT).Dalian:IEEE,2013:1102-1106[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6967295.DOI:10.1109/ICCSNT.2013.6967295.

[14]YANGJC,WRIGHTJ,HUANGTS,et.al.Imagesuper-resolutionviasparserepresentation[J/OL].IEEETransactiononImageProcessing, 2010, 19(11) : 2861-2873[2015-10-11].http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5466111.DOI:10.1109/TIP.2010.2050625

[責任編輯:瑞金]

Imagesuper-resolutionalgorithmbasedonmulti-leveldictionarieslearning

FANJiulun,SHIXiangye,XUJian,ZHANGXiaodan

(SchoolofCommunicationandInformationEngineering,Xi’anUniversityofPostsandTelecommunications,Xi’an710121,China)

Abstract:The image super-resolution algorithm based on sigle-stage dictionaries learning is improved and an image super-resolution algorithm based on multi-level dictionaries is proposed. The relationship between different levels of the degraded image and the original high resolution images is recorded by training the multiple dictionaries. The multiple training dictionaries are used to predict the different levels high-frequency information lost in the given low resolution image. Add the predict high-frequency information to the given low resolution image and acquire the high resolution image with quality enhanced progressively. In conditions with the same training image set, for the noiseless and uncompressed low resolution images, the revised algorithm can recover high resolution images that the peak signal to noise ratio improves 0.6 dB in average, compared to the image super-resolution algorithm based on single-stage dictionaries.

Keywords:image super-resolution, sparse representation, dictionary training

doi:10.13682/j.issn.2095-6533.2016.03.004

收稿日期：2015-10-14

基金項目：國家自然科學基金資助項目(61340040,61202183,61102095)

作者簡介：范九倫(1964-)，男，博士，教授，從事圖像處理與模式識別研究。E-mail:jiulunf@xiyou.edu.cn 史香曄(1991-)，女，碩士研究生，研究方向為通信與信息系統。E-mail:shi_xiangye@163.com

中圖分類號：TN911.73

文獻標識碼：A

文章編號：2095-6533(2016)03-0032-06