基于雙字典和稀疏表示的醫學圖像超分辨率重建

席志紅,曾繼琴,李 爽

(哈爾濱工程大學 信息與通信工程系，哈爾濱 150001)

基于雙字典和稀疏表示的醫學圖像超分辨率重建

席志紅,曾繼琴,李 爽

(哈爾濱工程大學 信息與通信工程系，哈爾濱 150001)

在醫學影像圖像處理過程中，由于成像技術和成像時間的限制，還無法獲取滿足診斷需求的清晰圖像，這使得在現有技術和極短時間內所獲取的醫學病理圖像需要進行超分辨率的重建處理；基于學習的圖像超分辨率思想是從已建立的先驗模型中重建出高頻細節；在文章中，將要估計的高頻信息認為是由主要高頻和冗余高頻兩部分組成，提出了一種基于雙字典學習和稀疏表示的醫學圖像超分辨率重建算法，由主要字典學習和冗余字典學習組成,分別漸近地恢復出主要高頻細節和冗余高頻細節；實驗結果的數據分析和視覺效果顯示,所提出雙層遞進方法能夠恢復更多的圖像細節且在性能指標上比現有的其他幾種方法均有所提高。

醫學圖像; 超分辨率; 稀疏表示; 字典學習

0 引言

高分辨圖像對當今的科學研究和生活都有很大意義，例如: 遙感影像、醫療成像、視頻監控等。醫學影像圖像的處理已被廣泛應用于計算機輔助診斷中。數字醫療影像技術如計算機斷層掃描(CT)、核磁共振成像(MRI)等已經改變了現代醫學[1-2]。盡管在過去的幾十年中，已經在采集技術重建算法性能優化上取得進步，但由于成像環境、物理成像系統、成像輻射性等因素的局限性，還不能獲取滿足實際需求的清晰圖像。因此，為了能夠獲得更高精度的病理圖像，需要超分辨率預處理這些圖像，以便能夠精確的識別出病灶位置，從而為輔助診斷提供更精確的參考依據。

近年來，隨著稀疏表示和壓縮感知技術的發展[3]，受到基于稀疏編碼的啟發，基于學習的超分辨率算法應用而生，其基本思想是：通過字典學習獲得高分、低分辨率圖像塊之間稀疏表示系數的近似相等的關系來引導重建出高分辨率圖像塊。部分研究方法已表明建模高分辨率和低分辨率圖像塊之間的映射關系是在稀疏編碼領域[4-5]。文獻[6]所提出的基于樣本學習的稀疏表示超分辨重建方法，由于受到壓縮感知的基本思想啟發，該方法通過對大量高、低分辨率圖像塊的稀疏表示和降維處理，避免了局部優化，實現了超分辨在訓練樣本空間的全局優化求解。一方面提取了必要的先驗信息，減少了重構時對大量樣本數據的需求，提高了重建效率；另一方面也有效地緩解了鄰域嵌入方法[7]的過擬合或欠擬合現象。隨后Yang在文獻[8]中介紹了基于稀疏表示訓練低分辨率和高分辨率字典對的方法，并將樣本訓練字典的過程分解為雙層優化問題的求解，進一步有效地改善了低分辨率圖像重建效果。文獻[9]提出了直接處理整幅圖像的卷積稀疏編碼圖像超分辨算法，能夠緩解圖像分塊處理的塊效應，但醫學圖像的數據量遠大于普通圖像的，由此對其卷積運算對內存的需求很高，以及上述方法的過完備字典大小和算法復雜也限制了對高頻細節的恢復。

因此，本文將要估量的高頻(high frequency, HF)細節分為兩部分:主要高頻(main high frequency, MHF)成分和冗余高頻(residual high frequency, RHF)成分，采用主要字典和冗余字典的學習，與之對應地恢復出圖像的主要高頻和冗余高頻，首先恢復圖像中的主要高頻成分，然后再恢復出其冗余高頻成分,是一種由粗到精的雙層遞進恢復過程，既能恢復出更多的高頻細節也能減少計算量，從而獲得更好的重建效果。

1 圖像超分辨率重建方案

圖像超分辨率主要是處理從單幅或多幅降質的低分辨率圖像中恢復出與之相對應的高分辨率圖像的問題。本文中主要針對單幀降質圖像的超分辨重建，其基本的數學模型如下所示：

Y=DSHX+η

(1)

X是標準的原始高分辨率圖像，Y是通過所建立的數學模型觀測到的降質低分辨圖像，H是模糊算子，DS是采樣算子，S是采樣的縮放因子，η是加性高斯噪聲。超分辨率重建目的就是估計出圖像的高頻細節，在基于樣本學習的超分辨重建算法中，一幅圖像通常首先需要預處理為一組圖像塊集，然后在每一個圖像塊上都分別執行超分辨率算法。在本文中，低分辨圖像在進行超分辨率重建之前進行一種預處理，先將低分辨率圖像分解為圖像主要成分和圖像冗余成分[10]，如圖1所示，其中圖像的主要成分代表圖像的基本特征結構，冗余成分表示圖像的邊緣和紋理特征結構，然后再將分解后圖像分別預處理為兩組圖像塊對。本文所提出方案由雙字典學習階段和圖像合成階段組成。雙字典的訓練階段也就是主要字典(maindictionary,MD)和冗余字典(residualdictionary,RD)的學習，具體訓練過程如圖2所示。在圖像合成階段，使用雙字典訓練階段所訓練的模型從已知的低分辨率圖像中重建出高分辨圖像，具體重建過程如圖3所示。

圖1 圖像分解效果圖

1.1 雙字典學習階段

為了能夠有效地表示圖像中復雜的高頻信息，本文采用基于樣本的雙字典學習。此類字典能夠靈活地表示出復雜的高頻信息。其主要思想是圖像庫中數據被訓練成豐富的超完備字典原子，由于被訓練的超完備字典原子直接來自于同類信號本身，因此應用它們構成的超完備字典對圖像中高頻信息的表示具有的很好稀疏性和更小的冗余量，同時對圖像中的高頻信息有更強的自適應能力。

在此階段，基于稀疏表示學習兩種類型的字典，即主要字典和冗余字典的學習，其分別對應地恢復圖像主要高頻成分和冗余高頻成分，并采用文獻[11]中超完備字典的學習方法。雙字典訓練過程如圖2所示。

圖2 字典訓練階段流程圖

(2)

(3)

HMD=PhQ+=Ph(QQT)-1

(4)

上述方法中未考慮到高分辨率圖像塊的重疊，因為，最終在重建階段的高分辨圖像是通過定位不同位置的高分辨率圖像塊到相對應整幅圖像的位置中，然后再平均鄰近的高分辨率圖像塊而重建的，HMD理應被優化的，所得到最終的高分辨率圖像盡可能地逼近等于原始圖像。最后，冗余字典RD將在以下步驟中訓練，借助主要字典MD和HLF，利用下一小節中即將要介紹的圖像重建準則來生成高分辨率的主要高頻圖像，記為HMHF。具有更多高頻細節的第一層高分辨率圖像(firsthigh-resolutionimage,H1th)就由高分辨率主要高頻圖像HMHF與高分辨率低頻圖像HLF相融合獲得。

然后，從高分辨率高頻成分圖像HHF中去除高分辨率主要高頻圖像HMHF而得到高分辨率冗余高頻成分圖像HRHF。將高分辨率冗余高頻成分圖像HRHF和第一層高分辨率圖像H1th作為訓練冗余字典RD的輸入，按照基于主要字典的同樣訓練過程和方法就能夠得到冗余字典RD。同樣地，冗余字典RD也是由兩個耦合的子字典線性組成：低頻冗余字典(low-frequencyresidualdictionary,LRD)和高頻冗余字典(high-frequencyresidualdictionary,HRD)。因此，主要字典MD學習和冗余字典RD學習一起構成了雙字典。

1.2 圖像合成階段

高分辨圖像合成階段，首先，用原始的高分辨率圖像通過下采樣運算和模糊運算獲得低分辨率輸入測試圖像(low-resolutioninputimage,LINPUT)，利用雙立方插值算法將圖像插值放大為高分辨率低頻圖像HLF。在圖像合成階段，為了簡化操作同時保證高、低分辨率圖像塊之間一一對應，所采用的模糊算子和降采樣算子同雙字典訓練階段所使用的算子是一樣的。然后對整幅圖像進行分塊提取運算，使相鄰圖像塊相互重疊，圖像塊重疊的目的是為了減緩重建整幅圖像時產生的塊效應。最終所估計的高分辨率圖像是通過先后使用所訓練的主要字典和冗余字典而重建的，并且更多的高頻細節也被漸近的恢復，圖像合成的具體流程，如圖3所示。

圖3 圖像合成階段流程圖

(5)

定義Rk為圖像塊特征提取算子，表示在高分辨率圖像的位置k處提取第k個圖像塊，高分辨主要高頻圖像HMHF的生成是解決以下最小化問題：

(6)

其有一個近似形式的最小二乘解，即：

(7)

然后，通過將高分辨率低頻圖像HLF和高分辨率主要高頻圖像HMHF相融合生成比HLF具有更多信息的第一層高分辨率圖像H1th。接下來，上述同樣的重建方法再次在第一層高分辨率圖像H1th和冗余字典RD執行生成第二層高分辨率冗余高頻圖像HRHF，最后，通過將已重建出的雙層高分辨圖像H1th和HRHF相結合生成最終要估計的高分辨率圖像(HRestimatedimage,HEST)。

圖4 字典訓練和測試圖像

2 實驗結果與分析

本小節將通過實驗數據和重建圖像的視覺效果來說明本文所提出方法的性能改善。在實驗仿真中采用一部分醫學圖像圖像作為測試圖像，進行放大3倍的超分辨率重建實驗，并且使用Bicubic、Chang[7]、Yang[6]和Zhang[9]方法作為實驗對比。

2.1 實驗參數設置和量化指標

在實驗仿真中，主要字典MD和冗余字典RD的字典原子數都設置為500，這在數量上的和與文獻[11]的字典原子數1 000是一樣的。用來重構每個圖像塊的基數(字典原子數)L被設置為3,所提取的小圖像塊的像素大小被設置9×9，并保留與周圍圖像塊間1個像素重疊以避免塊效應。實驗中所用的圖像如圖4所示，其中第一幅圖像被用來字典學習，其他圖像為性能測試圖。對于醫學影像圖像的應用來說，圖像的質量應與診斷決策的正確性具有正相關性，并且依靠與特定的診斷任務。實驗仿真中常使用峰值信噪比(PSNR)和結構相似度[14](SSIM)作為圖像重建效果的客觀評估指標。PSNR是衡量兩幅圖像之間的強度差，SSIM也是最常用的圖像質量的評價方法，基于人類視覺主要從圖像的結構中獲取信息的假設，相比PSNR，SSIM的度量能夠提供對圖像視覺感知破壞的良好逼近，能更好的表達恢復圖像與參考圖像之間的結構相似性，其取值范圍為[0,1]。PSNR和SSIM的不同方法的比較如表1所示。

2.2 實驗結果

圖5和圖6為現有幾種不同算法重建的效果圖像、本文所提算法的效果圖和原始標準圖像。以圖5(a)～(f)為例，其分別為雙三次插值Bicubic、Chang[7]、Yang[6]、Zhang[9]等方法和文中所提方法恢復的圖像，以及與之對應的原始的標準圖像。從視覺效果上看Bicubic、Chang[9]和Yang[6]等方法存在一定的塊效應，本文算法比Zhang[9]等方法在高頻細節有更好的恢復效果，圖6的實驗結果的視覺效果圖與圖5的視覺效果結果相類似。從表1中各種不同重建算法的PSNR和SSIM實驗數據可以顯示，本文所提的算法在性能指標上比其他幾種算法更高。

表1 幾種不同算法的比較

圖5 CT2恢復

圖6 CT3恢復

3 結語

本文提出了一種基于雙字典學習和稀疏表示的醫學圖像的超分辨率算法，針對醫學圖像的數據量大和冗余性強，將圖像分解為主要成分和冗余成分，分別在不同圖像成分中學習雙字典，利用不同字典的雙層漸近方式重建丟失的高頻細節并減少了大量數據的運算。通過對比實驗結果表明，本文算法在性能指標和視覺效果上比其它幾種方法更高。所提出的方法對于數據量大的低分辨醫學圖像是很有意義，重建的高分辨率圖像可以方便醫生準確地發現病變,從而提高診斷質量。

[1] Bailey D, Roach P, Bailey E, Hewlett J, et al. Development of a cost-effective modular SPECT/CT scanner[J]. European Journal of Nuclear Medicine & Molecular Imaging, 2007,34(9):1415-1426.

[3] Kashin B, Temlyakov V. A remark on Compressed Sensing[J]. Mathematical Notes. 2007;82(5/6):748-755.

[4] He Li, Qi Hairong, Russell Zaretzki. Beta Process Joint Dictionary Learning for Coupled Feature Spaces with Application to Single Image Super-Resolution[A].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C]. Washington, USA, 2013: 345-352.

[5] Wang S, Zhang L, Liang Y, et al. Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis[A]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C]. Providence, RI, 2012: 2216-2223.

[6] Yang Jianchao, Wright J, Huang T, et al. Image super-resolution via sparse representation[J]. IEEE Trans on Image Processing, 2010,19(11): 2861-2873.

[7] Hong Chang, Dit-Yan Yeung. Super-resolution through neighbor embedding[A]. Computer Proceedings of the 2004 IEEE Computer Society Conference[C]. Washington, DC, USA, 2004: 275-282.

[8] Yang J C, Wang Z W, Lin Z. Coupled Dictionary Training for Image Super Resolution[J]. IEEE Transaction on Image Processing, 2012, 21: 3467-3478.

[9] Zhang Lei, Gu Shuhang, Xie Qin, et al. Convolutional Sparse Coding for Image Super-Resolution[A]. Proceedings of the IEEE International Conference on Computer Vision[C].Santiago, 2015:1823-1831.

[10] 李海斌. 基于稀疏表示的圖像超分辨率重建研究[D].重慶：重慶大學,2014.

[11] Roman Zeyde, Michael Elad, Matan Protter.On single image scale-up using sparse representations[A]. Proceedings of the international conference on Curves and Surfaces[C]. Avignon, France,2012: 711-730.

[12] Aharon M, Elad M, Bruckstein A. K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation[J]. IEEE Transactions on Signal Processing, 2006, 54 (11): 4311-4322.

[13] Wang J J, Zhu S H, Gong Y H. Resolution enhancement based on learning the sparse association of image patches[J]. Pattern Recognition Letters, 2010, 31(1): 0167-8655.

[14] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Trans Image Process, 2004, 13(4): 600-612.

Super-Resolution Reconstruction of Medical Image Based on Dual-Dictionary and Sparse Representation

Xi Zhihong, Zeng Jiqin, Li Shuang

(College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China)

Medical diagnosis needs a lot of medical image processing, due to the limitations of imaging technology and imaging time, the medical diagnosis is not able to get the clear image, which is necessary to reconstruct the medical image that have been acquired in the existing technology and considerably short time with super-resolution methods. Example-Based image super-resolution is to reconstruct the high-frequency (HF) details of the image from the prior model. HF will be estimated is considered as a combination of two components: main high-frequency(MHF) and residual high-frequency (RHF) ,this paper proposed a medical image super-resolution using dual-dictionary learning and sparse representation, which makes of the main dictionary and the residual dictionary learning recovering the MHF and RHF, respectively. Experimental results on test image show that by performing the proposed two-layer progressive method, more image details can be recovered and much better results can be achieved than that of existing methods.

medical image; super-resolution; sparse representation; dictionary learning

2016-10-14；

2016-11-11。

國家自然科學基金項目(60875025)。

席志紅(1965-)，女，黑龍江哈爾濱人，教授，碩士研究生導師，主要從事數字圖像處理方向的研究。

1671-4598(2017)03-0197-04

10.16526/j.cnki.11-4762/tp.2017.03.054

TP3

A