采用稀疏表示和小波變換的超分辨率重建算法

張健， 黃德天， 林炎明

(華僑大學 工學院， 福建 泉州 362021)

超分辨率重建是根據給定的低分辨率(LR)圖像及其先驗知識恢復出高頻細節.基于稀疏表示的超分辨率(SR)算法涉及兩個階段，即字典學習和稀疏編碼.Yang等[1]開創性地將壓縮感知運用到超分辨率算法中，首先，從LR和高分辨率(HR)圖像塊中學習聯合字典；然后，計算LR圖像塊的稀疏系數；最后，將HR字典和稀疏系數線性組合來表示重建的HR圖像塊.Zeyde等[2]在文獻[1]的基礎上進行改進，利用主成分分析法(PCA)對提取的特征進行降維，采用不同的方法訓練字典，并用正交匹配追蹤(OMP)算法[3]求解稀疏編碼模型,從而獲得更好的重建效果，并在一定程度上提高了重建速度.

由于小波變換具有多方向性、多尺度性等特性，能分離出圖像的高頻和低頻信息，Nazzal等[4]把小波變換運用到字典訓練和圖像重建中.Chang等[5]把流形學習中的局部線性嵌入(LLE)方法引入SR算法中，得到的重建圖像較好地保留了原始圖像的流形結構.Dong等[6]利用圖像的局部與非局部信息，在稀疏編碼階段分別引入自回歸(AR)與非局部(NL)自相似正則化項，提升了重建圖像的邊緣細節.圖像的非局部相似性最早由Efros等[7]提出，隨后被廣泛應用于圖像去噪和復原.Chen等[8]將非局部自相似和局部光滑先驗同時加入超分辨率算法中，并用分裂Bregman迭代優化算法求解目標函數，取得較好的重建效果.Dong等[9]綜合考慮圖像的非局部相似性和多尺度相似性，并將其融入壓縮感知模型，取得了良好的重建效果.Huang等[10]改進了稀疏自動編碼器，將其應用于超分辨率算法，該算法能有效地重建真實的醫療圖像，恢復出更精細的邊緣和紋理等細節.Wu等[11]利用PCA訓練4組子字典，分別描述低頻子圖和3幅高頻子圖之間的關系.Ayas等[12]提出一種新型超分辨率重建算法，通過構建包含小波域中重要信息的字典恢復重建圖像中的高頻信息.考慮到在圖像經小波分解后，邊緣和紋理信息主要集中在3個HF子圖上，王相海等[13]通過所提出的多角度模板對每個細節子圖進行插值.上述3種算法重建的邊緣和紋理信息更準確.對于磁共振成像，圖像的分辨率、信噪比和掃描時間是3個相互制約的因素，它們不可能同時達到最優的狀態.因此，磁共振設備捕獲到的磁共振圖像(MRI)通常是低分辨率的.Plenge 等[14]比較了6種SR方法與直接采集高分辨率MRI方法的性能，結果表明，SR方法能有效地平衡上述3個制約因素，比以增加掃描時間或降低圖像分辨率為代價采集MRI更具優越性.因此，SR重建能經濟有效地提高MRI的分辨率.

近年來，大量基于學習的MRI SR方法[15-22]利用學習的圖像先驗知識作為約束，解決圖像重建的不適定逆問題.受上述文獻的啟發，結合小波變換的多尺度特性、多方向性與稀疏表示的靈活性，本文提出一種基于稀疏表示和小波變換的超分辨率算法.

1 超分辨率重建算法

借鑒Nazzal等[4]提出的SR方法，先對待重建圖像進行小波分解;然后，對3個不同方向特性的高頻子圖分別進行超分辨率重建;最后，對重建得到的高頻子圖進行逆小波變換，得到最終的HR重建圖像.此外，為了充分利用圖像的高頻信息，將小波變換運用于字典訓練中，分別訓練水平、垂直、對角方向的字典對(Dil，Dih)，i=h，v，d代表水平、豎直和對角線3個方向.

1.1 稀疏編碼模型

為了提升超分辨率算法的性能，在對冗余字典下的圖像系數進行稀疏約束的同時，對重建的高頻子圖像也進行稀疏約束，從而建立一種雙稀疏編碼模型.考慮到自然圖像通常具有復雜的結構特征，僅使用單一的稀疏性作為約束條件無法重建出高質量的圖像.因此，為了保留圖像的流形結構，在雙稀疏編碼模型中加入局部線性嵌入正則化項(LLER).

1.1.1 雙稀疏編碼(DSC)模型 除了圖像在學習字典下的系數必須是稀疏的，考慮到重建后的高頻圖像同樣具有稀疏性，在稀疏編碼的階段，不僅對冗余字典的系數進行稀疏約束，同時對重建得到的高頻信息也進行稀疏約束，并由此建立雙稀疏編碼模型，即

(1)

式(1)中：αmh，αml分別是HR和LR子圖的稀疏系數；Dmh，Dml分別是HR和LR的子字典；Dhα是重建得到的高頻圖像；wm(m=h，v，d)代表水平、豎直和對角線3個方向的LR細節子圖；λ是正則化參數，用于平衡稀疏系數的稀疏性和wm的保真度；β是正則化參數，用于平衡小波域的稀疏性權重，并且對噪聲具有魯棒性.

根據HR細節子圖的稀疏系數與LR細節子圖的稀疏系數相同的假設[9]，令αmh=αml=αm，那么DSC模型可改寫為

(2)

圖1 重建流程Fig.1 Flowchart of reconstruction

將待重建的圖像經小波分解得到1幅低頻子圖與3幅高頻子圖，由于高頻子圖對應的高頻信息具有稀疏性，所以，通過式(1)分別對3個高頻信息進行重建.對重建后的3幅高頻子圖(LH，HL，HH)和LR低分辨圖像再進行逆小波變換，得到最后的高分辨率圖像，其重建流程，如圖1所示.

1.1.2 局部線性嵌入正則化 在基于稀疏表示的SR算法中，圖像結構信息的丟失或不足將導致重建后的圖像缺乏明顯的結構特征，且若圖像的流形結構能夠被保留，則可以為后續的圖像重建提供足夠的結構信息.因此，為了更好地保留圖像原有的流形結構，在稀疏編碼過程中加入LLE正則化項.LLE是流形學習中的經典算法，在處于同一流形的前提下，該方法假設LR圖像能夠由其最近鄰線性表示，那么，相應的稀疏系數也能通過相應的近鄰點使用相同的權值線性表示.重構權值qmi，j可表示為

(3)

‖(I-Qm)Wm‖22.

(4)

在雙稀疏模型中加入流形學習正則化項(式(3))，即

(5)

式(5)中：η是正則化參數.

(6)

式(6)等價于

(7)

式(7)可優化為

(8)

通過分裂Bregman算法[23]將式(8)轉化為

(9)

算法1用于求解LLER-DSC模型的分裂Bregman算法步驟如下.

輸入:LR字典Dml，HR 字典Dmh和小波細節子圖wm.初始化λ，β，η，μ1，μ2，f0，m=0，b0，m=0.

輸出:稀疏表示系數αm.

如果沒有收斂，則

fk+1，m=fk，m+(Dmlαk+1，m-wm)；

結束.

1.2 基于小波域的字典訓練

小波變換對圖像進行多尺度分解，它可以聚焦到圖像的任意細節.將小波變換運用到字典訓練階段有兩個原因:1) 因為小波本身具有多尺度和多方向等特性，所以使用經小波分解得到的子圖進行字典訓練，得到的字典同樣具有這些特性，從而使重建圖像具有更清晰的邊緣；2) 由壓縮感知理論可知，圖像本身或其在某個變換域內的表示越稀疏，經超分辨率算法得到的重建圖像質量就越好.

對每一幅圖像進行小波分解，得到LL1，LH1，HL1和HH14組子圖，其中，LL1是和原圖相似的低頻子圖;LH1,HL1和HH1分別代表水平、豎直和對角線方向的高頻子圖，這些高頻子圖具有稀疏性.將其中的3組高頻子圖用于訓練高分辨率的字典;然后，對LL1進行二級小波分解，并將得到的3組高頻子圖LH2，HL2和HH2作為低頻部分，用于訓練低分辨率的字典.

借鑒文獻[2]分別訓練高、低分辨率字典的思想，但沒有使用高通濾波器進行特征提取.這是因為經過小波變換后的圖像已經提取了高頻特征，不需要再單獨進行特征提取.低分辨率字典的訓練有以下5個步驟.

步驟1分別對每組子圖LH2,HL2和HH2進行逆小波變換(保留其中1幅高頻子圖，同時將其他3幅子圖置零)得到3組子圖LH′2,HL′2和HH′2，這樣就能保證在求解稀疏系數時圖像維度一致.

步驟2對3組子圖LH′2,HL′2和HH′2重疊分塊.

步驟3對這些圖像塊進行列向量化，得到Pil(i=LH，HL，HH).

步驟4為了減少字典訓練量，采用PCA對Pil進行降維處理.

步驟5使用K-SVD算法進行字典訓練，有

(10)

式(10)中：αi是高頻子圖的稀疏系數；S是最大稀疏度.

相應的高分辨率字典的計算式為

Dih=PihαiT(αi(αi)T)-1.

(11)

式(11)中：上標T代表轉置；上標-1代表逆運算.

最后，得到3對高、低分辨率字典(Dil，Dih)，i=h，v，d.其中，(Dhl，Dhh)，(Dvl，Dvh)，(Ddl，Ddh)分別是水平方向、垂直方向、對角線和反對角線方向的高、低分辨率字典.

1.3 算法的具體步驟

在文中算法中，對于給定的一幅低分辨率圖像，其超分辨率的問題就轉換成對小波變換得到的3幅高頻子圖進行重建(圖1).相對于傳統的基于稀疏表示的超分辨率算法，文中算法利用小波變換在分析圖像細節方面的優勢，使最終得到的重建圖像包含更多的細節信息.文中算法有以下4個具體步驟.

步驟1對待重建的圖像進行一級小波分解得到LL,LH,HL和HH 4幅子圖.

步驟2分別對LH,HL和HH 3幅高頻子圖進行逆小波變換(保留其中1幅高頻子圖，同時將其他3幅子圖置零),得到LH′,HL′和HH′，這樣有助于維持每個小波子帶的相同方向性.

步驟3采用式(6)對應的稀疏編碼模型對LH′,HL′和HH′子圖進行重建.先對這3幅子圖進行重疊分塊，并將其列向量化;然后，根據不同特征的圖像塊，自適應地選擇訓練好的字典，并求出對應的圖像塊稀疏系數.假設高頻子帶的稀疏系數和低頻子帶的稀疏系數相同，那么，高頻子帶對應的重建圖像塊計算式為Pih=Dilαi.最后，將具有相同方向特征的重建圖像塊(重疊區域取平均)分別融合成一幅子圖(LH″，HL″和HH″).

步驟4對重建得到的3幅子圖和LR圖像進行逆小波操作，得到最終的HR重建圖像.

2 實驗結果與分析

2.1 實驗環境及數據準備

采用的硬件平臺為Intel(R) Core(TM)i7-7700K CPU@4.20 GHz，內存24.0 GB，軟件平臺為Windows 64位操作系統，仿真軟件為MATLAB 2016b.在重建圖像過程中，選取圖像塊大小為6 px×6 px，在鄰近塊之間的重疊區為1個像素；在算法1中，λ=3.25，β=0.01，μ1=0.001，μ2=0.010.

用于字典訓練的圖像集采用文獻[1，24-26]中均使用的含有91張高分辨率圖像的訓練集.為了保證實驗的客觀性，采用的測試圖像庫為Set5[27]，Set14[2]，B100(BSDS300[28]中取100張)，這些測試圖像專門用于評價超分辨率重建算法.同時，還將文中算法運用到磁共振圖像中，為了保證用于MRI圖像實驗的客觀性，訓練圖像來源于TCIA[29]，測試圖像也從中隨機挑選.為了驗證文中算法的有效性，主要與雙三次插值(Bicubic)、L1SR[1]算法、SISR[2]算法、ANR[25]算法、LLE[30]算法、文獻[31]算法和SRISAE[32]算法進行比較.重建圖像的評價主要包括主觀和客觀評價兩個方面.客觀評價主要采用峰值信噪比(RPSN)[33]和結構相似度(MSSI)[34]兩個指標.峰值信噪比和結構相似度的分別定義為

2.2 結果分析

為了方便定量評價重建圖像的質量，將測試圖像經過小波變換得到的LL子圖作為待重建的LR圖像，并將原始的HR圖像作為參考圖像.實驗分為3組:1) 驗證改進算法的有效性；2) 對自然圖像進行超分辨率重建；3) 將文中算法運用于磁共振圖像.

表1 4種SR算法的RPSN和MSSI的平均值比較Tab.1 Comparison of average RPSN and MSSI values obtained by four different SR algorithms

由表1可知：2種改進算法的RPSN平均值都優于SRWD算法，其中，LLER-DSC算法得到了最好的重建結果.由此可知，基于雙稀疏改進的SR算法是有效的.

2) 第2組實驗.該實驗的目的是驗證文中算法(LLER-DSC)對自然圖像重建的有效性.將文中算法與Bicubic，SRISAE,SISR，ANR，NE_LLE，文獻[31]，SRISAE算法進行比較.上述7種SR算法在Set5，Set14和B100中的RPSN和MSSI的平均值比較，如表2所示.由表2可知：在量化結果上，文中算法都優于其他比較算法.由此可看出，文中算法重建效果高于其他比較算法.

表2 7種SR算法的RPSN和MSSI的平均值比較Tab.2 Comparison of average RPSN and MSSI values obtained by seven different SR algorithms

不同SR算法獲得的重建Butterfly和Barbara的主觀比較結果，如圖2，3所示.圖2,3中：除了列出原始HR參考圖像和上述7種對比算法重建結果在同一區域的細節放大圖外，還列出SRWD和DSC算法的重建結果.

圖2 不同SR算法獲得的重建Butterfly的主觀比較結果Fig.2 Visual comparison results of reconstructed images obtained by different SR algorithms for Butterfly

圖3 不同SR算法獲得的重建Barbara的主觀比較結果Fig.3 Visual comparison results of reconstructed images obtained by different SR algorithms for Barbara

由圖2,3可知：Bicubic不能重建出清晰的圖像；SISR,NE_LLE,文獻[31]和SRISAE算法的重建圖像邊緣過于平滑，丟失了部分信息；6種對比算法中，ANR的重建結果最好，但仍然不夠清晰；相比SRWD和DSC算法，LLER-DSC算法的重建圖像更清晰，LLER-DSC算法能有效地減少重建圖像的失真并且生成更精確的細節信息，重建出更接近于原始HR的圖像.該組實驗進一步說明了文中算法的魯棒性和有效性.

3) 第3組實驗.由于MRI的分辨率通常受到許多因素的限制，如信噪比、硬件條件、掃描時間及患者的舒適度等，導致采集到的圖像都是低分辨率圖像.然而，在許多醫學應用中，通常需要清晰的高分辨率MRI來輔助醫生，以提高臨床診斷的準確性.所以，該組實驗將文中算法應用到MRI圖像的超分辨率重建中，從而驗證文中算法的實用性.從癌癥影像檔案(TCIA)[29]中隨機選取91幅高分辨率MRI圖像作為訓練圖像，測試圖像也從TCIA中隨機挑選.不同SR算法對MRI重建圖像的RPSN和MSSI值的比較，如表3所示.由表3可知：文中算法的RPSN和MSSI值總體上優于其他算法，并且兩個評價指標的平均值都最高.

表3 不同SR算法對MRI重建圖像的RPSN和MSSI值的比較Tab.3 Comparison of RPSN and MSSI of reconstructed MRI images obtained by different SR algorithms

不同SR算法獲得的重建MRI圖像Prostate-11,Prostate-02的主觀比較結果，如圖4,5所示.由圖4,5可知：NE_LLE算法得到的圖像在邊緣細節方面恢復不明顯，且出現嚴重的混疊現象；與其他SR算法相比，SISR算法重建的圖像不夠清晰；ANR算法在邊緣銳化方面優于SISR算法，但是其重建圖像出現了許多虛假細節；相比于ANR算法，文獻[31]算法重建的圖像具有較少的虛假細節，且其恢復的邊緣細節更好；相比于文獻[31]算法，SRISAE算法重建圖像的邊緣細節有進一步提升；LLER-DSC算法在邊緣細節的恢復方面略優于SRISAE算法，尤其是水平、垂直和對角方向的邊緣較為明顯，得到的重建圖像也更為清晰.因此，文中算法在MRI圖像超分辨率重建中取得了令人滿意的結果.

圖4 不同SR算法獲得的重建MRI圖像Prostate-11的主觀比較結果Fig.4 Visual comparison results of reconstructed MRI images obtained by different SR algorithms for Prostate-11

圖5 不同SR算法獲得的重建MRI圖像Prostate-02的主觀比較Fig.5 Visual comparison results of reconstructed MRI images obtained by different SR algorithms for Prostate-02

3 結論

將小波變換運用到字典訓練和稀疏編碼階段，提出一種基于稀疏表示和小波變換的圖像超分辨率算法.通過結合小波分解得到的高頻信息的稀疏性與圖像在冗余字典下的系數的稀疏性，提出一種雙稀疏編碼模型，從而提高超分辨率算法的性能.為了保留圖像的流形結構，在雙稀疏編碼模型中引入LLE正則化項.同時，為了充分利用圖像的高頻信息，將小波變換運用于字典訓練的階段，并分別對待重建圖像經小波分解得到的3幅高頻子圖進行重建.

從主觀和客觀兩個方面對重建結果進行分析，結果表明，文中方法的重建效果優于其他用于比較的方法.同時，還將文中算法運用于MRI圖像的重建，同樣獲得了良好的效果.在實際應用中，文中算法有利于需要MRI快速成像的情況.由于對3幅高頻子圖的重建都采用相同的SR算法，并沒有考慮每幅子圖的差異性，因此，如何根據每幅高頻子圖的特征分別設計特定的SR算法，是將來工作的研究重點.