基于針對(duì)性字典的壓縮圖像稀疏超分辨率重建

何靜波，何小海，陳洪剛，張曉琳，黃建秋

(四川大學(xué)　電子信息學(xué)院，四川　成都 610065)

?

基于針對(duì)性字典的壓縮圖像稀疏超分辨率重建

何靜波，何小海，陳洪剛，張曉琳，黃建秋

(四川大學(xué)電子信息學(xué)院，四川成都 610065)

摘要：為了有效地重建壓縮低分辨率圖像，提出一種基于針對(duì)性字典的壓縮圖像稀疏超分辨率重建算法。首先，根據(jù)壓縮低分辨率圖像的形成特點(diǎn)，對(duì)訓(xùn)練庫圖像進(jìn)行針對(duì)性的下采樣壓縮編碼處理，進(jìn)行超完備字典的訓(xùn)練；然后，通過訓(xùn)練所得的針對(duì)性字典對(duì)壓縮低分辨率圖像進(jìn)行稀疏表示的超分辨率重建。為進(jìn)一步恢復(fù)圖像的高頻信息，進(jìn)行了針對(duì)性殘差字典訓(xùn)練，并對(duì)圖像進(jìn)行高頻信息補(bǔ)償，得到稀疏重建后的圖像主觀效果更加突出，客觀評(píng)價(jià)參數(shù)也得到較大提升。實(shí)驗(yàn)結(jié)果表明，該算法對(duì)壓縮圖像的超分辨率重建更具針對(duì)性，具有良好魯棒性和高效性。

關(guān)鍵詞：壓縮圖像；超分辨率重建；字典訓(xùn)練；稀疏表示

近年來，將超分辨率重建技術(shù)引入圖像壓縮編碼以得到更優(yōu)壓縮效果的研究成為熱點(diǎn)。尤其在視頻方向發(fā)展迅速，這是由于視頻序列中相鄰幀存在較強(qiáng)相關(guān)性以及較豐富的冗余信息。文獻(xiàn)[1-4]均采用了基于視頻壓縮編碼的下采樣超分辨率重建框架，其核心在于部分關(guān)鍵幀信息按原始尺寸直接編碼傳輸，其他非關(guān)鍵幀進(jìn)行下采樣之后再編碼傳輸，其中文獻(xiàn)[1]采用了基于運(yùn)動(dòng)搜索運(yùn)動(dòng)補(bǔ)償?shù)某直媛手亟ㄋ惴ǎ墨I(xiàn)[2-3]采用了基于樣例的超分辨率重建算法，文獻(xiàn)[4]則采用了基于塊的超分辨率重建算法。相較之下，在單幅圖像方面，融合超分辨率重建技術(shù)的圖像壓縮由于單幅圖像無法提供足夠的先驗(yàn)信息，使得重建圖像的主觀視覺效果無法令人滿意。

與此同時(shí)，在單幅圖像的超分辨率重建方面，基于稀疏表示的超分辨率重建算法研究趨于成熟，其重建效果相較傳統(tǒng)圖像的超分辨率算法優(yōu)勢明顯，重建圖像主觀視覺效果良好。稀疏表示理論來源于壓縮感知，該理論指出：一幅圖像能夠在非常苛刻的條件下由它的一組稀疏表示系數(shù)在超完備字典上得到精確重建。文獻(xiàn)[5-6]首次把圖像稀疏表示理論引入到圖像的超分辨率重建之中，提出了一種基于超完備字典的圖像稀疏表示超分辨率重建算法。文獻(xiàn)[7]提出一種新穎的SCDL半耦合字典學(xué)習(xí)算法，該算法松弛了高低分辨率圖像相對(duì)應(yīng)超完備字典具有相同稀疏表示系數(shù)這一假設(shè)條件，提出兩者之間存在一種穩(wěn)定的映射關(guān)系。文獻(xiàn)[8]采用了一種自學(xué)習(xí)的超分辨率重建框架，將支持向量機(jī)與稀疏表示相結(jié)合使用。文獻(xiàn)[9]提出了一種使用beta過程實(shí)現(xiàn)聯(lián)合字典的估計(jì)，對(duì)其中的稀疏系數(shù)只限定其支持集的相等關(guān)系，不限定其數(shù)值上的相等關(guān)系。文獻(xiàn)[10]則提出一種快速的基于圖像自訓(xùn)練的稀疏超分辨率重建算法，對(duì)輸入的低分辨率圖像進(jìn)行自訓(xùn)練得到字典完成稀疏重建。由于單幅圖像稀疏超分辨率重建的高效性，促進(jìn)了圖像壓縮編碼與超分辨率重建技術(shù)的融合。

目前基于稀疏表示的超分辨率重建算法中，由于超完備字典訓(xùn)練的局限，只適用于未經(jīng)壓縮編碼的低分辨率圖像。針對(duì)該問題，本文提出一種基于針對(duì)性字典的壓縮圖像稀疏超分辨率重建算法。根據(jù)壓縮低分辨率圖像的形成特點(diǎn)，對(duì)訓(xùn)練庫圖像進(jìn)行針對(duì)性的下采樣壓縮編碼處理，進(jìn)行超完備字典的訓(xùn)練。同時(shí)，為進(jìn)一步恢復(fù)圖像的高頻信息，進(jìn)行了針對(duì)性殘差字典的訓(xùn)練，對(duì)圖像進(jìn)行高頻信息補(bǔ)償。

1基于稀疏表示單幅圖像的超分辨率重建

基于稀疏表示單幅圖像的超分辨率重建核心在于得到稀疏先驗(yàn)，稀疏先驗(yàn)假設(shè)高分辨率塊可以在超完備字典近似稀疏表示。基于圖像稀疏表示理論，定義Dl為通過輸入的低分辨率訓(xùn)練圖像訓(xùn)練得到的超完備字典，低分辨率訓(xùn)練庫圖像塊Yl可以由低分辨率字典Dl稀疏線性表示

Yl=Dlα

(1)

式中：α為稀疏表示系數(shù)，這個(gè)系數(shù)包含很少的非零分量，由于低分辨率字典是冗余的，所以稀疏表示系數(shù)并不唯一確定，于是求解稀疏系數(shù)變成下面的公式

(2)

式中：‖α‖0表示稀疏系數(shù)中非零分量的數(shù)目；ε表示非線性逼近的容差空間。用正交匹配追蹤(OMP)算法來求解稀疏表示系數(shù)，根據(jù)文獻(xiàn)[5-6]中的基本思想，高分辨率訓(xùn)練庫圖像塊Yh可以用同樣的稀疏表示系數(shù)，在高分辨字典上Dh得到稀疏表示

Yh=Dhα

(3)

通過高分辨率訓(xùn)練庫圖像塊和稀疏表示系數(shù)可以求得高分辨率字典Dh，上述公式本質(zhì)就是通過訓(xùn)練高分辨率圖像塊以得到高分辨率字典，高低分辨率字典的聯(lián)合就組成了稀疏重建的先驗(yàn)知識(shí)(Dl，Dh)。

利用訓(xùn)練庫圖像得到先驗(yàn)知識(shí)(Dl，Dh)，對(duì)輸入待重建的低分辨率圖像塊，這個(gè)稀疏先驗(yàn)知識(shí)將會(huì)重建出高分辨率圖像塊，輸入待重建圖像的低分辨率塊Xl在低分辨率字典上Dl得到稀疏表示

Xl=Dlβ

(4)

該稀疏表示系數(shù)β可以通過下面的公式求取

(5)

此時(shí)需要重建得到的高分辨率圖像塊可以通過同樣的稀疏表示系數(shù)在高分辨率字典上得到

Xh=Dhβ

(6)

對(duì)輸入的每個(gè)待重建的低分辨率圖像塊，都通過上述的方式通過高分辨率字典重建得到高分辨率圖像塊，將這些高分辨率圖像塊融合得到完整的稀疏重建高分辨率圖像。

然而，上述稀疏先驗(yàn)是對(duì)于普通低分辨率圖像重建有效，對(duì)于壓縮編碼的低分辨率圖像重建局限性較大。由于稀疏先驗(yàn)未針對(duì)壓縮低分辨率圖像的形成特點(diǎn)，超完備字典對(duì)壓縮圖像的稀疏重建無法得到高質(zhì)量的重建圖，限制了單幅圖像的超分辨率技術(shù)與圖像壓縮編碼的融合。為解決這一問題，本文提出一種基于針對(duì)性字典的壓縮圖像稀疏超分辨率重建，在超完備字典的訓(xùn)練過程中注重針對(duì)壓縮低分辨率圖像的形成特點(diǎn)，使得字典訓(xùn)練針對(duì)性大幅增強(qiáng)。與此同時(shí)，為進(jìn)一步恢復(fù)稀疏重建圖像的高頻信息，進(jìn)行針對(duì)性殘差字典訓(xùn)練，對(duì)圖像進(jìn)行高頻信息補(bǔ)償。

2基于針對(duì)性字典的壓縮圖像稀疏超分辨率重建

2.1壓縮圖像的針對(duì)性字典訓(xùn)練算法

結(jié)合壓縮低分辨率圖像的形成特點(diǎn)，提出了針對(duì)性字典訓(xùn)練算法。算法核心在于改變原有超完備字典的訓(xùn)練方式，根據(jù)壓縮低分辨率圖像形成原因，對(duì)訓(xùn)練庫圖像進(jìn)行針對(duì)性的下采樣壓縮編碼處理，進(jìn)行超完備字典的訓(xùn)練。本文為了敘述的簡潔，下采樣因子采用2，壓縮編碼采用JPEG編解碼標(biāo)準(zhǔn)，可擴(kuò)展到其他下采樣因子、圖像壓縮編碼標(biāo)準(zhǔn)。壓縮低分辨率圖像的針對(duì)性字典訓(xùn)練算法流程如圖1所示，具體的訓(xùn)練過程如下。

1)對(duì)所有訓(xùn)練庫圖像統(tǒng)一進(jìn)行下采樣操作，得到下采樣訓(xùn)練庫圖像；

2)對(duì)所有下采樣訓(xùn)練庫圖像統(tǒng)一進(jìn)行JPEG標(biāo)準(zhǔn)編碼，然后對(duì)壓縮的訓(xùn)練庫圖像使用JPEG標(biāo)準(zhǔn)進(jìn)行解碼，得到JPEG 解碼后的下采樣圖像；

3)對(duì)JPEG 解碼后的下采樣圖像進(jìn)行統(tǒng)一的BM3D[11-14]去噪處理，去除編解碼過程中產(chǎn)生的量化噪聲，得到去除噪聲后的壓縮下采樣訓(xùn)練庫圖像；

4)為得到更好的初始訓(xùn)練圖像，對(duì)所有去除噪聲后的壓縮下采樣圖進(jìn)行SAI插值[13]，得到超完備字典訓(xùn)練所需低頻信息；

5)訓(xùn)練庫原始圖像與插值圖像相減將會(huì)得到字典訓(xùn)練所需的高頻信息，高、低頻信息的聯(lián)合訓(xùn)練[12]，得到重建所需的稀疏先驗(yàn)，即融合SAI插值的針對(duì)性高低頻字典對(duì)。

2.2針對(duì)性殘差字典訓(xùn)練算法

壓縮低分辨率圖像經(jīng)過稀疏重建后，得到的重建圖像與原始圖像相比較，依然存在較多的殘差信息沒有得到充分的利用，為了更好利用到這些損失的高頻殘差信息，在使用了融合SAI插值的針對(duì)性字典稀疏重建后，本文將繼續(xù)針對(duì)性的訓(xùn)練高、低頻殘差字典對(duì)，使用針對(duì)性殘差字典對(duì)稀疏重建后的圖像進(jìn)行高頻信息補(bǔ)償，以恢復(fù)圖像更多的高頻細(xì)節(jié)信息，使得最終的稀疏重建圖像主客觀質(zhì)量俱佳。針對(duì)性殘差字典訓(xùn)練流程如圖2，具體過程如下。

1)訓(xùn)練圖像集進(jìn)行下采樣操作，得到下采樣訓(xùn)練圖像集；

2)下采樣訓(xùn)練圖像集進(jìn)行JPEG標(biāo)準(zhǔn)編解碼工作，得到壓縮的下采樣訓(xùn)練圖像集；

3)壓縮的下采樣訓(xùn)練圖像集使用BM3D算法去除編解碼過程中產(chǎn)生的量化噪聲；

4)去噪后的壓縮下采樣訓(xùn)練圖像集進(jìn)行SAI插值，得到稀疏重建的低頻信息圖像；

5)插值得到的低頻信息圖像通過針對(duì)性高低頻字典對(duì)重建出高頻信息圖像；

6)高、低頻重建圖像相結(jié)合將得到第一次稀疏重建訓(xùn)練圖像集；

7)原始訓(xùn)練圖像集與第一次重建得到的圖像集相減得到新的殘差字典高頻信息；

8)第一次重建圖像將作為殘差字典訓(xùn)練的低頻信息；

9)高低頻信息聯(lián)合訓(xùn)練，得到最終的針對(duì)性殘差高低頻字典對(duì)。

2.3壓縮圖像稀疏超分辨率重建

本文重建算法主要采用文獻(xiàn)[12]中的方法，具體的壓縮圖像稀疏超分辨率重建流程如圖3所示。首先，對(duì)JPEG壓縮低分辨率圖像進(jìn)行BM3D去噪，用于消除編解碼過程中產(chǎn)生的量化噪聲。其次，為了得到更好的初始重建圖像，對(duì)去除噪聲后的壓縮圖像進(jìn)行SAI插值，得到稀疏重建過程中所需的低頻信息圖像；然后，通過針對(duì)性超完備字典對(duì)低頻信息圖像進(jìn)行稀疏重建得到高頻信息圖像，再與插值得到的低頻信息圖像相結(jié)合即可得到第一次稀疏重建的圖像。最后，為了進(jìn)一步提升圖像主客觀質(zhì)量，使用針對(duì)性殘差字典對(duì)稀疏重建后的圖像進(jìn)行高頻信息補(bǔ)償，得到最終重建圖像。

3實(shí)驗(yàn)結(jié)果

在JPEG標(biāo)準(zhǔn)編解碼過程中，參數(shù)QP控制編解碼圖像的質(zhì)量，質(zhì)量因子QP的賦值從0～100，QP值越大意味著編解碼得到的圖像質(zhì)量越高。為了驗(yàn)證針對(duì)性訓(xùn)練字典的有效性和穩(wěn)定性，本文對(duì)多組質(zhì)量因子QP(40，50，60，70)進(jìn)行實(shí)驗(yàn)。

圖4～圖6為測試圖像分別采用bicubic算法、ScSR算法[5]、Yang的算法[8]、BP-JDL算法[9]和本文算法在不同質(zhì)量因子QP下的主觀視覺對(duì)比效果，從這些對(duì)比圖像可以明顯看出bicubic算法重建效果較差，重建得到的圖像比較模糊；ScSR算法重建圖像視覺效果依然較為模糊，振鈴現(xiàn)象比較嚴(yán)重；Yang[8]的算法重建圖像相較于前兩種算法，重建圖像質(zhì)量有了一定程度的提升，然而邊緣的鋸齒現(xiàn)象較為明顯；BP-JDL算法在這4種比較算法中，重建圖像的質(zhì)量有著較為明顯的提升，但是邊緣細(xì)節(jié)重建效果不佳；而本文算法與其他算法相比較，在重建的視覺效果上均優(yōu)于其他4種算法，尤其在重建圖像局部細(xì)節(jié)表現(xiàn)上，本文算法優(yōu)勢較明顯，這也更加突顯出融合SAI插值的針對(duì)性字典訓(xùn)練以及針對(duì)性殘差字典訓(xùn)練的有效性，得到壓縮低分辨率圖像稀疏重建的效果令人滿意，促進(jìn)超分辨率重建技術(shù)與圖像壓縮編碼的融合。具體參本文對(duì)比見表1～4。

表2QP=50不同超分辨率算法與本文算法的PSNR以及SSIM比較結(jié)果

表3QP=60不同超分辨率算法與本文算法的PSNR以及SSIM比較結(jié)果

為了進(jìn)一步驗(yàn)證本文針對(duì)性字典稀疏重建的有效性，表1～4列舉了在不同質(zhì)量因子下5種算法重建圖像峰值信噪比以及結(jié)構(gòu)相似度比較結(jié)果。從表1～4可以看出，在JPEG編解碼過程中取不同質(zhì)量因子QP，本文的算法與其他算法比較，PSNR以及SSIM均有較大幅度提升，實(shí)現(xiàn)了稀疏重建圖像主客觀質(zhì)量評(píng)價(jià)均優(yōu)于其他算法。

4結(jié)論

本文提出一種基于針對(duì)性字典的壓縮圖像稀疏超分辨率重建算法，算法根據(jù)壓縮低分辨率圖像的形成特點(diǎn)，對(duì)訓(xùn)練庫圖像進(jìn)行針對(duì)性的下采樣壓縮編碼處理，進(jìn)行超完備字典訓(xùn)練，使得字典訓(xùn)練針對(duì)性大幅增強(qiáng)。同時(shí)，為進(jìn)一步恢復(fù)圖像的高頻信息，進(jìn)行了針對(duì)性殘差字典的訓(xùn)練，對(duì)圖像進(jìn)行高頻信息補(bǔ)償，得到最終重建圖像主觀視覺效果更加突出，客觀質(zhì)量評(píng)價(jià)參數(shù)峰值信噪比(PSNR)及結(jié)構(gòu)相似度(SSIM)也得到較大幅度提升。通過不同編解碼質(zhì)量因子QP的實(shí)驗(yàn)，進(jìn)一步證明了本文算法的魯棒性和高效性。

表4QP=70不同超分辨率算法與本文算法的PSNR以及SSIM比較結(jié)果

參考文獻(xiàn)：

[1]SHEN M，XUE P，WANG C. Down-sampling based video coding using super-resolution technique[J].IEEE transactions on circuits systbem. video technoly，2011，21(6)：755-765.

[2]HUNG E M，QUEIROZ R L，BRANDI F，et al. Video super-resolution using codebooks derived from key-frames[J]. IEEE transactions on circuits system. video technoly，2012，22(9)：1321-1331.

[3]BRANDI F，QUEIROZ R，MUKHERJEE D. Super resolution of video using key frames [C]//Proc. IEEE ISCAS 2008.[S.l.]：IEEE Press，2008：321-324.

[4]GLAISTER J，CHAN C，F(xiàn)RANKOVICH M，et al. Hybrid video compression using selective keyframe identification and patch-based super-resolution[C]//Proc.2011 IEEE International Symposium on Multimedia 2011. [S.l.]：IEEE Press，2011：105-110.

[5]YANG J，WRIGHT J，HUANG T S，et al. Image super-resolution as sparse representation of raw image patches[C]//Proc. IEEE CVPR 2008. [S.l.]：IEEE Press，2008：1-8.

[6]YANG J，WRIGHT J，HUANG T S，et al. Image super-resolution via sparse representation [J]. IEEE transactions on image processing， 2010， 19(11)： 2861-2873.

[7]WANG S，ZHANG L，LIANG Y，et al. Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis[C]//Proc. IEEE CVPR 2012. [S.l.]：IEEE Press，2012：2216-2223.

[8]YANG M C，WANG C F. A self-learning approach to single image super-resolution[J]. IEEE transactions on multimedia， 2013， 15(3)：498-508.

[9]LI H，QI H，ZARETZKI R. Beta process joint dictionary learning for coupled feature spaces with application to single image super-resolution[C]//Proc. IEEE CVPR 2013. [S.l.]：IEEE Press， 2013：345-352.

[10]ZHU Z，GUO F，YU H，et al. Fast single image super-resolution via self-example learning and sparse representation[J].IEEE transactions on multimedia， 2014，16(8)：2178-2190.

[11]DABOV K，F(xiàn)OI A，KATKOVNIK V，et al. Image denoising by Sparse 3-D transform-domain collaborative filtering [J]. IEEE transactions on image processing， 2007， 16(8)：2080-2095.

[12]ZEYDE R，ELAD M，PROTTER M. On single image scale-up using sparse-representations [C]//Proc. Curves Surfaces 2010. [S.l.]：IEEE Press，2010：711-730.

[13]ZHANG X， WU X. Image interpolation by adaptive 2-D autoregressive modeling and soft-decision estimation [J].IEEE transactions on image processing， 2008， 17(6)：887-896.

[14]胡耀華，何小海，吳曉紅，等. 采用超分辨率重建提升壓縮圖像的方法[J]. 電視技術(shù)， 2015，39(9)： 14-18.

何靜波(1991— )，碩士生，主要研究方向圖像的超分辨率重建；

何小海(1964— )，教授，博士生導(dǎo)師，主要研究方向圖像處理與網(wǎng)絡(luò)通信、機(jī)器視覺與智能系統(tǒng)；

陳洪剛(1991— )，碩士生，主要研究方向圖像的超分辨率重建；

張曉琳(1990— )，碩士生，主要研究方向圖像的超分辨率重建；

黃建秋(1988— )，碩士生，主要研究方向圖像編解碼、視頻通信。

責(zé)任編輯：時(shí)雯

Sparserepresentation-basedsuper-resolutionreconstructionbasedontargeteddictionaryforcompressedimage

HEJingbo，HEXiaohai，CHENHonggang，ZHANGXiaolin，HUANGJianqiu

(College of Eletrionics and Information Engineering，Sichuan University，Chengdu 610065， China)

Keywords：compressedimage；super-resolutionreconstruction；dictionarytraining；sparserepresentation

Abstract：Inordertoimprovethesuper-resolutionreconstructionperformanceofcompressedlow-resolutionimage，asparserepresentation-basedreconstructionalgorithmbyusingtargeteddictionaryisproposedinthispaper.Firstly，thedictionarytrainingisaimedatthecharacteristicsandformingofthecompressedimage，whichtraininglibraryisacquiredthetargetedprocesstomakeamoreeffectiveover-completedictionaryforthesuper-resolution.Then，thecompressedlow-resolutionimageisreconstructedbythetargeteddictionarysparesrepresentation-basedsuper-resolution.Meanwhile，forgettingmoredetailinformation，thetargetedresidualdictionaryisdesignedtocompensatethelossofhigh-frequencyinformation.Supportedbythetargeteddictionary，themethodproducesexcellentSRresultsonavarietyofimages，anditachievesasignificantimprovementinPSNR，SSIMandcompetitiveperformanceinvisualquality.Extensiveexperimentsmanifesttherobustnessandefficiencyoftheproposedsparserepresentation-basedsuper-resolutionreconstructionbasedontargeteddictionaryforcompressedimage.

中圖分類號(hào)：TN919.8

文獻(xiàn)標(biāo)志碼：A

DOI：10.16280/j.videoe.2016.01.004

基金項(xiàng)目：國家自然科學(xué)基金項(xiàng)目(61471248)；四川省教育廳2014年研究生教育改革創(chuàng)新項(xiàng)目(2014-教-034)

作者簡介：

收稿日期：2015-07-01

文獻(xiàn)引用格式：何靜波，何小海，陳洪剛，等.基于針對(duì)性字典的壓縮圖像稀疏超分辨率重建[J].電視技術(shù)，2016，40(1)：19-24.

HEJB，HEXH，CHENHG，etal.Sparserepresentation-basedsuper-resolutionreconstructionbasedontargeteddictionaryforcompressedimage[J].Videoengineering，2016，40(1)：19-24.