基于SSIM_NCCDFT的超分辨率復(fù)原評(píng)價(jià)方法研究

張振東，陳健，2，3，*，王偉國(guó)，劉廷霞

基于SSIM_NCCDFT的超分辨率復(fù)原評(píng)價(jià)方法研究

張振東1，陳健1，2，3，*，王偉國(guó)1，劉廷霞1

(1．中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林長(zhǎng)春130033; 2．中國(guó)科學(xué)院大學(xué)，北京100049; 3．吉林大學(xué)通信工程學(xué)院，吉林長(zhǎng)春130012)

傳統(tǒng)的圖像質(zhì)量評(píng)價(jià)方法很多，但是并非針對(duì)超分辨率復(fù)原算法的特定評(píng)價(jià)指標(biāo)。一種超分辨率復(fù)原算法復(fù)原性能的好壞，至今沒(méi)有一個(gè)統(tǒng)一的評(píng)價(jià)標(biāo)準(zhǔn)，這使得超分辨率復(fù)原算法的發(fā)展受到很大限制。針對(duì)傳統(tǒng)的超分辨率復(fù)原評(píng)價(jià)體系只關(guān)注圖像某一方面統(tǒng)計(jì)特性的問(wèn)題，提出一種基于SSIM_NCCDFT的超分辨率復(fù)原評(píng)價(jià)方法。該評(píng)價(jià)方法結(jié)合了空間域的灰度均值、對(duì)比度以及頻域自相關(guān)，能夠同時(shí)評(píng)價(jià)超分辨率復(fù)原結(jié)果在空間域的復(fù)原效果和對(duì)頻率域信息的復(fù)原精度。實(shí)驗(yàn)結(jié)果表明:SSIM_NCCDFT可以準(zhǔn)確反映圖像退化的程度。相對(duì)于PSNR，SSIM_NCCDFT的優(yōu)勢(shì)是其同時(shí)反映了頻域和空域復(fù)原的精度，評(píng)價(jià)更加全面。本文提出的基于SSIM_NCCDFT的超分辨率復(fù)原評(píng)價(jià)方法同時(shí)考慮了超分辨率復(fù)原中頻率域和空間域的復(fù)原性能，評(píng)價(jià)結(jié)果較為全面，能夠有效地評(píng)價(jià)復(fù)原圖像中的噪聲和模糊等現(xiàn)象，對(duì)超分辨率復(fù)原方法的評(píng)價(jià)具有一定的指導(dǎo)意義。

結(jié)構(gòu)相似度;歸一化傅立葉互相關(guān)系數(shù);峰值信噪比;超分辨率復(fù)原;圖像評(píng)價(jià)

1 引言

數(shù)字圖像的超分辨率復(fù)原發(fā)展至今已經(jīng)半個(gè)多世紀(jì)，學(xué)者們提出了各種各樣的復(fù)原算法，廣泛用于計(jì)算機(jī)視覺(jué)、遙感成像、醫(yī)學(xué)圖像分析和數(shù)字電視信號(hào)增強(qiáng)等領(lǐng)域，在軍事和民用方面均起到了巨大的推動(dòng)作用。但是，一種超分辨率復(fù)原算法性能是好是壞，至今仍然沒(méi)有一個(gè)統(tǒng)一的評(píng)價(jià)標(biāo)準(zhǔn)。這使得超分辨率復(fù)原算法的應(yīng)用受到很大限制。因此，研究超分辨率復(fù)原圖像質(zhì)量評(píng)價(jià)體系，具有十分重要的現(xiàn)實(shí)意義。

一般而言，所有的圖像質(zhì)量評(píng)價(jià)方法均可以分為主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法。主觀評(píng)價(jià)方法是指憑借人眼的主觀感受，去評(píng)價(jià)圖像質(zhì)量的好壞，主觀評(píng)價(jià)方法與評(píng)價(jià)人的個(gè)人認(rèn)知、喜好和背景等關(guān)系密切;客觀評(píng)價(jià)方法是指根據(jù)不同的模型，從公式計(jì)算出量化指標(biāo)，用以評(píng)價(jià)圖像質(zhì)量的好壞。客觀評(píng)價(jià)方法不以人的意志為轉(zhuǎn)移，但是往往著眼于圖像的某一方面性質(zhì)，具有一定的片面性［1-4］。

圖像的超分辨率復(fù)原是通過(guò)低分辨率圖像，復(fù)原出超過(guò)成像系統(tǒng)衍射極限之上的頻譜信息的過(guò)程，因此復(fù)原圖像的頻譜信息是否與原始圖像相似，是評(píng)價(jià)超分辨率復(fù)原算法是否有效的一個(gè)重要指標(biāo)。同時(shí)，在圖像的空間域上，也要求復(fù)原的高分辨率圖像與原始高分辨率圖像在對(duì)比度和灰度均值等指標(biāo)上相似，所提指標(biāo)中也需要包含這些空間域信息。基于以上分析，本文提出基于SSIM_NCCDFT的超分辨率復(fù)原評(píng)價(jià)方法［5-9］。

2 基于SSIM_NCCDFT的超分辨率復(fù)原評(píng)價(jià)方法

客觀評(píng)價(jià)指標(biāo)是指可以定量計(jì)算的，不以人的意志為轉(zhuǎn)移的圖像質(zhì)量評(píng)價(jià)指標(biāo)。一直以來(lái)，人們都在尋找可以準(zhǔn)確描述圖像逼真度和可信度的定量指標(biāo)，但目前的客觀描述指標(biāo)均無(wú)法完全達(dá)到這樣的效果。根據(jù)有無(wú)參考圖像，客觀評(píng)價(jià)指標(biāo)可以分為全參考評(píng)價(jià)、半?yún)⒖荚u(píng)價(jià)和無(wú)參考評(píng)價(jià)三類方法。

全參考評(píng)價(jià)是指原始參考圖像完全已知，通過(guò)計(jì)算原始參考圖像和復(fù)原圖像之間的誤差，從而衡量復(fù)原算法的好壞。典型的全參考評(píng)價(jià)方法有絕對(duì)均值誤差(MAE)、均方誤差(MSE)、峰值信噪比(PSNR)、相關(guān)系數(shù)(CC)和高頻分量相關(guān)系數(shù)(HFCC)［10-11］。

半?yún)⒖荚u(píng)價(jià)不需要參考圖像所有的像素信息，而只需要其部分統(tǒng)計(jì)信息，因此稱為半?yún)⒖荚u(píng)價(jià)。典型的半?yún)⒖荚u(píng)價(jià)方法有結(jié)構(gòu)相似度(SSIM)和交叉熵(CE)。

若參考圖像的任何信息都是未知的，則只能使用復(fù)原圖像自身的信息進(jìn)行評(píng)價(jià)。無(wú)參考評(píng)價(jià)的實(shí)質(zhì)就是計(jì)算出待評(píng)價(jià)圖像自身重要的屬性。典型的無(wú)參考評(píng)價(jià)方法有空間頻率、標(biāo)準(zhǔn)差和信息熵［12-14］。

2．1結(jié)構(gòu)相似度(SSIM)

結(jié)構(gòu)相似度(SSIM)考慮的是兩幅圖像之間的亮度、對(duì)比度和相關(guān)性之間的相似性［15-16］，用到了兩幅圖像的均值和方差，計(jì)算公式如式(1)所示。

公式(1)中:l(x，y)、c(x，y)和s(x，y)的定義分別如式(2)、式(3)和式(4)所示。

公式(2)、(3)和(4)中，C1、C2、C3稱為結(jié)構(gòu)常數(shù)。為了簡(jiǎn)化運(yùn)算，通常取α=β=γ=1，C3=則公式(1)變?yōu)槿缡?5)所示。

式中:μx和μy表示兩幅圖像的均值表示兩幅圖像的方差，SSIM越大，表示兩幅圖像越相似。SSIM指標(biāo)的取值區(qū)間為(0，1)。

2．2歸一化傅立葉變換互相關(guān)系數(shù)

要獲得圖像的頻域信息，需要進(jìn)行傅立葉變換。將離散傅立葉變換推廣到二維空間，對(duì)于尺寸為N×N的圖像f(x，y)，其傅立葉變換如式(6)所示。

傅立葉變換的頻譜示意圖如圖1所示。

圖1 傅立葉變換的頻譜示意圖Fig．1Spectrumschematicdiagramofthe Fourier transform

二維圖像的傅立葉變換描述的是圖像在互相垂直的兩個(gè)方向上的變化程度。在圖中的四個(gè)角(0，0)、(0，N－1)、(N－1，0)、(N－1，N－1)附近集是高頻分量。因?yàn)閳D像中大部分能量集中在低頻部分，所以傅立葉變換圖表現(xiàn)為四周亮而中間暗的分布，這不利于對(duì)其進(jìn)行分析。為此，利用傅立葉變換的周期性和共軛對(duì)稱性對(duì)其進(jìn)行變換，將低頻分量集中到頻譜圖的中心，而將高頻分量分散至頻譜圖的四周。

Lena圖像的分辨率為512×512，測(cè)試Lena圖像的傅立葉變換如圖2所示。

圖2 測(cè)試Lena圖像的傅立葉變換Fig．2Fourier transform of the testing Lena image

Barbara圖像的分辨率為512×512，測(cè)試Barbara圖像的傅立葉變換如圖3所示。

圖3測(cè)試Barbara圖像的傅立葉變換Fig．3Fourier transform of the testing Barbara image

圖2 和圖3表示的是兩幅經(jīng)典的測(cè)試圖像Lena和Barbara及其傅立葉變換，可以看到Lena的傅立葉變換能量基本集中在低頻部分，四個(gè)角上的高頻部分幾乎沒(méi)有信號(hào)。而B(niǎo)arbara雖然大部分能量也是集中在中心的低頻區(qū)域，但是離中心較遠(yuǎn)的高頻區(qū)域也有較強(qiáng)的信號(hào)。對(duì)應(yīng)到圖像空間域上，表現(xiàn)為Barbara的邊緣細(xì)節(jié)較多，例如衣服、桌椅上的紋理等，而Lena的突變邊緣較少，圖像比較均勻。因此，傅立葉可以很好描述圖像包含的信息。

對(duì)兩幅圖像分別加入方差為0．01的高斯白噪聲，并對(duì)其進(jìn)行傅立葉變換。

Lena圖像加入高斯噪聲之后的分辨率為512 ×512，測(cè)試Lena圖像加入高斯噪聲之后的傅立葉變換如圖4所示。

圖4 測(cè)試Lena圖像加入高斯噪聲之后的傅立葉變換Fig．4Fourier transform of the testing Lena image after adding Gaussian noise

Barbara圖像加入高斯噪聲之后的分辨率為512×512，測(cè)試Barbara圖像加入高斯噪聲之后的傅立葉變換如圖5所示。

圖5測(cè)試Barbara圖像加入高斯噪聲之后的傅立葉變換Fig．5Fourier transform of the testing Barbara image after adding Gaussian noise

圖4 和圖5表明，高斯噪聲經(jīng)過(guò)傅立葉變換之后，在變換圖的各個(gè)位置均勻分布，這是因?yàn)楦咚乖肼曉谧V域上是一個(gè)定值，帶寬是無(wú)限的。

對(duì)兩幅圖像分別加入方向?yàn)?5°，長(zhǎng)度為20的運(yùn)動(dòng)模糊，并對(duì)其進(jìn)行傅里葉變換。

Lena圖像加入運(yùn)動(dòng)模糊之后的分辨率為512 ×512，測(cè)試Lena圖像加入運(yùn)動(dòng)模糊之后的傅立葉變換如圖6所示。

圖6 測(cè)試Lena圖像加入運(yùn)動(dòng)模糊之后的傅立葉變換Fig．6Fourier transform of the testing Lena image after adding motion blur

Barbara圖像加入運(yùn)動(dòng)模糊之后的分辨率為512×512，測(cè)試Barbara圖像加入運(yùn)動(dòng)模糊之后的傅立葉變換如圖7所示。

圖7測(cè)試Barbara圖像加入運(yùn)動(dòng)模糊之后的傅立葉變換Fig．7Fourier transform of the testing Barbara image after adding motion blur

圖6 和圖7表明運(yùn)動(dòng)模糊會(huì)在圖像的傅立葉變換低頻分量對(duì)應(yīng)角度加入干擾信息。

由以上分析可知，圖像的傅立葉變換可以表征圖像原始信息、噪聲信息及運(yùn)動(dòng)模糊信息，是一種有效描述圖像信號(hào)的工具。

在超分辨率圖像復(fù)原中，假設(shè)原始高分辨率圖像為g(x，y)，尺寸為N×N，其傅立葉變換為G(u，v)。復(fù)原后得到的高分辨率圖像是對(duì)g(x，y)的估計(jì)，記為g^(x，y)，其傅立葉變換為g^(u，v)。復(fù)原效果越好，則g^(x，y)與g(x，y)越接近，那么必然g^(u，v)也越接近G(u，v)。為此本文提出歸一化傅立葉互相關(guān)系數(shù)(NormalizedCross Correlation of DFT，NCCDFT)的概念，使用傅立葉變換的相似程度來(lái)衡量超分辨率復(fù)原效果的好壞如式(7)所示。

公式(7)中:G(u，v)和G^(u，v)分別是g(x，y)和g^(x，y)的傅立葉變換，NCCDFT∈(0，1］。NCCDFT越大，表示傅立葉變換越相似，超分辨率復(fù)原的質(zhì)量也就越好。

2．3結(jié)構(gòu)相似與頻域相關(guān)指數(shù)(SSIM_NCCDFT)

2．2節(jié)中提出的NCCDFT是對(duì)復(fù)原圖像在頻域的質(zhì)量進(jìn)行評(píng)價(jià)。同時(shí)，如果復(fù)原的質(zhì)量足夠好，復(fù)原得到的高分辨率圖像g^(x，y)與原始高分辨率圖像g(x，y)在空間域也應(yīng)該足夠相似。評(píng)價(jià)圖像在空間域相似的方法有很多，其中SSIM在亮度、對(duì)比度和相關(guān)性三個(gè)方面衡量圖像特性，比較全面和直觀。因此，選用SSIM指標(biāo)作為超分辨率復(fù)原空間域相似的衡量指標(biāo)如式(8)所示。

公式(8)中:μ和σ分別表示圖像的均值和方差。

為了將空間域和頻率域指標(biāo)相結(jié)合，本文提出基于SSIM_NCCDFT的超分辨率復(fù)原評(píng)價(jià)方法如式(9)所示。

公式(9)中:α、β分別稱為空間域權(quán)重因子和頻率域權(quán)重因子，用以調(diào)節(jié)空間域和頻率域相似度在評(píng)價(jià)指標(biāo)中所占的比重。一般而言，若無(wú)特殊需求，可取α=β=0．5。

基于SSIM_NCCDFT的超分辨率復(fù)原評(píng)價(jià)方法既在空間域衡量了復(fù)原后的圖像和原始高分辨率圖像在亮度和對(duì)比度等統(tǒng)計(jì)特性上的相似程度，同時(shí)又考慮了復(fù)原圖像對(duì)于信號(hào)在頻率域部分的恢復(fù)程度，全面地評(píng)價(jià)了超分辨率復(fù)原圖像的效果，對(duì)于超分辨率復(fù)原圖像質(zhì)量評(píng)價(jià)體系具有一定的指導(dǎo)意義［17］。

3 基于SSIM_NCCDFT的超分辨率復(fù)原評(píng)價(jià)方法的實(shí)驗(yàn)評(píng)價(jià)

為了驗(yàn)證基于SSIM_NCCDFT的超分辨率復(fù)原評(píng)價(jià)方法的有效性，主要是衡量該指標(biāo)對(duì)于圖像噪聲和模糊的區(qū)分能力。仍然選用Lena圖像和Barbara圖像，對(duì)其加入不同的噪聲參數(shù)和模糊參數(shù)。

Lena圖像加入高斯噪聲之后的分辨率為512 ×512，測(cè)Lena圖像加入高斯噪聲之后的效果如圖8所示。

圖8 測(cè)試Lena圖像加入高斯噪聲之后的效果Fig．8Effect of the testing Lena image after adding Gaussian noise

Lena圖像加入運(yùn)動(dòng)模糊之后的分辨率為512× 512，測(cè)試Lena圖像加入運(yùn)動(dòng)模糊之后的效果如圖9所示。

Barbara圖像加入高斯噪聲之后的分辨率為512× 512，測(cè)試Barbara圖像加入高斯噪聲之后的效果如圖10所示。

Barbara圖像加入運(yùn)動(dòng)模糊之后的分辨率為512×512，測(cè)試Barbara圖像加入運(yùn)動(dòng)模糊之后的效果如圖11所示。

分別計(jì)算不同噪聲圖像與原始圖像的PSNR指標(biāo)，計(jì)算結(jié)果如表1所示。

圖10 測(cè)試Barbara圖像加入高斯噪聲之后的效果Fig．10Effect of the testing Barbara image after adding Gaussian noise

表1 PSNR評(píng)價(jià)噪聲圖像Tab．1PSNR evaluating noise image

分別計(jì)算不同模糊圖像與原始圖像的PSNR指標(biāo)，計(jì)算結(jié)果如表2所示。

圖11 測(cè)試Barbara圖像加入運(yùn)動(dòng)模糊之后的效果Fig．11Effect of the testing Barbara image after adding motion blur

表2 PSNR評(píng)價(jià)模糊圖像Tab．2PSNR evaluating blur image

表1和表2表明，隨著噪聲強(qiáng)度的增加或者模糊程度的增加，PSNR是遞減的，也就是說(shuō)PSNR可以很好地反映圖片的視覺(jué)效果。當(dāng)然在某些特殊情況下，噪聲或者模糊參數(shù)小時(shí)的PSNR反而比噪聲或者模糊參數(shù)大時(shí)更小，這是因?yàn)镻SNR是一個(gè)統(tǒng)計(jì)值，在整體上計(jì)算參考圖片和復(fù)原圖片之間的差別，這種差別無(wú)法在局部得到體現(xiàn)。人眼視覺(jué)效果在局部受到許多因素的干擾:人眼對(duì)亮度的差異比顏色的差異更加敏感;人眼在圖片平滑的地方發(fā)現(xiàn)邊緣的能力更強(qiáng)等。這些原因都可能導(dǎo)致PSNR與主觀評(píng)價(jià)不一致。

分別計(jì)算不同噪聲圖像與原始圖像的SSIM_ NCCDFT指標(biāo)，計(jì)算結(jié)果如表3所示。

表3 SSIM_NCCDFT評(píng)價(jià)噪聲圖像Tab．3SSIM_NCCDFT evaluating noise image

分別計(jì)算不同模糊圖像與原始圖像的SSIM_NCCDFT指標(biāo)，計(jì)算結(jié)果如表4所示。

表4 SSIM_NCCDFT評(píng)價(jià)模糊圖像Tab．4SSIM_NCCDFT evaluating blur image

表3和表4表明隨著噪聲參數(shù)的變大和模糊步長(zhǎng)的加大，圖像的質(zhì)量下降，SSIM_NCCDFT值越來(lái)越小，這種趨勢(shì)與表1和表2列出的PSNR相同。這說(shuō)明SSIM_NCCDFT可以準(zhǔn)確反映圖像退化的程度。可以預(yù)見(jiàn)，在超分辨率復(fù)原中，如果復(fù)原圖像的質(zhì)量較差(例如包含噪聲較多或者模糊嚴(yán)重)，則其SSIM_NCCDFT值也越小。因此，完全可以將SSIM_NCCDFT評(píng)價(jià)指標(biāo)應(yīng)用于超分辨率復(fù)原的算法評(píng)價(jià)中。相對(duì)于PSNR，SSIM_ NCCDFT的優(yōu)勢(shì)是其同時(shí)反映了頻域和空域復(fù)原的精度，評(píng)價(jià)更加全面。

表4表明，在相同的模糊步長(zhǎng)下，Barbara的SSIM_NCCDFT比Lena的SSIM_NCCDFT下降得更快，這是因?yàn)锽arbara包含的細(xì)邊緣較為豐富，在模糊之后造成的降質(zhì)更加嚴(yán)重。

4 結(jié)論

針對(duì)傳統(tǒng)的超分辨率復(fù)原評(píng)價(jià)體系只關(guān)注圖像某一方面統(tǒng)計(jì)特性的缺點(diǎn)，提出了基于SSIM_ NCCDFT的超分辨率復(fù)原評(píng)價(jià)方法。該評(píng)價(jià)方法結(jié)合了空間域的灰度均值、對(duì)比度以及頻率域自相關(guān)，能夠同時(shí)評(píng)價(jià)超分辨率復(fù)原結(jié)果在空間域的復(fù)原效果和對(duì)頻率域信息的復(fù)原精度，實(shí)驗(yàn)表明該評(píng)價(jià)方法能夠很好地評(píng)價(jià)超分辨率復(fù)原的結(jié)果，對(duì)超分辨率評(píng)價(jià)方法具有一定的指導(dǎo)意義。

5 展望

本文建立了超分辨率復(fù)原紅外圖像質(zhì)量評(píng)價(jià)體系，通過(guò)實(shí)驗(yàn)驗(yàn)證了此評(píng)價(jià)體系的有效性。但是此評(píng)價(jià)體系還存在一定的局限性，例如在空間域，參考SSIM系數(shù)，僅僅利用了灰度和對(duì)比度信息，對(duì)于圖像的梯度、紋理等特征并沒(méi)有過(guò)多的考慮。在今后的研究中，還要考慮圖像性質(zhì)的各個(gè)方面，進(jìn)一步建立更高效的評(píng)價(jià)體系，同時(shí)將此評(píng)價(jià)體系推廣到超分辨率圖像復(fù)原的其他領(lǐng)域。有了高效統(tǒng)一的評(píng)價(jià)體系，可以對(duì)各種超分辨率復(fù)原算法的性能進(jìn)行有效的評(píng)價(jià)，也將為后續(xù)超分辨率圖像復(fù)原的研究提供理論依據(jù)。

［1］劉貴喜，陳文錦，楊萬(wàn)海．融合參數(shù)對(duì)對(duì)比度塔形分解圖像融合方法性能的影響研究［J］．電路與系統(tǒng)學(xué)報(bào)，2006，2 (11):40-46．

Liu G X，Chen W J，Yang W H．Study on the influence of fusion parameters on the performance of contrast pyramid decomposition based image fusion scheme［J］．Journal of Circuits and Systems，2006，2(11):40-46．(in Chinese)

［2］周景超，戴汝為，肖柏華．圖像質(zhì)量評(píng)價(jià)研究綜述［J］．計(jì)算機(jī)科學(xué)，2008，35(7):1-8．

Zhou J C，Dai R W，Xiao B H．Overview of image quality assessment research［J］．Computer Science，2008，35(7):1-8．(in Chinese)

［3］許廷發(fā)，李俊濤，張一舟，等．真彩色傳遞雙波段圖像融合［J］．中國(guó)光學(xué)，2014，7(3):402-410．

Xu T F，Li J T，Zhang Y Z，et al．True color transfer for dual band image fusion［J］．Chinese Optics，2014，7(3):402-410．(in Chinese)

［4］劉書(shū)琴，毋立芳，宮玉，等．圖像質(zhì)量評(píng)價(jià)綜述［J］．中國(guó)科技論文在線，2011，6(7):501-523．

Liu S Q，Wu L F，Gong Y，et al．Overview of image quality assessment［J］．Sciencepaper Online，2011，6(7):501-523．(in Chinese)

［5］張穎穎，張帥，張萍，等．融合對(duì)比度和分布性的圖像顯著性區(qū)域檢測(cè)［J］．光學(xué)精密工程，2014，22(4):1012-1019

Zhang Y Y，Zhang S，Zhang P，et al．Detection of salient maps by fusion of contrast and distribution［J］．Optics and Precision Engineering，2014，22(4):1012-1019．(in Chinese)

［6］龔衛(wèi)國(guó)，潘飛宇，李進(jìn)明．用雙層重建法實(shí)現(xiàn)單幅圖像的超分辨率重建［J］．光學(xué)精密工程，2014，22(3):720-729．

Gong W G，Pan F Y，Li J M．Single-image super-resolution reconstruction via double layer reconstructing［J］．Optics and Precision Engineering，2014，22(3):720-729．(in Chinese)

［7］褚江，陳強(qiáng)，楊曦晨．全參考圖像質(zhì)量評(píng)價(jià)綜述［J］．計(jì)算機(jī)應(yīng)用研究，2014，31(1):13-22．

Chu J，Chen Q，Yang X C．Review on full reference image quality assessment algorithms［J］．Application Research of Computers，2014，31(1):13-22．(in Chinese)

［8］王宇慶，王索建．紅外與可見(jiàn)光融合圖像的質(zhì)量評(píng)價(jià)［J］．中國(guó)光學(xué)，2014，7(3):396-401

Wang Y Q，Wang S J．Quality assessment method of IR and visible fusion image［J］．Chinese Optics，2014，7(3):396-401．．(in Chinese)

［9］林海祥，張忻．無(wú)參考圖像質(zhì)量評(píng)價(jià)綜述［J］．電腦知識(shí)與技術(shù)，2009，28(5):8043-8046

Lin H X，Zhang X．A survey of no reference image quality assessment［J］．Computer Knowledge and Technology，2009，28 (5):8043-8046．(in Chinese)

［10］樓斌，沈海斌，趙武鋒，等．基于自然圖像統(tǒng)計(jì)的無(wú)參考圖像質(zhì)量評(píng)價(jià)［J］．浙江大學(xué)學(xué)報(bào)，2010，44(2):248-252

Lou B，Shen H B，Zhao W F，et al．No reference image quality assessment based on statistical model of natural image［J］．Journal of Zhejiang University，2010，44(2):248-252．(in Chinese)

［11］陳愷，陳芳，戴敏，等．基于螢火蟲(chóng)算法的二維熵多閾值快速圖像分割［J］．光學(xué)精密工程，2014，22(2):517-523．

Chen K，Chen F，Dai M，et al．Fast image segmentation with multi-level threshold of two-dimensional entropy based on firefly algorithm［J］．Optics and Precision Engineering，2014，22(2):517-523．(in Chinese)

［12］朱麗娟，趙青蘭．基于結(jié)構(gòu)相似性的全參考圖像質(zhì)量評(píng)價(jià)［J］．信息通信，2013，123(1):1-2．

Zhu L J，Zhao Q L．A full reference image quality assessment algorithm based on SSIM［J］．Information and communications，2013，123(1):1-2．(in Chinese)

［13］朱里，李喬亮，張婷，等．基于結(jié)構(gòu)相似性的圖像質(zhì)量評(píng)價(jià)方法［J］．光電工程，2007，34(7):108-113．

Zhu L，Li Q L，Zhang T，et al．Metric of image quality based on structural similarity［J］．Opto-Electronic Engineering，2007，34(7):108-113．(in Chinese)

［14］彭真明，景亮，何艷敏，等．基于多尺度稀疏字典的多聚焦圖像超分辨率融合［J］．光學(xué)精密工程，2014，22(1): 169-176．

Peng Z L，Jing L，He Y M，et al．Super resolution fusion of multi-focus image based on multi-scale sparse dictionary［J］．Optics and Precision Engineering，2014，22(1):169-176．(in Chinese)

［15］楊桄，童濤，陸松巖，等．基于多特征的紅外與可見(jiàn)光圖像融合［J］．光學(xué)精密工程，2014，22(2):489-496．

Yang G，Tong T，Lu S Y，et al．Fusion of infrared and visible images based on multi-features［J］．Optics and Precision Engineering，2014，22(2):489-496．(in Chinese)

［16］李航，路羊，崔慧娟，等．基于頻域的結(jié)構(gòu)相似度的圖像質(zhì)量評(píng)價(jià)方法［J］．清華大學(xué)學(xué)報(bào)，2009，49(4):559-562．

Li H，Lu Y，Cui H J，et al．Image quality assessment based on frequency domain of structural similarities［J］．J Tsinghua Univ，2009，49(4):559-562．(in Chinese)

［17］陳健．基于POCS的紅外弱小目標(biāo)超分辨率復(fù)原算法研究［D］．長(zhǎng)春:中國(guó)科學(xué)院大學(xué)，2014．

Chen J．Research on infrared dim-small target super-resolution restoration arithmetic based on POCS［D］．Changchun:U-niversity of Chinese Academy of Sciences，2014．(in Chinese)

Evaluation method of super-resolution restoration based on SSIM_NCCDFT

ZHANG zhen-dong1，CHEN Jian1，2，3，*，WANG Wei-guo1，LIU Ting-xia1
(1．Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China) 2．University of Chinese Academy of Sciences，Beijing 100049，China; 3．College of Communication Engineering，Jilin University，Changchun 130012，China)

There were many traditional methods of image quality assessment．But they were not specific evaluation method for super-resolution restoration．So far there is no uniform evaluation criteria for super-resolution restoration，which largely restricted the development of super-resolution restoration algorithm．For the disadvantage of the traditional super-resolution restoration evaluation system only concerning about a particular aspect of the statistical properties of the image，this paper proposed the super-resolution restoration evaluation method based on SSIM_NCCDFT，which combined the gray value and contrast of the spatial domain and the autocorre-lation of frequency domain．Therefore，the proposed evaluation method can evaluate the results of the super-resolution restoration in both spatial domain and frequency domain．Experimental results showed that SSIM_NCCDFT can accurately reflect the degree of image degradation．Relative to PSNR，SSIM_NCCDFT reflected both frequency and spatial accuracy．SSIM_NCCDFT was a more comprehensive evaluation．The evaluation method of super-restoration method based on SSIM_NCCDFT proposed in this paper can evaluate the results of the superresolution restoration in both spatial domain and frequency domain．It got more comprehensive evaluation results．It can evaluate the image noise and blur．Furthermore this evaluation method has some significance for super-resolution restoration evaluation．

SSIM;NCCDFT;PSNR;super-resolution restoration;image evaluation

TP751．1

A

10．3788/YJYXS20153004．0713

陳健(1981－)，男，吉林長(zhǎng)春人，博士，助理研究員，2014年畢業(yè)于中國(guó)科學(xué)院大學(xué)獲得博士學(xué)位，主要高精度快速數(shù)字伺服系統(tǒng)研究。E-mail:chenjian4500@163．com

1007-2780(2015)04-0713-09

2014-09-18;

2014-10-23．

吉林省重大科技攻關(guān)專項(xiàng)(No．20126015)

*通信聯(lián)系人，E-mail:chenjian4500@163．com