客觀圖像質(zhì)量評(píng)價(jià)?

孫翠霞 劉有耀

（西安郵電大學(xué)計(jì)算機(jī)學(xué)院 西安 710061）

1 引言

清晰且含有豐富信息的圖像是人類更希望得到的，但是圖像在采集、傳輸、壓縮、存儲(chǔ)等過程中，會(huì)因各種各樣的問題導(dǎo)致圖像或多或少受到損壞，即出現(xiàn)失真現(xiàn)象。圖像失真必然導(dǎo)致圖像質(zhì)量下降，因此，如何評(píng)價(jià)圖像質(zhì)量即圖像質(zhì)量評(píng)價(jià)是數(shù)字圖像處理領(lǐng)域的一個(gè)極具挑戰(zhàn)性的研究熱點(diǎn)［1］。

圖像質(zhì)量評(píng)價(jià)可以分為兩大類:主觀圖像質(zhì)量評(píng)價(jià)方法和客觀圖像質(zhì)量評(píng)價(jià)方法。無論圖像是清晰的或者失真的，圖像最終都是由人來接收，所以主觀圖像質(zhì)量評(píng)價(jià)最為可靠，但是主觀圖像質(zhì)量評(píng)價(jià)受測(cè)試環(huán)境以及自身因素的影響，導(dǎo)致結(jié)果存在不穩(wěn)定性，而且需要大量的人力、財(cái)力，代價(jià)較為高昂，且不易于系統(tǒng)嵌入?？陀^評(píng)價(jià)算法只需設(shè)計(jì)算法模型，通過模型自動(dòng)評(píng)價(jià)圖像質(zhì)量，花費(fèi)較少且易于嵌入使用，因此是目前的研究重點(diǎn)。一般在沒有注明的情況下，我們提到的圖像質(zhì)量評(píng)價(jià)方法就是指客觀圖像質(zhì)量評(píng)價(jià)方法，其目標(biāo)在于取得與主觀圖像質(zhì)量評(píng)價(jià)相一致的評(píng)價(jià)效果。根據(jù)對(duì)源圖像的依賴程度客觀圖像質(zhì)量評(píng)價(jià)可分為三大類:全參考（Full-Reference，F(xiàn)R）圖像質(zhì)量評(píng)價(jià)、半?yún)⒖迹≧educed-Reference，RR）圖像質(zhì)量評(píng)價(jià)、無參考（No-Reference，NR）圖像質(zhì)量評(píng)價(jià)。本文主要對(duì)無參考圖像質(zhì)量方法進(jìn)行討論。

2 圖像質(zhì)量評(píng)價(jià)

2.1 全參考圖像質(zhì)量評(píng)價(jià)

在過去的幾十年時(shí)間里，全參考圖像質(zhì)量評(píng)價(jià)算法已趨于成熟，研究者提出了許多研究成果，本文對(duì)典型的峰值信噪比（PSNR）算法和結(jié)構(gòu)相似度（SSIM）算法進(jìn)行討論。

PSNR［2］算法:在全參考圖像質(zhì)量評(píng)價(jià)算法中，PSNR算法是應(yīng)用最廣泛的評(píng)價(jià)算法。它直接對(duì)源圖像和失真圖像對(duì)應(yīng)位置的像素灰度差異值進(jìn)行統(tǒng)計(jì)，得到質(zhì)量分?jǐn)?shù)，計(jì)算簡(jiǎn)單且物理意義較為明確。

SSIM［3］算法:在全參考圖像質(zhì)量評(píng)價(jià)算法中，SSIM算法具有里程碑式的意義。Wang等人提出了通過評(píng)價(jià)結(jié)構(gòu)相似度（SSIM）來評(píng)價(jià)圖像質(zhì)量的算法，通過對(duì)亮度、對(duì)比度和結(jié)構(gòu)三個(gè)方面來綜合評(píng)價(jià)圖像質(zhì)量。他們認(rèn)為傳統(tǒng)的圖像質(zhì)量評(píng)價(jià)只是簡(jiǎn)單的從差異值來得到圖像質(zhì)量分?jǐn)?shù)，忽略了人眼視覺系統(tǒng)特性，因此他們?cè)谠u(píng)價(jià)圖像質(zhì)量時(shí)，加入了結(jié)構(gòu)相似度，因?yàn)槿搜墼谠u(píng)價(jià)圖像質(zhì)量時(shí)，結(jié)構(gòu)信息對(duì)圖像質(zhì)量的影響很大。

2.2 無參考圖像質(zhì)量評(píng)價(jià)

全參考圖像質(zhì)量評(píng)價(jià)算法需要以原圖像為參考圖像，但是在實(shí)際應(yīng)用中，源圖像不易獲取或者并不存在，所以全參考圖像質(zhì)量評(píng)價(jià)算法的應(yīng)用受到了限制。無參考圖像質(zhì)量評(píng)價(jià)算法不需要源圖像作為參考圖像，僅僅根據(jù)圖像自身即可判斷圖像質(zhì)量，符合實(shí)際應(yīng)用需求，因而無參考圖像質(zhì)量評(píng)價(jià)算法是圖像質(zhì)量評(píng)價(jià)領(lǐng)域的研究方向。經(jīng)過十幾年的研究，無參考圖像質(zhì)量評(píng)價(jià)取得了部分研究成果，本文對(duì)5種典型的無參考圖像質(zhì)量評(píng)價(jià)算法進(jìn)行歸納總結(jié)。

BIQI［4］算法:Moorthy和 Bovik 提出了一種基于支持向量回歸（Support Vector Regression，SVR）的通用型無參考圖像質(zhì)量評(píng)價(jià)方法BIQI（Blind Image Quality Index，BIQI）。該算法分兩步來進(jìn)行，第一步:判斷圖像包含的失真類型和相應(yīng)的概率；第二步:利用不同失真類型的質(zhì)量評(píng)價(jià)方法計(jì)算相應(yīng)的質(zhì)量分?jǐn)?shù)，最后結(jié)合不同失真類型的概率和分?jǐn)?shù)進(jìn)行加權(quán)處理得到整體的質(zhì)量分?jǐn)?shù)。BIQI算法的質(zhì)量分?jǐn)?shù)可表示為

其中，xi表示第i種失真的概率，yi第i種失真的質(zhì)量分?jǐn)?shù)。

NIQE［5］算法:Mittal等提出了自然圖像質(zhì)量評(píng)價(jià)（NaturalQuality Evaluator，NIQE）算法，該算法無需利用主觀圖像質(zhì)量評(píng)價(jià)分?jǐn)?shù)對(duì)失真圖像進(jìn)行訓(xùn)練，而是假設(shè)自然界中的無失圖像滿足某種統(tǒng)計(jì)特性，失真圖像與無失真圖像之間存在差異，并且失真越嚴(yán)重差異越大。該算法首先從自然圖像中提取自然場(chǎng)景統(tǒng)計(jì)特性，以廣義高斯模型擬合得到模型參數(shù)為特征，采用多變量高斯模型（MultiVariate Gaussian，MVG）描述特征。同理，對(duì)失真圖像，采用相同的方法，并計(jì)算兩者之間的距離來確定圖像質(zhì)量。

SSEQ［6］算法:Liu等提出了基于空間信息熵和頻譜信息熵的無參考圖像質(zhì)量評(píng)價(jià)算法SSEQ。該方法利用圖像塊間的統(tǒng)計(jì)學(xué)規(guī)律，通過計(jì)算圖像塊的信息熵，獲得圖像中的結(jié)構(gòu)以及圖像像素點(diǎn)相互關(guān)系的大小，在大量統(tǒng)計(jì)和訓(xùn)練的情況下，對(duì)圖像進(jìn)行質(zhì)量預(yù)測(cè)。

BRISQUE［7］算法:Mittal等提出了一種基于自然場(chǎng)景統(tǒng)計(jì)的BRISQUE算法。該方法通過對(duì)局部歸一化后的統(tǒng)計(jì)特性來描述圖像質(zhì)量，且直接對(duì)圖像空間域進(jìn)行運(yùn)算，復(fù)雜度低，滿足實(shí)際應(yīng)用需求。

DIIVINE［8］算法:Moorthy等提出了DIIVINE算法。他們認(rèn)為自然場(chǎng)景圖像具有某種自然統(tǒng)計(jì)特性，而失真會(huì)導(dǎo)致圖像這一特性的改變。DIIVINE算法利用這種特性來評(píng)價(jià)圖像質(zhì)量，可以評(píng)價(jià)多種失真類型的圖像。

3 圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫

無論是哪一種圖像質(zhì)量評(píng)價(jià)算法都需要將圖像放到標(biāo)準(zhǔn)的圖像質(zhì)量數(shù)據(jù)庫中進(jìn)行檢測(cè)。目前，最常用的 4 個(gè)數(shù)據(jù)庫包括:LIVE2［9～11］、TID2008［12］、CSIQ［13］、IVC［14］。關(guān)于四個(gè)數(shù)據(jù)庫的源圖像數(shù)量、圖像類型（彩色或者黑白）、模糊失真圖像數(shù)量、主觀評(píng)價(jià)者人數(shù)等具體信息對(duì)比如表1所示。

表1 IQA的基準(zhǔn)測(cè)試數(shù)據(jù)庫

1）LIVE2:LIVE2圖像庫由 University of Texas的Laboratory for Image and Video Engineering（LIVE）實(shí)驗(yàn)室開發(fā)的第二版圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫，是最大的也是應(yīng)用最為廣泛的一個(gè)共享數(shù)據(jù)庫。庫中含有29幅無失真原圖像和779幅失真圖像，共有5種不同失真類型。LIVE提供所有失真圖像的 DMOS值，DMOS值取值范圍為［0，100］，值越接近100表示圖像質(zhì)量越差，失真越嚴(yán)重。

2）CSIQ:CSIQ（Categorical Subjective Image Quality）圖像庫是由Oklahoma State University的Computational Perception and Image Lab開發(fā)的共享數(shù)據(jù)庫。庫中含有30幅無失真原圖像和866幅失真圖像，共有6種不同失真類型。CSIQ提供所有失真圖像的 DMOS值，DMOS值取值范圍為［0，1］，值越接近1表示圖像質(zhì)量越差，失真越嚴(yán)重。

3）TID2008:TID2008（Tampere Image Database）圖像庫是由Tampere University of Technology開發(fā)的共享數(shù)據(jù)庫。庫中含有25幅無失真原圖像和1700幅失真圖像，共有17種不同失真類型。TID2008提供所有失真圖像的MOS值及其標(biāo)準(zhǔn)差，MOS值取值范圍為［0，9］，值越接近0表示圖像質(zhì)量越差，失真越嚴(yán)重。

4）IVC:IVC圖像庫是由Institut de Recherchen Communications et en Cybern'etique de Nantes（IRCCyN）開發(fā)的共享型數(shù)據(jù)庫。庫中含有10幅無失真原圖像和185幅失真圖像，共有5種不同失真類型。IVC提供所有失真圖像的MOS值，取值范圍為［1，5］，值越接近1表示圖像質(zhì)量越差，失真越嚴(yán)重。

4 圖像質(zhì)量評(píng)價(jià)算法的性能衡量指標(biāo)

為了有效衡量一個(gè)圖像質(zhì)量評(píng)價(jià)算法的性能，需要對(duì)算法的性能進(jìn)行評(píng)估。

圖像質(zhì)量評(píng)價(jià)算法的性能，常用3個(gè)標(biāo)準(zhǔn)來評(píng)估一個(gè)算法的性能:Spearman等級(jí)相關(guān)系數(shù)（Spearman Rank Order Correlation Coefficient，SROCC）、Pearson線性相關(guān)系數(shù)（Pearson Linear correlation coefficient，PLCC）、均方根誤差（RootMean Square Error，RMSE）。Spearman等級(jí)相關(guān)系數(shù)用于衡量評(píng)價(jià)結(jié)果的單調(diào)性，取值范圍在［0，1］之間，SROCC越接近于1，表示圖像質(zhì)量評(píng)價(jià)算法性能越好；Pearson線性相關(guān)系數(shù)用于衡量評(píng)價(jià)結(jié)果的準(zhǔn)確性，取值范圍在［0，1］之間，PLCC越接近于1，表示圖像質(zhì)量評(píng)價(jià)算法性能越好；均方根誤差用于衡量算法性能的準(zhǔn)確性，當(dāng)RMSE等于0時(shí)，表示客觀圖像質(zhì)量評(píng)價(jià)算法與主觀圖像質(zhì)量評(píng)價(jià)算法完全一致，即此客觀圖像質(zhì)量評(píng)價(jià)算法性能最好。

1）Spearman等級(jí)相關(guān)系數(shù)

其中，Di是第i幅圖像在主觀和客觀中的排名差值。SROCC衡量算法預(yù)測(cè)的單調(diào)性，其值越高，表示算法與主觀評(píng)價(jià)越一致，算法的單調(diào)性越好。

2）Pearson線性相關(guān)系數(shù)

其中，xi表示主觀分?jǐn)?shù)，yˉ表示經(jīng)過映射之后的預(yù)測(cè)分?jǐn)?shù)。衡量算法預(yù)測(cè)的準(zhǔn)確性，其值越高，表示算法預(yù)測(cè)的圖像質(zhì)量越準(zhǔn)確。

3）均方根誤差:

其中，xi表示主觀的DMOS或MOS的值，yi表示某種算法的計(jì)算值。均方根誤差是客觀評(píng)價(jià)算法值與主觀評(píng)價(jià)算法值之間的絕對(duì)誤差，衡量算法預(yù)測(cè)的準(zhǔn)確性，其值越小，表示算法預(yù)測(cè)的圖像質(zhì)量越準(zhǔn)確，計(jì)算這一指標(biāo)前需要先進(jìn)行歸一化［15～16］。

5 算法性能分析

本文用上述LIVE2、TID2008、CSIQ、IVC四個(gè)數(shù)據(jù)庫對(duì) PSNR，SSIM，BIQI，NIQE，SSEQ，BRISQUE，DIIVINE七種算法的性能通過SROCC、PLCC、RMSE三個(gè)指標(biāo)進(jìn)行評(píng)價(jià)，評(píng)價(jià)結(jié)果如表2、表3和表4所示。

表2 SROCC計(jì)算結(jié)果

表3 PLCC計(jì)算結(jié)果

表4 RMSE計(jì)算結(jié)果

從上述表格上可以得出以下結(jié)論:總體來說，在全參考圖像質(zhì)量評(píng)價(jià)方法中，相比于PSNR算法的性能，SSIM算法性能更為優(yōu)秀。在無參考圖像質(zhì)量評(píng)價(jià)算法中，BRISQUE算法和SSEQ算法具有旗鼓相當(dāng)?shù)男阅埽掖藘煞N算法的性能比BIQI算法、NIQE算法、DIIVINE算法三種算法的性能更好，這五種無參考圖像質(zhì)量評(píng)價(jià)算法中，BIQI算法的性能最差。

6 結(jié)語

本文對(duì)PSNR算法、SSIM算法、BIQI算法、NIQE算法、SSEQ算法、BRISQUE算法、DIIVINE算法共七種算法進(jìn)行分析驗(yàn)證，并在LIVE2數(shù)據(jù)庫、TID2008數(shù)據(jù)庫、CSIQ數(shù)據(jù)庫、IVC數(shù)據(jù)庫四個(gè)數(shù)據(jù)庫上進(jìn)行算法驗(yàn)證，并用SROCC、PLCC、RMSE三種評(píng)價(jià)指標(biāo)對(duì)算法進(jìn)行衡量分析。

全參考圖像質(zhì)量評(píng)價(jià)算法研究時(shí)間最長(zhǎng)，許多優(yōu)秀的算法相繼被提出，但因?yàn)樾枰栽瓐D像為參考圖像，使用范圍受到了限制，無參考圖像質(zhì)量評(píng)價(jià)算法不需要源圖像為參考圖像，符合實(shí)際應(yīng)用需求，是一個(gè)具有廣闊應(yīng)用前景的研究方向。無參考圖像質(zhì)量評(píng)價(jià)算法相比全參考圖像質(zhì)量評(píng)價(jià)算法和半?yún)⒖紙D像質(zhì)量評(píng)價(jià)算法而言，還處于發(fā)展階段，但潛力巨大，是圖像質(zhì)量評(píng)價(jià)的最終研究方向。圖像質(zhì)量評(píng)價(jià)的發(fā)展有以下幾個(gè)方面:

1）圖像的失真類型有很多，包括JPEG，JPEG2000，高斯模糊等，所以通用型的圖像質(zhì)量評(píng)價(jià)方法的研究更符合實(shí)際需求。

2）在實(shí)際應(yīng)用中，效率非常重要，所以，如何提高計(jì)算速度，減少內(nèi)存占用是評(píng)價(jià)一個(gè)圖像質(zhì)量評(píng)價(jià)算法優(yōu)劣的重要標(biāo)準(zhǔn)之一。

3）隨著科學(xué)技術(shù)的發(fā)展，對(duì)立體圖像的質(zhì)量評(píng)價(jià)是以后重要的研究領(lǐng)域。