基于興趣區(qū)域的無參考圖像質(zhì)量評(píng)價(jià)方法

文繼李，丁立新，萬潤澤，鄒楨蘋

WEN Jili1,DING Lixin1,WAN Runze1,ZOU Zhenping2

1.武漢大學(xué) 計(jì)算機(jī)學(xué)院，武漢 430072

2.武漢大學(xué) 經(jīng)濟(jì)與管理學(xué)院，武漢 430072

1.School of Computer Science,Wuhan University,Wuhan 430072,China

2.School of Economics and Management,Wuhan University,Wuhan 430072,China

1 引言

圖像質(zhì)量評(píng)價(jià)是當(dāng)前圖像處理領(lǐng)域的一個(gè)重要研究方向，分為主觀評(píng)價(jià)和客觀評(píng)價(jià)兩大類。客觀評(píng)價(jià)方法相比較于主觀評(píng)價(jià)方法具有簡單、實(shí)時(shí)、可重復(fù)、易集成等優(yōu)勢(shì)，因此發(fā)展十分迅速，成為圖像質(zhì)量評(píng)價(jià)體系中的熱門研究方向[1]。在圖像采集、壓縮和傳輸期間，由于種種原因可能會(huì)導(dǎo)致加性噪聲、模糊和壓縮等一些常見的失真。客觀圖像質(zhì)量評(píng)價(jià)算法可以分為以下三類[2]：（1）全參考圖像質(zhì)量評(píng)價(jià)（Full Reference Image Quality Assessment，F(xiàn)R-IQA）；（2）部分參考圖像質(zhì)量評(píng)價(jià)（Reduced Reference Image Quality Assessment，RR-IQA）；（3）無參考圖像質(zhì)量評(píng)價(jià)（Non-Reference Image Quality Assessment，NR-IQA）。全參考圖像質(zhì)量評(píng)價(jià)算法通過利用原始圖像的全部信息來計(jì)算原始圖像與失真圖像之間的感知誤差，并綜合這些誤差獲得對(duì)失真圖像質(zhì)量的評(píng)價(jià)[3]。峰值信噪比（Peak Signal to Noise Ratio，PSNR）、結(jié)構(gòu)相似性測(cè)度[4]（Structural Similarity Index Measure，SSIM）、特征相似性測(cè)度[5]（Feature Similarity Index Measure，F(xiàn)SIM）是全參考圖像質(zhì)量評(píng)價(jià)中的典型算法。部分參考圖像質(zhì)量評(píng)價(jià)算法[6]僅利用原始圖像的部分信息來估計(jì)失真圖像的視覺感知質(zhì)量，它的優(yōu)勢(shì)是減小了數(shù)據(jù)量的傳輸，不足之處在于對(duì)提取的特征十分敏感[7]。參考差分熵[6]和基于結(jié)構(gòu)相似度評(píng)價(jià)的部分參考圖像質(zhì)量評(píng)價(jià)方法[8]是最近所提出的算法。最后一類圖像質(zhì)量評(píng)價(jià)算法是無參考圖像質(zhì)量評(píng)價(jià)，它一般基于圖像統(tǒng)計(jì)特性，在無需原始圖像信息的情況下給出失真圖像質(zhì)量的評(píng)價(jià)，大大降低了信息傳輸量。正是基于此原因這類算法蓬勃發(fā)展，受到許多科研人員的關(guān)注。

圖1 本文方法框架圖

近些年來，很多學(xué)者嘗試構(gòu)建了很多模型來統(tǒng)計(jì)自然圖像的特性，并應(yīng)用到無參考圖像質(zhì)量評(píng)價(jià)。自然場(chǎng)景統(tǒng)計(jì)（Natural Scene Statistics，NSS）已經(jīng)被證明能很好地模擬人眼視覺系統(tǒng)[9]。NSS在無參考圖像質(zhì)量評(píng)價(jià)算法中得到成功的應(yīng)用。如Moorthy等[10]提出基于兩步模型的無參考質(zhì)量評(píng)價(jià)算法，將NSS模型應(yīng)用到Wavelet域，從亮度小波系數(shù)中提取特征。Saad等[11]成功將NSS模型推廣到離散余弦變換域，從DCT域提取統(tǒng)計(jì)特征。Liu等[12]將NSS模型運(yùn)用到Curvelet域，從Curvelet域提取特征。但上述質(zhì)量評(píng)價(jià)方法都將圖像映射到不同的坐標(biāo)域，增大了計(jì)算復(fù)雜度。

現(xiàn)有研究發(fā)現(xiàn)，人類視覺系統(tǒng)在處理一個(gè)較為復(fù)雜的場(chǎng)景時(shí)，會(huì)首先將其視覺注意力集中在該場(chǎng)景的少數(shù)幾個(gè)對(duì)象中，這種處理機(jī)制可以令處理能力和容量都有限的大腦對(duì)這些顯著對(duì)象進(jìn)行優(yōu)先處理，力求在最短時(shí)間內(nèi)獲取場(chǎng)景中的主要信息，此過程稱為視覺注意過程。顯然，如果能在圖像處理和圖像分析的過程中，提供上述的感興趣區(qū)域[13]，也能在某種程度上將類似人類視覺系統(tǒng)的處理能力應(yīng)用到計(jì)算機(jī)系統(tǒng)之中，在降低圖像處理計(jì)算量的同時(shí)，有效提高計(jì)算機(jī)對(duì)信息處理的效率，因此ROI具有極其重要的應(yīng)用價(jià)值。

基于上述分析，本文提出了一種基于興趣區(qū)域和自然圖像統(tǒng)計(jì)特性的無參考圖像質(zhì)量評(píng)價(jià)方法。考慮到人眼觀察圖像時(shí)注意力主要集中在圖像的興趣區(qū)域，該方法分別度量失真圖像的興趣區(qū)域和非興趣區(qū)域與原始圖像在非下采樣Contourlet域的偏差，通過賦予不同的權(quán)重得到失真圖像的質(zhì)量評(píng)分。實(shí)驗(yàn)證明該方法可以對(duì)JPEG2000、JPEG、高斯噪聲、高斯模糊和FastFading等多種失真類型進(jìn)行質(zhì)量評(píng)價(jià)，與主觀感知具有良好的一致性，并且不用進(jìn)行訓(xùn)練。本文算法框架如圖1所示。

2 興趣區(qū)域提取

2.1 Itti模型

Itti等[14]在1998年提出了一種興趣區(qū)域算法模型，它將人眼的興趣區(qū)域看成是顯著特征像素點(diǎn)的集合，通過找到這些像素點(diǎn)的集合確定出興趣區(qū)域。該模型首先提取亮度、顏色和方向3個(gè)視覺特征，運(yùn)用高斯濾波生成特征金字塔，利用中央-周邊差求取特征在不同尺度上的差值，然后對(duì)它進(jìn)行歸一化，合成各類特征的顯著性特征圖，并融合生成顯著圖，最后利用WTA網(wǎng)絡(luò)提取出感興趣區(qū)域。圖2是Itti模型圖。

圖2 Itti模型

2.1.1 亮度顯著圖

設(shè)r(t)、g(t)和b(t)分別表示原始圖像中的紅色、綠色和藍(lán)色通道，其中t表示圖像的尺度。將原始圖像的尺度設(shè)置為0，則亮度特征圖的計(jì)算公式為：

高斯金字塔的結(jié)構(gòu)非常形象準(zhǔn)確地模擬了人眼的多分辨率特性。使用高斯金子特處理亮度圖，產(chǎn)生9級(jí)金字塔圖像。I(σ)表示亮度金字塔圖像，其中σ∈{0,1,…,8}，采用中央-周邊差算法跨尺度合并計(jì)算不同分辨率圖像之間的差異來提取圖像特征圖，亮度特征計(jì)算為：

其中，c是非線性尺度空間中表示的高分辨率的尺度因子；s是對(duì)應(yīng)的低分辨率下的尺度；c∈{2,3,4}，s=c+δ，δ∈{3,4}；Θ是中央-周邊差算符，表示將I(s)放大到I(c)的尺寸后，兩圖像對(duì)應(yīng)像素相減，再取絕對(duì)值后，產(chǎn)生亮度特征圖。將上述特征圖進(jìn)行合并得到亮度顯著圖，公式為：

其中，⊕表示多個(gè)尺度下相應(yīng)的特征顯著圖經(jīng)線性差值調(diào)整到同一大小后相加；N(?)為分別將各個(gè)顯著圖的顯著值標(biāo)準(zhǔn)歸一化到(0,1)區(qū)間。

2.1.2 顏色顯著圖

在計(jì)算顏色特征圖之前，計(jì)算亮度圖像I中的最大值，當(dāng)兩亮度圖像中某個(gè)像素小于最大值的1/10時(shí)，設(shè)置彩色圖像的對(duì)應(yīng)點(diǎn)r、g、b值為0。使用下列方式重新創(chuàng)建4個(gè)顏色分量：

其中，R、G、B表示標(biāo)準(zhǔn)化后的顏色分量矩陣。使用高斯金字塔分別處理RR、GG、BB、Y，形成4個(gè)圖像金字塔。RR(σ)、GG(σ)、BB(σ)、Y(σ)分別表示各個(gè)金字塔中的圖像。同樣σ∈{0,1,…,8}。顏色特征計(jì)算為：

將上述特征圖進(jìn)行合并得到顏色顯著圖，公式為：

2.1.3 方向顯著圖

Gabor濾波器與生物視覺皮層方向選擇神經(jīng)元的感受野脈沖響應(yīng)相類似。應(yīng)用Gabor濾波器分別提取{0°,45°,90°,135°}4 個(gè)方向的方向特征。用O(σ,θ)表示Gabor金字塔圖像，同樣σ∈{0,1,…,8}。方向特征計(jì)算為：

其中，O(c,θ)和O(s,θ)分別表示方向?yàn)棣冉鹱炙械牡赾級(jí)和第s級(jí)金字塔圖像。通過Θ算子產(chǎn)生方向特征圖。將上述特征圖進(jìn)行合并得到方向顯著圖，公式為：

2.1.4 綜合顯著圖

將上述亮度顯著圖、顏色顯著圖、方向顯著圖線性相加，得到綜合顯著圖：

2.2 改進(jìn)的Itti模型

由于傳統(tǒng)的Itti模型只考慮了亮度、顏色、方向3個(gè)視覺特征，難以提取完整的興趣區(qū)域，本文對(duì)傳統(tǒng)Itti模型進(jìn)行改進(jìn)，加入紋理特征和邊緣特征，改進(jìn)后的Itti模型如圖3所示。

圖3 改進(jìn)的Itti模型

2.2.1 紋理顯著圖

當(dāng)前的紋理特征提取方法可以分為結(jié)構(gòu)方法、統(tǒng)計(jì)方法、模型方法和變換方法。其中Gabor小波是一種重要的基于變換的紋理特征提取方法。該方法借鑒心理生理學(xué)的研究成果，模擬了一些方向可選神經(jīng)元（如簡單信元、復(fù)合信元）的計(jì)算機(jī)制，通過把Gabor函數(shù)作為小波變換的基函數(shù)，來實(shí)現(xiàn)方向和尺度不變的特征提取。長期以來，Gabor小波在基于內(nèi)容圖像檢索、模式識(shí)別和計(jì)算機(jī)視覺等領(lǐng)域得到了廣泛的應(yīng)用[15]。本文利用Gabor小波提取濾波后圖像的紋理特征。紋理特征圖可以用式（14）計(jì)算。

將上述特征圖進(jìn)行合并得到紋理顯著圖，公式為：

2.2.2 邊緣顯著圖

圖像的邊緣是圖像特征識(shí)別中的重要組成部分，目前已有許多邊緣提取算法，諸如Roberts邊緣提取算法、Sobel邊緣提取算法、Prewitt邊緣提取算法等。Candy邊緣檢測(cè)算法不僅可以有效地抑制噪聲，而且使用兩個(gè)閾值檢測(cè)強(qiáng)的和弱的邊緣，如果它們被連接到邊緣，那么輸出只包含弱邊緣。因此，此方法更適合用于檢測(cè)真實(shí)的弱邊緣。本文采用Candy邊緣檢測(cè)算法來提取圖像的邊緣特征。邊緣特征圖可以用式（16）計(jì)算：

將上述特征圖進(jìn)行合并得到邊緣顯著圖，如式（17）所示。

2.2.3 改進(jìn)后Itti模型的綜合顯著圖

最終得到改進(jìn)的Itti模型，圖像興趣區(qū)域通過5個(gè)顯著圖的線性相加得到，公式如下：

本校為化工原理認(rèn)識(shí)實(shí)習(xí)提供了充足的資金支持，由化工原理教研室聯(lián)系實(shí)習(xí)場(chǎng)所，近幾年來，先后聯(lián)系了青島市內(nèi)的化工廠(現(xiàn)已遷至董家口)、青島雙桃精細(xì)化工(集團(tuán))有限公司(現(xiàn)已遷至平度市)、青島石油化工廠、青島污水處理廠(勝利橋)、青島市中等職業(yè)技術(shù)學(xué)校和校內(nèi)仿真實(shí)習(xí)機(jī)房等場(chǎng)所.認(rèn)識(shí)實(shí)習(xí)的學(xué)時(shí)非常短，只有一周時(shí)間，如何在短暫的時(shí)間內(nèi)完成所有的實(shí)習(xí)任務(wù)，并確保認(rèn)識(shí)實(shí)習(xí)的質(zhì)量，這是認(rèn)識(shí)實(shí)習(xí)面臨的主要問題；同時(shí)，在工廠實(shí)習(xí)首先必須滿足企業(yè)安全生產(chǎn)的要求，并且保證學(xué)生的安全.

其中，I表示亮度；C表示顏色；O表示方向；T和E分別是紋理和邊緣。

如圖4所示，（a）為原始圖像，（b）是Itti模型提取出的顯著圖，（c）是改進(jìn)后的Itti模型提取出的顯著圖。對(duì)于（b）和（c），白色區(qū)域代表興趣區(qū)域，黑色區(qū)域代表非興趣區(qū)域。白色部分的亮度越高，人眼的興趣程度就越高。可以看到在加入紋理特征和邊緣特征后的Itti模型提取出的顯著圖更能反映人眼的興趣區(qū)域。

圖4 顯著圖對(duì)比

3 基于興趣區(qū)域的無參考圖像質(zhì)量評(píng)價(jià)方法

3.1 非下采樣Contourlet變換

非下采樣Contourlet變換（Nonsubsampled Contourlet Transform，NSCT）是Cunha等[16]提出的，NSCT去掉了Contourlet兩級(jí)變換中的下采樣過程，構(gòu)造了相應(yīng)的非下采樣濾波器，使得NSCT不僅具有多尺度、良好的空域和頻域局部特性以及多方向特性，還具有平移不變性，各子帶圖像之間具有相同尺寸大小等特性，其結(jié)構(gòu)如圖5所示。本文采用NSCT對(duì)興趣區(qū)域和非興趣區(qū)域進(jìn)行圖像統(tǒng)計(jì)特性提取。

圖5 非下采樣Contourlet變換濾波器組結(jié)構(gòu)圖

NSCT對(duì)應(yīng)的濾波帶具有更好的頻域選擇性和規(guī)則性，能夠得到更好的子帶分解，理想的頻帶分解圖如圖6所示[17]。假設(shè)用I(x,y)表示圖像，其中0＜x≤M,0＜y≤N。I通過非下采樣塔式濾波器組多尺度分解成L個(gè)高頻子帶和一個(gè)低頻子帶，每個(gè)高頻子帶又被非下采樣方向?yàn)V波器組（Nonsubsampled Directional Filter Banks，NSDFB）分解成若干個(gè)方向的帶通子帶，從而得到2kl個(gè)帶通子帶圖像，其中1＜l≤L。分解方程由下式給出：

其中，C1是低通子帶，是由NSDFB分解的帶通方向子帶。對(duì)于每個(gè)子帶Cj，一個(gè)給定像素點(diǎn)(x,y)的頻率系數(shù)由Cj(x,y)來表示，其中j=2,…,

圖6 非下采樣Contourlet變換頻域分解圖

由于非下采樣輪廓變換的多尺度分解和方向分解這兩個(gè)過程是相互獨(dú)立的，可以將每個(gè)頻帶視為獨(dú)立的，并從中提取特征。

3.2 圖像統(tǒng)計(jì)特性提取

早在20世紀(jì)80年代，F(xiàn)ield就指出自然場(chǎng)景的統(tǒng)計(jì)信息與人類大腦皮層細(xì)胞的響應(yīng)呈對(duì)數(shù)關(guān)系[18]。本文通過NSCT將圖像分解為3層8個(gè)方向共24個(gè)子帶。拉普拉斯金字塔濾波器和方向?yàn)V波器組分別選用“maxflat”塔式分解和“dmaxflat7”方向?yàn)V波器組。對(duì)于每個(gè)子帶通過式（20）計(jì)算分解子帶系數(shù)的對(duì)數(shù)作為特征。

其中，E為子帶的特征值；N為每個(gè)子帶的像素個(gè)數(shù)；C為子帶的系數(shù)。

圖7 dancers和其5種失真類型子帶能量分布圖

從圖7中可以看出，不同的失真類型會(huì)在不同程度上破壞自然圖像的能量統(tǒng)計(jì)特性，可以通過圖像子帶能量的變化來反映圖像的質(zhì)量。

3.3 計(jì)算距離

Mittal等通過實(shí)驗(yàn)分析認(rèn)為一幅圖像的視覺質(zhì)量可通過計(jì)算圖像MVG模型和自然圖像MVG模型之間的距離度量，通常自然圖像的MVG模型是通過統(tǒng)計(jì)圖像庫中無失真的自然圖像得到[20]。通過提取原始圖像的統(tǒng)計(jì)特性，分別計(jì)算其與失真圖像興趣區(qū)域統(tǒng)計(jì)特性和非興趣區(qū)域統(tǒng)計(jì)特性的距離獲得失真圖像興趣區(qū)域和非興趣區(qū)域的質(zhì)量分?jǐn)?shù)。圖像的統(tǒng)計(jì)特性采用多元高斯分布（Multivariate Gaussian，MVG）模型[21]。MVG模型公式如式（21）。

其中，(x1,x2,…,xk)表示計(jì)算得到的統(tǒng)計(jì)特性；v表示MVG模型的均值；Σ表示MVG模型的協(xié)方差。距離計(jì)算公式如式（22）。

其中，vt和vn分別是失真圖像和自然圖像MVG模型的均值向量；Σt和Σn分別是失真圖像和自然圖像MVG模型的協(xié)方差矩陣。Quality值越大意味著失真程度越大。通過式（22）分別計(jì)算出興趣區(qū)域Q1和非興趣區(qū)域Q2的質(zhì)量分?jǐn)?shù)，通過式（23）得到失真圖像的總分。

其中，λ表示興趣區(qū)域權(quán)重值，這里取λ=0.7。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文方法的有效性，在LIVE數(shù)據(jù)集上進(jìn)行驗(yàn)證，該數(shù)據(jù)集通過29幅原始圖像經(jīng)過5種失真處理生成了共779幅失真圖像，同時(shí)該數(shù)據(jù)集也提供了DMOS值作為客觀圖像質(zhì)量評(píng)價(jià)的標(biāo)準(zhǔn)。本文使用了兩種類型的統(tǒng)計(jì)分析方法來驗(yàn)證所提方法是符合人類視覺系統(tǒng)（Human Visual System，HVS）特性的評(píng)價(jià)指標(biāo)的。第一種類型的分析方法是評(píng)估客觀方法預(yù)測(cè)單調(diào)性的斯皮爾曼等級(jí)相關(guān)系數(shù)（SROCC）；另一種類型的分析方法是評(píng)估客觀方法預(yù)測(cè)精度的皮爾遜線性相關(guān)系數(shù)（PLCC）和均方根誤差（RMSE）。PLCC和SROCC的值越接近于1表示與人類的視覺感知越一致，RMSE的值越小則表示誤差越小，與主觀感知越一致。

根據(jù)視頻質(zhì)量專家組（Video Quality Experts Group，VQEG）的建議[22]，客觀算法對(duì)圖像質(zhì)量主觀評(píng)價(jià)的預(yù)測(cè)值具有一定的非線性，因此，利用客觀算法對(duì)圖像質(zhì)量評(píng)價(jià)時(shí)首先應(yīng)當(dāng)去除這種非線性因素，然后再進(jìn)行相關(guān)性驗(yàn)證。本文選用的邏輯回歸方法是：

其中，β1、β2、β3、β4、β5是回歸參數(shù)；Q和Qp分別是回歸前和回歸后的預(yù)測(cè)圖像的質(zhì)量評(píng)分。

本次實(shí)驗(yàn)硬件環(huán)境為Intel酷睿i7處理器和8 GB內(nèi)存，軟件環(huán)境使用Windows7操作系統(tǒng)和MATLAB2014b開發(fā)環(huán)境。表1、表2和表3給出了一種比較成熟的全參考算法PSNR和幾種比較先進(jìn)的無參考算法BRISQUE[23]、NIQE[24]、SSEQ[25]，與本文提出的算法ROI-NR進(jìn)行比較的結(jié)果。從實(shí)驗(yàn)結(jié)果可以看出，本文算法在單種失真類型上的性能要比PSNR和NIQE算法好，與BRISQUE和SSEQ各有優(yōu)勢(shì)。在整體上也要優(yōu)于PSNR和NIQE算法，并且接近BRISQUE和SSEQ的性能。但是ROI-NR不需要訓(xùn)練，這一點(diǎn)要優(yōu)于其他兩種性能相近的無參考圖像質(zhì)量評(píng)價(jià)算法。

表1 Pearson線性相關(guān)系數(shù)（PLCC）

表2 Spearman等級(jí)相關(guān)系數(shù)（SROCC）

圖8 客觀分?jǐn)?shù)和主觀DMOS值擬合曲線

表3 均方根誤差（RMSE）

傳統(tǒng)的PSNR算法基于像素域?qū)⒖紙D像和真實(shí)圖像之間的誤差進(jìn)行簡單的數(shù)字統(tǒng)計(jì)。雖然計(jì)算簡單，物理意義比較明確，但沒有考慮到像素間的相關(guān)性，不能充分地考慮人眼視覺特性。而ROI-NR算法則充分考慮了圖像的自然統(tǒng)計(jì)特性，在非下采樣Contourlet域提取圖像的特征，更加能夠反映人眼的視覺特性。NIQE算法通過測(cè)量失真圖像統(tǒng)計(jì)特征與自然圖像統(tǒng)計(jì)特征之間的距離來預(yù)測(cè)圖像質(zhì)量，在這一點(diǎn)上和ROI-NR算法一樣都不需要訓(xùn)練。但是，NIQE算法在篩選興趣區(qū)域時(shí)只考慮了對(duì)比度這一個(gè)因素，相較于ROI-NR算法綜合考慮了亮度、顏色、方向、紋理和邊緣5個(gè)因素，ROI-NR算法提取出的興趣區(qū)域更能反映人眼特性。綜上所述，PSNR算法和NIQE算法的評(píng)價(jià)效果較ROI-NR算法偏低。

圖8給出了本文算法對(duì)測(cè)試圖像預(yù)測(cè)的質(zhì)量得分與主觀DMOS值對(duì)比的散點(diǎn)圖，結(jié)果顯示本文算法與主觀感知具有較好的一致性。

5 結(jié)束語

本文算法首先對(duì)Itti模型進(jìn)行改進(jìn)，然后利用改進(jìn)后的Itti模型提取興趣區(qū)域和非興趣區(qū)域，通過賦予興趣區(qū)域更大的權(quán)重來計(jì)算失真圖像與自然圖像在非下采樣Contourlet域的統(tǒng)計(jì)特性的差異從而獲得圖像的質(zhì)量分?jǐn)?shù)。正如實(shí)驗(yàn)結(jié)果得出的一樣，本文算法適用于多種失真類型，與人類主觀感知有較好的一致性并且不用訓(xùn)練。但是本文算法對(duì)快速衰落失真的評(píng)價(jià)還有待提高，尋找更有效的興趣區(qū)域提取算法，提高算法性能是下一步的研究方向。