基于全變分模型的視覺(jué)感知圖像質(zhì)量評(píng)價(jià)方法

吳亞?wèn)|，張紅英

?

基于全變分模型的視覺(jué)感知圖像質(zhì)量評(píng)價(jià)方法

吳亞?wèn)|1,2，張紅英3,4

(1. 西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 四川綿陽(yáng) 621010；2. 西南科技大學(xué)核廢物與環(huán)境安全國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室 四川綿陽(yáng) 621010； 3. 西南科技大學(xué)信息工程學(xué)院 四川綿陽(yáng) 621010；4. 西南科技大學(xué)特殊環(huán)境機(jī)器人技術(shù)四川省重點(diǎn)實(shí)驗(yàn)室 四川綿陽(yáng) 621010)

基于人眼視覺(jué)系統(tǒng)對(duì)圖像邊緣結(jié)構(gòu)信息和局部亮度刺激敏感的假設(shè)，該文提出了一種基于全變分模型的視覺(jué)感知圖像質(zhì)量評(píng)價(jià)PIQA方法。該方法由邊緣結(jié)構(gòu)信息評(píng)價(jià)和局部亮度信息評(píng)價(jià)兩部分組成。本文首先采用全變分模型描述失真圖像與原始參考圖像之間的圖像結(jié)構(gòu)信息變化；為測(cè)量亮度失真，又采用失真圖像與參考圖像之間的差值圖像中封閉區(qū)域的能量函數(shù)來(lái)衡量人眼敏感的圖像亮度信息。最后，采用3種標(biāo)準(zhǔn)圖像數(shù)據(jù)庫(kù)驗(yàn)證該評(píng)價(jià)方法的性能。實(shí)驗(yàn)結(jié)果表明，所提出的圖像質(zhì)量評(píng)價(jià)方法優(yōu)于現(xiàn)有的圖像評(píng)價(jià)標(biāo)準(zhǔn)。

能量函數(shù); 人眼視覺(jué)系統(tǒng); 感知圖像質(zhì)量評(píng)價(jià); 全變分

圖像質(zhì)量評(píng)價(jià)方法在視覺(jué)處理算法中扮演著重要角色，具有重要的應(yīng)用價(jià)值。人是圖像信號(hào)的最終接收者，最直觀、最符合HVS的圖像質(zhì)量評(píng)價(jià)方法是主觀測(cè)試評(píng)價(jià)，最常用的主觀圖像質(zhì)量評(píng)價(jià)方法是平均意見(jiàn)打分(mean opinion score，MOS)方法。然而，該方法代價(jià)昂貴且費(fèi)時(shí)，在實(shí)際圖像處理應(yīng)用中不太實(shí)用。主觀圖像質(zhì)量評(píng)價(jià)方法的不足，促使研究人員在自動(dòng)計(jì)算圖像主觀視覺(jué)質(zhì)量的評(píng)價(jià)方法方面開(kāi)展了大量研究工作[1-8]。

根據(jù)不同的圖像質(zhì)量評(píng)價(jià)方法，圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)可分為兩大類：基于HVS特性建模方法和圖像信號(hào)驅(qū)動(dòng)方法[1]。

基于HVS特性建模方法綜合相關(guān)心理學(xué)屬性和生理學(xué)知識(shí)，包括時(shí)間、空間、色彩空間分解、對(duì)比度敏感函數(shù)(contrast sensitivity function，CSF)、亮度自適應(yīng)以及掩模效果等[1]，采用系統(tǒng)建模方法，建立圖像質(zhì)量評(píng)價(jià)模型。近年來(lái)，許多基于HVS的圖像質(zhì)量評(píng)價(jià)方法[2-3]被提出，其中一些方法也考慮了最小可覺(jué)差(just noticeable distortion，JND)模型[4-5]。視覺(jué)心理學(xué)中的視覺(jué)模型被應(yīng)用到基于HVS的圖像質(zhì)量評(píng)價(jià)方法中，效果較好。但該類評(píng)價(jià)方法計(jì)算量大，且視覺(jué)機(jī)理研究與實(shí)際工程建模不匹配[1]，導(dǎo)致這類方法的應(yīng)用有局限性。

近年來(lái)，基于信號(hào)驅(qū)動(dòng)的圖像質(zhì)量評(píng)價(jià)方法受到廣泛關(guān)注。該類評(píng)價(jià)方法基于圖像信號(hào)的提取與分析，比如統(tǒng)計(jì)特征、結(jié)構(gòu)、亮度失真等[6-8]。信號(hào)驅(qū)動(dòng)方法不是為了圖像質(zhì)量評(píng)價(jià)而試圖去建立復(fù)雜的HVS模型，而是重點(diǎn)關(guān)注如何表達(dá)圖像特征以估計(jì)圖像整體質(zhì)量。該類方法通常也會(huì)考慮圖像內(nèi)容和失真分析的心理學(xué)效應(yīng)。然而，雖然一些圖像保真度模型能夠反應(yīng)圖像質(zhì)量的變化，但由于一些缺陷[1]，該類評(píng)價(jià)方法并不能表達(dá)HVS的主觀感受。例如，并不是每一個(gè)圖像的變化都容易被覺(jué)察，也不一定導(dǎo)致失真。因此，信號(hào)驅(qū)動(dòng)的圖像質(zhì)量評(píng)價(jià)方法需引入HVS特性來(lái)彌補(bǔ)這些不足，從而更加逼近人眼主觀感受。

1 全變分模型

變分方法已被廣泛應(yīng)用于圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域[9]。由文獻(xiàn)[10]提出的TV模型是圖像處理中最成功的偏微分方程(partial differential equation，PDE)模型之一。全變分可描述為：

文獻(xiàn)[9-10]表明，TV范數(shù)描述圖像最合適。TV范數(shù)本質(zhì)上是范數(shù)，更適合估計(jì)、描述圖像的不連貫性[9]。本文采用它來(lái)衡量圖像的結(jié)構(gòu)變化，即原始圖像與失真圖像之間的結(jié)構(gòu)變化距離。

本文提出的基于TV模型的PIQA方法，將重點(diǎn)考慮圖像結(jié)構(gòu)和圖像封閉區(qū)域亮度變化。與其他圖像質(zhì)量評(píng)價(jià)方法相比，最大的區(qū)別是引入了TV模型來(lái)評(píng)價(jià)圖像在空間域的結(jié)構(gòu)變化，同時(shí)也考慮了圖像中封閉區(qū)域的亮度變化。

2 基于全變分模型的圖像質(zhì)量評(píng)價(jià)

2.1 基于TV模型的圖像質(zhì)量評(píng)價(jià)框架

通過(guò)HVS觀測(cè)自然圖像時(shí)，有許多因素影響圖像質(zhì)量。其中，有兩種重要因素值得考慮：1) 圖像邊緣結(jié)構(gòu)信息；2) 亮度信息[11]。基于此，本文提出一種新的基于TV模型的PIQA (TVPIQA)方法。

圖1 基于TV模型的圖像質(zhì)量評(píng)價(jià)框架

2.2 基于TV的結(jié)構(gòu)改變度量

由于TV范數(shù)適合描述圖像的不連貫性，因此，圖像結(jié)構(gòu)信息的改變可由參考圖像與失真圖像之間全變分的改變量來(lái)衡量：

(4)

雖然式(3)能很好地評(píng)價(jià)圖像結(jié)構(gòu)信息的改變，但計(jì)算結(jié)果沒(méi)有歸一化，不能作為衡量圖像質(zhì)量的 評(píng)價(jià)標(biāo)準(zhǔn)?？紤]，歸一化的圖像結(jié)構(gòu)改變量描述為：

2.3 局部區(qū)域亮度改變度量

(7)

考慮到HVS對(duì)亮度的對(duì)比度而不是亮度的絕對(duì)值敏感，根據(jù)差分圖像的平均亮度調(diào)整：

為獲得歸一化的亮度改變量，需根據(jù)參考圖像找到能量變化最大的差分圖像。假設(shè)圖像的能量是連續(xù)的，當(dāng)圖像中所有像素亮度值等于參考圖像的平均亮度值時(shí)，相對(duì)于原始參考圖像，圖像亮度改變量最大?；谠摷僭O(shè)，定義，描述了原始參考圖像亮度信息的最大丟失量。定義圖像亮度改變的歸一化模型為：

3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證TVPIQA方法的有效性，對(duì)比了目前7種主流的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)。其中，峰值信號(hào)噪聲比(peak signal to noise ratio, PSNR)是一種廣泛應(yīng)用于圖像處理領(lǐng)域的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，也是一種有用的基準(zhǔn)參照(Benchmark)。結(jié)構(gòu)相似度測(cè)量指數(shù)(structural similarity index measurement, SSIM)，多尺度結(jié)構(gòu)相似度測(cè)量指數(shù)[12](multi-scale SSIM, MS-SSIM)，小波視覺(jué)信號(hào)噪聲比[13](wavelet-based visual signal to noise ratio, VSNR)和視覺(jué)信息保真度[14](visual information fidelity, VIF)等評(píng)價(jià)標(biāo)準(zhǔn)是目前公認(rèn)的主流圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)?；谛畔?nèi)容權(quán)重的PSNR(information content weighted PSNR, IW-PSNR)和基于信息內(nèi)容權(quán)重的SSIM(IW-SSIM)是公認(rèn)的最受好評(píng)的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)。圖像數(shù)據(jù)庫(kù)采用公認(rèn)的權(quán)威數(shù)據(jù)庫(kù)(Cornell- A57[13]，IVC[15]和TID2008[16])驗(yàn)證上述圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)。

Cornell-A57數(shù)據(jù)庫(kù)是由Cornell University創(chuàng)建，由54幅6種類型失真圖像構(gòu)成，失真主要包括量化失真、噪聲和模糊。IVC數(shù)據(jù)庫(kù)由10幅原始圖像經(jīng)過(guò)4種失真類型生成185幅失真圖像，主要失真類型包括：1) JPEG壓縮；2) JPEG2000壓縮；3) 局部自適應(yīng)分辨率(local adaptive resolution，LAR)編碼；4) 模糊。TID2008圖像數(shù)據(jù)庫(kù)包括1 700幅失真圖像，這些圖像由25幅參考圖像經(jīng)過(guò)4種不同失真水平的17種失真函數(shù)生成。在實(shí)驗(yàn)對(duì)比中，未考慮TID2008中的對(duì)比度改變失真圖像。

為衡量圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)的優(yōu)劣，利用評(píng)價(jià)標(biāo)準(zhǔn)與人眼主觀感受評(píng)價(jià)的相關(guān)性來(lái)度量。實(shí)驗(yàn)中，采用線性相關(guān)系數(shù)(linear correlation coefficient，LCC)、斯皮爾曼等級(jí)相關(guān)系數(shù)(spearman’s rank correlation coefficient，SRCC)、肯德?tīng)柕燃?jí)相關(guān)系數(shù)(kendall’s rank correlation coefficient，KRCC)來(lái)衡量圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)與主觀評(píng)分之間的相關(guān)性。

LCC評(píng)價(jià)了預(yù)測(cè)精度，反應(yīng)了圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)與主觀評(píng)分之間的線性依賴，定義為：

SRCC衡量了數(shù)據(jù)之間的單調(diào)性[17]，定義為：

(12)

KRCC也是一種非參秩相關(guān)統(tǒng)計(jì)模型，定義為：

根據(jù)上述相關(guān)性度量標(biāo)準(zhǔn)，LCC、SRCC和KRCC值越大，越接近于1，表明測(cè)試的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)與實(shí)際主觀評(píng)價(jià)結(jié)果相關(guān)性越好，即越能反應(yīng)圖像的主觀視覺(jué)質(zhì)量。

a. 不同圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)的LCC對(duì)比

b. 不同圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)的SRCC對(duì)比

c. 不同圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)的KRCC對(duì)比

不同圖像評(píng)價(jià)標(biāo)準(zhǔn)在Cornell-A57、IVC和TID2008數(shù)據(jù)庫(kù)上的測(cè)試結(jié)果如圖2所示?？煽闯?，本文提出的TVPIQA標(biāo)準(zhǔn)的平均性能優(yōu)于其他圖像評(píng)價(jià)標(biāo)準(zhǔn)。

圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)平均性能對(duì)比如表1所示。表中給出了各個(gè)圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)在Cornell-A57，IVC和TID2008圖像數(shù)據(jù)庫(kù)測(cè)試數(shù)據(jù)的LCC，SRCC和KRCC的平均值。各個(gè)相關(guān)系數(shù)平均值是以圖像庫(kù)大小為權(quán)重計(jì)算得到，Cornell-A57、IVC、TID2008圖像庫(kù)的數(shù)據(jù)權(quán)重分別為54、185、1600。

可看出，與其他圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)相比，本文提出的TVPIQA標(biāo)準(zhǔn)具有較好的整體性能。值得注意的是，所提出的TVPIQA標(biāo)準(zhǔn)考慮了圖像結(jié)構(gòu)和能量信息，并且僅在圖像空間域計(jì)算得到，不用進(jìn)行變換等其他操作。

表1 圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)平均性能對(duì)比

4 結(jié) 論

本文提出了一種基于全變分模型的空間域圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)框架。設(shè)計(jì)的TVPIQA標(biāo)準(zhǔn)主要考慮了圖像結(jié)構(gòu)和亮度兩種人眼視覺(jué)敏感因素，通過(guò)引入全變分模型來(lái)評(píng)價(jià)圖像結(jié)構(gòu)信息；同時(shí)，采用差分圖像中封閉區(qū)域的能量來(lái)度量圖像亮度信息的丟失程度。實(shí)驗(yàn)結(jié)果表明，與主觀圖像質(zhì)量評(píng)價(jià)的相關(guān)性方面，本文提出的TVPIQA標(biāo)準(zhǔn)優(yōu)于當(dāng)前的主流圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，具有較好的綜合性能。

[1] LIN W, KUO C C. Perceptual visual quality metrics: a survey[J]. Journal of Visual Communication and Image Representation, 2011, 22(4): 297-312.

[2] DALY S. The visible difference predictor: an algorithm for the assessment of image fidelity[C]//Human Vision, Visual Processing, and Digital Display III. SanJose, USA: SPIE, 1992.

[3] FAUGERAS O D. Digital color image processing within the framework of a human visual model[J]. IEEE Trans. Acoust. Speech Signal Process, 1979, 27(4): 380-393.

[4] MA L, NGAN K N. Adaptive block-size transform based just noticeable difference profile for videos[C]// International Symposium on Circuits and Systems. Paris, France: IEEE, 2010.

[5] LIN W, DONG L, XUE P. Visual distortion gauge based on discrimination of noticeable contrast changes[J]. IEEE Trans. Circuits Syst Video Technol, 2005, 5(7): 900-909.

[6] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Trans Image Processing, 2004, 13(4): 600-612.

[7] WANG Z, LI Q. Information content weighting for perceptual image quality assessment[J]. IEEE Trans Image Processing, 2011, 20(5):1185-1198.

[8] AVCIBAS I, SANKUR B, SAYOOD K. Statistical evaluation of image quality measures[J]. Journal of Electronic Imaging, 2002, 11(2): 206-223.

[9] CHAN T F, SHEN J H, VESE L. Variational PDE models in image processing[J]. Notice of American Mathematical Society, 2003, 50(1): 14-26.

[10] RUDIN L, OSHER S, FATEMI E. Nonlinear total variation based noise removal algorithms[J]. Physica D, 1992, 60: 259-268.

[11] NORTON T T, CORLISS D A, BAILEY J E. Psychophysical measurement of visual function[M]. [S.l.]: Butterworth-Heinemann Press, 2002.

[12] WANG Z, SIMONCELLI E P, BOVIK A C. Multi-scale structural similarity for image quality assessment[C]//IEEE Asilomar Conf. Signals, Syst. PacificGrove, USA: IEEE, 2003.

[13] CHANDLER D M, HEMAMI S S. VSNR: a wavelet- based visual signal-to-noise ratio for natural images[J]. IEEE Transactions on Image Processing, 2007, 16(9): 2284-2298.

[14] SHEIKH H R, BOVIK A C. Image information and visual quality[J]. IEEE Trans Image Processing, 2006, 15(2): 430-444.

[15] NINASSI A, CALLET P, AUTRUSSEAU F. Pseudo no reference image quality metric using perceptual data hiding[C]//Human Vis Electron Imag. SanJose, USA: SPIE, 2006.

[16] PONOMARENKO N, BATTISTI F, EGIAZARIAN K, et al. Metrics performance comparison for color image database[C]//4th International Workshop on Video Processing and Quality Metrics for Consumer Electronics. Scottsdale, USA: [s.n.], 2009.

[17] LARSON E C, CHANDLER D M. Most apparent distortion: Full-reference image quality assessment and the role of strategy[J]. Journal of Electronic Imaging, 2010, 19(1): 1-21.

編 輯 葉 芳

A New Perceptual Image Quality Assessment Method Based on Total Variation Model

WU Ya-dong1,2and ZHANG Hong-ying3,4

(1. School of Computer Science and Technology, Southwest University of Science and Technology Mianyang Sichuan 621010; 2. Fundamental Science on Nuclear Wastes and Environmental Safety Laboratory, Southwest University of Science and Technology Mianyang Sichuan 621010; 3. School of Information and Engineering, Southwest University of Science and Technology Mianyang Sichuan 621010; 4.Robot Technology Used for Special Environment Key Laboratory of Sichuan Province, Southwest University of Science and Technology Mianyang Sichuan 621010)

In this paper, based on the assumption that human visual system(HVS) is sensitive for image structures (edges) and local luminance (light stimulation), we propose a new perceptual image quality assessment (PIQA) metric based on total variation(TV) model in spatial domain. In the proposed metric, the TV’s comparison between a distorted image and its reference image is applied to measure the extent of the loss of the image structural information. As a complementary part to measure the distortion, the energy of enclosed regions in a difference image is used to measure the missing luminance information which is sensitive to human visual system. The performance of the proposed metric is validated with an extensive subjective database. The results show that the proposed metric outperforms the state-of-the-art of image quality assessment metrics.

energy function; HVS; PIQA; TV

TP394.1

A

10.3969/j.issn.1001-0548.2015.01.013

2014-02-25；

2014-11-30

國(guó)家自然科學(xué)基金(61303127)；國(guó)家科技支撐計(jì)劃(2013BAH32F02，2013BAH32F03)；四川省科技廳項(xiàng)目(2011JQ0041, 11ZS2009)；中國(guó)科學(xué)院“西部之光”人才培養(yǎng)計(jì)劃(13ZS0106)

吳亞?wèn)|(1979-)，男，博士，教授，主要從事圖像處理、可視化方面的研究.