符合人眼視覺感知特性的改進(jìn)PSNR 評(píng)價(jià)方法

趙 巖，孟麗茹，王世剛，陳賀新

(吉林大學(xué) 通信工程學(xué)院，長(zhǎng)春130012)

0 引 言

21 世紀(jì)隨著互聯(lián)網(wǎng)以及多媒體技術(shù)的快速發(fā)展，人類對(duì)3D 視頻的關(guān)注度已高達(dá)72.5%［1］，3D 視頻已成為人類視覺需求和高科技迅速發(fā)展的產(chǎn)物。3D 立體視頻在采集、處理以及傳輸過程中都可能會(huì)引起失真，為此視頻壓縮程度所允許的失真程度需要人眼來(lái)感知，也就是需要對(duì)其進(jìn)行質(zhì)量評(píng)價(jià)，以及作為對(duì)信道、編解碼器性能評(píng)估和優(yōu)化的判斷依據(jù)等。視頻質(zhì)量評(píng)價(jià)對(duì)3D 產(chǎn)業(yè)的推廣起著推動(dòng)作用。

傳統(tǒng)的視頻圖像質(zhì)量評(píng)價(jià)方法一般可以分為兩大類:主觀評(píng)價(jià)和客觀評(píng)價(jià)。目前國(guó)際上廣泛使用的主觀質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)有雙重刺激損傷標(biāo)度(Double stimulus impairment scale，DSIS)和雙重刺激連續(xù)質(zhì)量標(biāo)度(Double stimulus continuous quality scale，DSCQS)。主觀評(píng)價(jià)方法需要大量的人力、物力、財(cái)力，且評(píng)價(jià)結(jié)果容易受到測(cè)試者的主觀因素和外界環(huán)境的影響，評(píng)價(jià)過程的復(fù)雜性嚴(yán)重影響方法的準(zhǔn)確性和通用性，將其嵌入到實(shí)際視頻處理系統(tǒng)中有一定的困難。因此研究人員提出了許多客觀質(zhì)量評(píng)價(jià)方法。均方根誤差和峰值信噪比是目前發(fā)展比較成熟的全參考視頻客觀質(zhì)量評(píng)價(jià)方法;Wang 等［2］提出基于結(jié)構(gòu)相似度(Structural similarity，SSIM)方 法，性 能 優(yōu) 于PSNR，但在評(píng)價(jià)嚴(yán)重模糊和壓縮圖像時(shí)主客觀評(píng)價(jià)并不完全一致［3］;基于梯度的結(jié)構(gòu)相似度(Gradient based structural similarity，GSSIM)方法［4］，適合圖像質(zhì)量評(píng)價(jià)，結(jié)合運(yùn)動(dòng)信息才可評(píng)價(jià)視頻質(zhì)量;基于運(yùn)動(dòng)信息和結(jié)構(gòu)信息視頻質(zhì)量客觀評(píng)價(jià)(Motion information and structural similarity，MESSIM)方法［5］，未考慮局部失真時(shí)邊緣結(jié)構(gòu)信息，對(duì)壓縮視頻主客觀評(píng)價(jià)相差較大;基于失真度估計(jì)的無(wú)參考視頻質(zhì)量評(píng)價(jià)方法［6］可以達(dá)到很好的精確度，但計(jì)算復(fù)雜度較高;基于結(jié)構(gòu)相似的DCT 域圖像質(zhì)量評(píng)價(jià)方法［7］較SSIM 和PSNR 更符合人眼的視覺特性，但DCT 變換系數(shù)量化粗糙會(huì)造成視頻圖像在塊邊界出現(xiàn)視覺上的不連續(xù);基于編碼前后視差圖的峰值信噪比(Disparity peak signal to noise ratio，DPSNR)方法以及基于深度的視頻質(zhì)量評(píng)價(jià)方法考慮了第三維深度信息，同時(shí)也存在應(yīng)用范圍上的局限性。

PSNR 評(píng)價(jià)方法是應(yīng)用最廣的傳統(tǒng)圖像質(zhì)量評(píng)價(jià)方法，但在立體重構(gòu)圖像評(píng)價(jià)時(shí)，其與人眼視覺感知還存在差距。因此，本文提出了一種符合人眼視覺感知特性的改進(jìn)PSNR 立體圖像質(zhì)量評(píng)價(jià)方法，并進(jìn)行了實(shí)驗(yàn)驗(yàn)證，進(jìn)一步拓寬了PSNR方法的應(yīng)用范圍。

1 PSNR 及本文提出的問題

1.1 峰值信噪比

一幅大小為M×N 的數(shù)字原始圖像f(x，y)及其失真圖像f0(x，y)的峰值信噪比如下:

式中:(2n－1)2為圖像中最大可能的信號(hào)值平方，其中n 為每個(gè)像素的比特?cái)?shù)。

一般情況下，PSNR 值越大，代表失真越小，圖像質(zhì)量相對(duì)越高，人眼觀看效果越好。分別在一幅圖像的高頻、中頻、低頻部分加入白噪聲干擾，對(duì)三種干擾圖像進(jìn)行主客觀質(zhì)量評(píng)價(jià)，結(jié)果高頻部分加入干擾的圖像主觀質(zhì)量?jī)?yōu)于其他兩種情況的主觀質(zhì)量;但三者的客觀評(píng)價(jià)PSNR 值卻相同。這表明PSNR 值有時(shí)無(wú)法與人眼感知的視覺品質(zhì)相符，即PSNR 并不能很好地表達(dá)人眼的視覺感知特性［8］。有可能PSNR 較高者看起來(lái)反而比PSNR 較低者差。這是因?yàn)槿搜垡曈X對(duì)于誤差的敏感度不是絕對(duì)的，其感知結(jié)果會(huì)受到許多因素的影響而產(chǎn)生變化。通常人眼對(duì)較低的空間頻率和亮度對(duì)比度差異的敏感度較高，而且對(duì)一個(gè)區(qū)域的感知結(jié)果會(huì)受到其周圍鄰近區(qū)域的影響。綜上，PSNR 主要存在以下兩點(diǎn)問題:①人眼主觀對(duì)不同圖像的不同失真類型會(huì)有不同反映，而這些不同反映在PSNR 計(jì)算中無(wú)法被準(zhǔn)確地區(qū)分出來(lái);②PSNR 中對(duì)誤差進(jìn)行簡(jiǎn)單累加的方式與主觀判斷圖像損傷的方式有顯著不同，這也是通常造成主客觀評(píng)價(jià)不相符的原因［9］。

1.2 本文提出的問題

3D 立體視頻是基于雙目視差原理而產(chǎn)生的。當(dāng)觀看者利用雙眼觀看時(shí)，由于雙眼之間存在一定的水平距離，使得雙眼從不同角度觀看并各自獨(dú)立成像(即左眼看到物體的左邊多一些，右眼看到物體的右邊多一些)。當(dāng)這兩個(gè)具有微小角度差異的圖像對(duì)傳入大腦皮層后，經(jīng)大腦皮層視覺中樞的融合處理就會(huì)產(chǎn)生具有深度感的“單一”圖像，從而使觀看者感受到立體特性。

PSNR 可以很好地評(píng)價(jià)平面圖像質(zhì)量的好壞，一般情況下視覺效果較好的圖像的PSNR 值可以達(dá)到35 dB。但評(píng)價(jià)立體圖像時(shí)，會(huì)出現(xiàn)對(duì)具有良好的主觀觀看效果的圖像計(jì)算出的峰值信噪比卻很低的情況，造成主客觀的不一致性。對(duì)具有標(biāo)準(zhǔn)視差的立體圖像對(duì)來(lái)說，PSNR 必須充分考慮立體特性，才可以應(yīng)用到立體圖像評(píng)價(jià)當(dāng)中。

由于立體視頻解碼端得到的重構(gòu)圖像與原始圖像之間通常存在微小的水平視差失真，而這種微小的水平視差失真并不影響人眼的立體感知，但影響客觀質(zhì)量評(píng)價(jià)的PSNR 值，使PSNR 值不足以反映人眼的感知效果，造成PSNR 值與人眼感知的不一致。因此，針對(duì)峰值信噪比較低，但具有良好的主觀觀看效果的立體視頻解碼圖像，為使客觀PSNR 值能正確地反映人眼視覺感知，本文基于解壓縮立體圖像存在微小視差失真的特性，提出改進(jìn)PSNR 方法，對(duì)立體視頻解碼端得到的重構(gòu)圖像采取加權(quán)均值濾波、隸屬度函數(shù)、滑動(dòng)窗函數(shù)三者融合的方法進(jìn)行處理，通過像素之間的相關(guān)性來(lái)改變像素值的大小，使其能更好地反映人眼感知特性，即通過改進(jìn)客觀PSNR 值，使其盡可能與人眼視覺感知相符。

本文將重構(gòu)圖像的像素失真分為兩大類，其一，像素由左向右平移或由右向左平移，即進(jìn)駐性的擴(kuò)展平移;其二，由于像素丟失導(dǎo)致該點(diǎn)像素值的嚴(yán)重失真，與原始圖像像素點(diǎn)不匹配。針對(duì)第一種情況，在一定范圍內(nèi)進(jìn)行像素值搜索，發(fā)現(xiàn)有當(dāng)前像素恢復(fù)值時(shí)，進(jìn)行反方向像素平移。針對(duì)第二種情況，當(dāng)像素值丟失時(shí)，利用該點(diǎn)像素與其周圍像素的相關(guān)性進(jìn)行加權(quán)均值濾波、隸屬度函數(shù)處理。當(dāng)圖像向左平移時(shí)，該點(diǎn)右側(cè)像素點(diǎn)的權(quán)值大于左側(cè)像素點(diǎn)的權(quán)值，反之亦然。當(dāng)無(wú)法判定平移方向時(shí)，距該像素點(diǎn)物理位置較近像素點(diǎn)的權(quán)值大于物理位置較遠(yuǎn)像素點(diǎn)的權(quán)值，權(quán)值大的點(diǎn)對(duì)濾波器輸出的影響要大于權(quán)值小的點(diǎn)。

2 算法實(shí)現(xiàn)

2.1 加權(quán)均值濾波

加權(quán)均值濾波方法的實(shí)現(xiàn)如下:

式中:wi為簡(jiǎn)單的最優(yōu)權(quán)重，且滿足為窗內(nèi)像素點(diǎn)的灰度值;1×(2k+1)為一維窗函數(shù)大小。

加權(quán)均值濾波能在圖像空域下實(shí)現(xiàn)一種平滑作用，能夠完成圖像局部區(qū)域加權(quán)平均運(yùn)算功能，將丟失像素和平移位置進(jìn)行平滑處理。其中局部區(qū)域作為當(dāng)前處理窗口，當(dāng)窗口滑動(dòng)完整幅圖像時(shí)，就完成了整幅圖像的一種局部區(qū)域平滑處理。窗函數(shù)模板應(yīng)該是中心對(duì)稱的，使平滑作用沒有方向性。同時(shí)，窗函數(shù)越大，處理后的圖像也越模糊，畫面質(zhì)量下降，所以窗函數(shù)不宜過大。

2.2 隸屬度函數(shù)

基于隸屬度函數(shù)方法的實(shí)現(xiàn)如下:

式中:r 為當(dāng)前處理窗口中心像素點(diǎn)的灰度值;β為尺度函數(shù)，一般在一千到幾千范圍內(nèi)。

選取1×(2k+1)的窗函數(shù)，以窗口中心像素灰度值為中心，按式(5)計(jì)算窗口內(nèi)各個(gè)像素點(diǎn)隸屬于中心像素點(diǎn)的隸屬度，作為各個(gè)像素點(diǎn)的對(duì)應(yīng)隸屬度權(quán)值［10］;根據(jù)式(4)進(jìn)行加權(quán)計(jì)算，得到基于隸屬度函數(shù)方法的改進(jìn)值。可進(jìn)一步對(duì)式(5)計(jì)算出的模糊隸屬度權(quán)值進(jìn)行裁剪，即分別去除最大權(quán)值和最小權(quán)值來(lái)消除圖像受到?jīng)_激噪聲影響時(shí)改進(jìn)PSNR 值的誤差。

2.3 滑動(dòng)窗函數(shù)

對(duì)圖像中的任意一點(diǎn)(x，y)進(jìn)行PSNR 值改進(jìn)時(shí)，將重構(gòu)圖像與原始圖像進(jìn)行絕對(duì)差值處理，得到絕對(duì)差值圖像。當(dāng)差值圖像(x，y)點(diǎn)為零時(shí)，表明該像素點(diǎn)完全恢復(fù)，沒有損傷;當(dāng)差值圖像該點(diǎn)不為零時(shí)，將利用一個(gè)1×(2k+1)的滑動(dòng)窗，對(duì)該像素進(jìn)行左右k 個(gè)像素水平范圍內(nèi)的區(qū)域搜索，當(dāng)搜索到匹配像素值時(shí)，則進(jìn)行平移，恢復(fù)當(dāng)前像素值。未搜索到匹配像素值時(shí)，則保持原像素［11］。

2.4 本文算法

本文算法流程如圖1 所示。

針對(duì)重構(gòu)圖像邊緣像素，本方法采用將邊緣列像素值進(jìn)行復(fù)制的原則進(jìn)行擴(kuò)展，然后對(duì)邊緣點(diǎn)也進(jìn)行上述分析和處理。

圖1 本文算法流程圖Fig.1 Flow chart of proposed algorithm

3 實(shí)驗(yàn)及其結(jié)果分析

圖2 Tsukuba 主觀效果圖Fig.2 Subjective effects of Tsukuba

圖3 Corridor 主觀效果圖Fig.3 Subjective effects of Corridor

圖4 Venus 主觀效果圖Fig.4 Subjective effects of Venus

圖5 Parkmeter 主觀效果圖Fig.5 Subjective effects of Parkmeter

為了驗(yàn)證本文方法的有效性，采用文獻(xiàn)［12］提供的立體視頻圖像Tsukuba、Corridor、Venus、Parkmeter 的右視圖(見圖2 ～圖5)作為測(cè)試圖像進(jìn)行實(shí)驗(yàn)。基于時(shí)域相關(guān)性的BP 恢復(fù)算法得到的重構(gòu)圖像，在對(duì)象邊界部分出現(xiàn)的少量誤差，引起了對(duì)象邊界發(fā)生整體偏移，而對(duì)象內(nèi)部的誤差很小。由于邊界上的偏差只有一到兩個(gè)像素的平移，不會(huì)影響到整幅圖像立體感知質(zhì)量，圖像的觀看質(zhì)量整體比較高，屬于可以被接受的范圍。即從主觀效果圖可以看出四幅重構(gòu)圖像都具有良好的主觀觀看效果，但計(jì)算出來(lái)的PSNR 值卻較低，不能很好地反映人眼視覺感知，對(duì)此采取本文方法進(jìn)行改進(jìn)。

基于加權(quán)均值濾波得到的窗函數(shù)最優(yōu)權(quán)值如下:w［1］=0.15，w［2］=0.20，w［3］=0.30，w［4］=0.20，w［5］=0.15，由于水平視差只有一至兩個(gè)像素的平移，因此采取1×5 的一維窗進(jìn)行實(shí)驗(yàn)。針對(duì)有位置偏移的像素，當(dāng)1×5 窗函數(shù)中已無(wú)法搜索到匹配的像素值時(shí)，進(jìn)行1×5 窗口大小的簡(jiǎn)單加權(quán)均值處理，w［1］、w［2］、w［3］、w［4］、w［5］分別為1×5 窗口內(nèi)的相應(yīng)權(quán)值。

根據(jù)大量的實(shí)驗(yàn)統(tǒng)計(jì)數(shù)據(jù)，得到加權(quán)均值濾波器的最優(yōu)權(quán)值組合，針對(duì)不同圖像，權(quán)值設(shè)定會(huì)略有差別，但本實(shí)驗(yàn)采取相同的窗函數(shù)權(quán)值組合進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果使PSNR 值最大的可能性得到了改進(jìn)，可以更好地反映主觀視覺感知效果。

基于隸屬度函數(shù)方法，對(duì)不同圖像進(jìn)行隸屬度函數(shù)β 值確定的實(shí)驗(yàn)。表1 為Corridor 原始圖像與重構(gòu)圖像采用1×5 窗函數(shù)時(shí)，不同β 值及其改進(jìn)PSNR 值。

由表1 可知，β 值選取3000 時(shí)效果最佳，改變?chǔ)?值 從1000 到9000，PSNR 值 只 改 變 了0.2877 dB，比較小，故β 值對(duì)實(shí)驗(yàn)影響并不是很大。針對(duì)個(gè)別像素點(diǎn)有噪聲和沖擊響應(yīng)影響時(shí)，隸屬度函數(shù)會(huì)有較好的恢復(fù)效果。根據(jù)大量實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)，不同圖像尺度函數(shù)β 值基本相同，均在3000 左右，故取3000 作為隸屬度函數(shù)中的β 值。

利用本文方法對(duì)Tsukuba、Venus、Corridor、Parkmeter 原始圖像與重構(gòu)圖像進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)選擇最佳均值濾波器權(quán)值組合，最佳一維窗函數(shù)1×5，最優(yōu)β 值3000。得到改進(jìn)PSNR 值，結(jié)果如表2 所示。

表1 改變隸屬度函數(shù)中的β 值結(jié)果Table 1 Results when changing β value of membership function

表2 PSNR 值對(duì)比結(jié)果Table 2 Comparison results of PSNR

由表2 可知，四組立體圖像改進(jìn)的客觀PSNR值都可以很好地反映人眼主觀視覺感知圖像質(zhì)量較好的事實(shí)，使得改進(jìn)PSNR 值與人眼視覺感知相符，解決了用PSNR 方法評(píng)價(jià)立體重構(gòu)圖像時(shí)PSNR 值與人眼視覺感知不一致的問題。

4 結(jié)束語(yǔ)

隨著圖像質(zhì)量評(píng)價(jià)技術(shù)在圖像通信、多媒體技術(shù)、信息安全技術(shù)等領(lǐng)域越來(lái)越多的應(yīng)用，圖像質(zhì)量評(píng)價(jià)的研究越來(lái)越受到人們的重視。針對(duì)常用評(píng)價(jià)指標(biāo)PSNR 有時(shí)并不能很好地反映立體重構(gòu)圖像的人眼視覺感知特性問題，本文采用加權(quán)均值濾波、隸屬度函數(shù)和滑動(dòng)窗三者融合的方法較好地解決了這一問題。改進(jìn)的PSNR 方法較原始方法更加符合人眼視覺特征，從而能更精準(zhǔn)、更方便地進(jìn)行立體重構(gòu)圖像質(zhì)量評(píng)價(jià)，使其具有更廣泛的應(yīng)用價(jià)值。針對(duì)本文估計(jì)公式中一些參數(shù)的確定，權(quán)值優(yōu)化以及提高方法通用性等方面的問題，將在進(jìn)一步的實(shí)驗(yàn)研究中加以探索和改進(jìn)。

［1］健康問題難擋3D 電視市場(chǎng)普及［N］.消費(fèi)電子，2011－07－27.

［2］Wang Z，Bovik A C.Modern Image Quality Assessment［M］.New York:Morgan and Clay Pool，2006.

［3］Winklera S.Digital Video Quality:Vision Models and Metrics［M］.Switzeriand:John Wiley and Sons，2005:71－156.

［4］Chen Guan－h(huán)ao，Yang Chun－ling，Xie Sheng－li.Gradient－based structural similarity for image quality assessment［C］∥IEEE International Conference on Image Processing，2006:2929－2932.

［5］盧國(guó)慶，李均利，陳剛，等.基于運(yùn)動(dòng)信息和結(jié)構(gòu)信息的視頻質(zhì)量評(píng)價(jià)方法［J］.計(jì)算機(jī)仿真，2010，27(6):262－266.Lu Guo－qing，Li Jun－li，Chen Gang，et al.Video quality assessment measurement based on motion information and structural distortion［J］.Computer Simulation，2010，27(6):262－266.

［6］林翔宇，田翔，陳耀武.基于失真度估計(jì)的無(wú)參考視頻質(zhì)量評(píng)價(jià)［J］.吉林大學(xué)學(xué)報(bào):工學(xué)版，2013，43(1):212－217.Lin Xiang－yu，Tian Xiang，Chen Yao－wu.No－reference video quality assessment based on distortion estimation［J］.Journal of Jilin University(Engineering and Technology Edition)，2013，43(1):212－217.

［7］呂丹，畢篤彥.基于結(jié)構(gòu)相似的DCT 域圖像質(zhì)量評(píng)價(jià)［J］.吉林大學(xué)學(xué)報(bào):工學(xué)版，2011，41(6):1771－1776.Lyu Dan，Bi Du－yan.Image quality assessment in DCT domain based on structural similarity［J］.Journal of Jilin University(Engineering and Technology Edition)，2011，41(6):1771－1776.

［8］李紅蕾，凌捷，徐少?gòu)?qiáng).關(guān)于圖象質(zhì)量評(píng)價(jià)指標(biāo)PSNR 的注記［J］.廣東工業(yè)大學(xué)學(xué)報(bào)，2004，21(3):74－78.Li Hong－lei，Ling Jie，Xu Shao－qiang.Note about image quality evaluation index PSNR［J］.Journal of Guangdong University of Technology，2004，21(3):74－78.

［9］李永強(qiáng)，沈慶國(guó)，朱江，等.數(shù)字視頻質(zhì)量評(píng)價(jià)方法綜述［J］.電視技術(shù)，2006，6:74－77.Li Yong－qiang，Shen Guo－qing，Zhu Jiang，et al.Overview of video quality evaluation methods［J］.Video Engineering，2006，6:74－77.

［10］蔡靖，楊晉生，丁潤(rùn)濤.模糊加權(quán)均值濾波器［J］.中國(guó)圖象圖形學(xué)報(bào)，2000，5(1):52－56.Cai Jing，Yang Jin－sheng，Ding Run－tao.Fuzzy weighted average filter［J］.Journal of Image and Graphics，2000，5(1):52－56.

［11］Yuan Hai－dong，Ma Hua－dong，Huang Xiao－dong.Automatic pixel－shift detection and restoration in videos［C］∥IEEE International Conference on Multimedia and Expo，2008:1541－1544.

［12］馬行.基于四維矩陣的立體視頻壓縮算法研究［D］.長(zhǎng)春:吉林大學(xué)，2009.Ma Xing.Research on stereo video compression algorithm based on four dimensional matrix［D］.Changchun:Jilin University，2009.