基于視覺(jué)感知的網(wǎng)絡(luò)視頻質(zhì)量評(píng)價(jià)方法研究*

周傳興，涂巧玲，張 杰，張 晗

(重慶理工大學(xué) 電氣與電子工程學(xué)院，重慶 400054)

?

基于視覺(jué)感知的網(wǎng)絡(luò)視頻質(zhì)量評(píng)價(jià)方法研究*

周傳興，涂巧玲，張 杰，張 晗

(重慶理工大學(xué) 電氣與電子工程學(xué)院，重慶 400054)

網(wǎng)絡(luò)視頻在傳輸過(guò)程中，因編碼失真或丟包失真，給用戶(hù)帶來(lái)明顯的視覺(jué)影響。傳統(tǒng)的均方誤差和峰值信噪比的質(zhì)量評(píng)價(jià)方法未考慮到人眼視覺(jué)特性。文章首先描述了人類(lèi)視覺(jué)系統(tǒng)的基本特性，然后介紹了主客觀質(zhì)量評(píng)價(jià)方法的優(yōu)缺點(diǎn)及適用環(huán)境，最后采用LIVE視頻數(shù)據(jù)庫(kù)，對(duì)比幾種質(zhì)量評(píng)價(jià)方法，結(jié)果表明，融入視覺(jué)感知的評(píng)價(jià)方法更接近于人眼效果。

視覺(jué)感知；網(wǎng)絡(luò)視頻；全參考質(zhì)量評(píng)價(jià)；均方誤差；峰值信噪比

0 引言

WiFi和4G技術(shù)的普及，使得無(wú)線(xiàn)網(wǎng)絡(luò)的傳輸能力大大提高，網(wǎng)絡(luò)視頻是目前人們獲取電視、電影、新聞資訊等數(shù)字內(nèi)容的重要渠道之一，深受人們的青睞。根據(jù)中國(guó)工業(yè)和信息化部的數(shù)據(jù)顯示，截止2015年6月，中國(guó)的網(wǎng)絡(luò)視頻的用戶(hù)數(shù)已經(jīng)達(dá)到4.61億。但由于存儲(chǔ)容量和傳輸過(guò)程中的帶寬限制，網(wǎng)絡(luò)視頻除了存在編碼失真(如方塊效應(yīng)、振鈴效應(yīng)等)，還存在因?yàn)樾诺纻鬏數(shù)难舆t或擁塞造成的丟包失真(如局部變形、視頻圖像模糊、馬賽克現(xiàn)象等)。丟包失真和編碼失真的視頻會(huì)給終端用戶(hù)帶來(lái)明顯的視覺(jué)影響，使網(wǎng)絡(luò)視頻的優(yōu)勢(shì)大打折扣。因此對(duì)網(wǎng)絡(luò)視頻進(jìn)行質(zhì)量評(píng)價(jià)尤為重要。

視頻質(zhì)量評(píng)價(jià)方法主要分為兩大類(lèi)：主觀質(zhì)量評(píng)價(jià)方法和客觀質(zhì)量評(píng)價(jià)方法[1]。主觀質(zhì)量評(píng)價(jià)方法最接近人眼效果，但是受其嚴(yán)格的測(cè)試環(huán)境影響，操作性不強(qiáng)，很難應(yīng)用到實(shí)際的場(chǎng)合中。客觀視頻質(zhì)量評(píng)價(jià)方法因能夠自動(dòng)預(yù)測(cè)感知視頻質(zhì)量，成為眾多學(xué)者的研究熱點(diǎn)。目前比較通用的客觀評(píng)價(jià)方法有均方誤差(Mean Square Error，MSE)和峰值信噪比(Peak Signal Noise Ratio, PSNR)[2]。這兩種方法的主要思想是對(duì)比原始視頻幀與失真視頻幀間的像素間差異來(lái)進(jìn)行視頻質(zhì)量評(píng)價(jià)[3]，模型雖然簡(jiǎn)單，但是不能很好地反映人的主觀感受。后有學(xué)者嘗試融入人類(lèi)視覺(jué)系統(tǒng)(Human Visual System，HVS)到視頻質(zhì)量評(píng)價(jià)方法中去，并取得了一定的成果，有些模型已經(jīng)應(yīng)用于實(shí)際的場(chǎng)合[4]。Wang Zhou提出的結(jié)構(gòu)相似度量(Structure Similarity Index Measure, SSIM)[5]的評(píng)價(jià)方法，相比MSE和PSNR的方法有了提高，但是在評(píng)價(jià)嚴(yán)重模糊圖像時(shí)，效果并不理想。在SSIM的基礎(chǔ)上，CHEN G H提出了一種基于結(jié)構(gòu)邊緣信息的圖像質(zhì)量評(píng)價(jià)方法 (Edge Based Structural Similarity，ESSIM)[6]，Alan Conrad Bovik 等隨后又提出了多尺度結(jié)構(gòu)相似度度量(Multi-Scale Structural Similarity，MS-SSIM)[7]。這些方法都融入了視覺(jué)感知的思想，評(píng)價(jià)的結(jié)果接近主觀質(zhì)量評(píng)價(jià)方法的評(píng)價(jià)效果。

1 人類(lèi)視覺(jué)系統(tǒng)

人眼是大腦獲取外部信息的重要感覺(jué)器官，是理解和認(rèn)識(shí)世界的基礎(chǔ)。人眼視覺(jué)系統(tǒng)包括視覺(jué)生理學(xué)、視覺(jué)心理學(xué)兩個(gè)方面。

1.1 視覺(jué)生理學(xué)HVS特征

圖1 視覺(jué)心理學(xué)處理過(guò)程圖

如圖1所示，物體以光的形式通過(guò)眼睛的光系統(tǒng)投射到視網(wǎng)膜，眼睛承擔(dān)光學(xué)處理功能，實(shí)現(xiàn)圖像到光學(xué)信號(hào)的轉(zhuǎn)換。視網(wǎng)膜將光學(xué)信號(hào)轉(zhuǎn)換為電信號(hào)并進(jìn)行信息初級(jí)處理，將處理后的信息轉(zhuǎn)變成神經(jīng)沖動(dòng)傳輸?shù)酵鈧?cè)膝狀體。外側(cè)膝狀體主要的功能是起到門(mén)限的作用，用來(lái)控制通過(guò)信息的數(shù)目。視皮層主要負(fù)責(zé)物體識(shí)別、感知和理解的功能。目前對(duì)于人類(lèi)生理學(xué)的研究還不夠全面，各部分功能仍缺乏精準(zhǔn)定義，該領(lǐng)域也是未來(lái)的研究熱點(diǎn)。

1.2 心理學(xué)HVS特征

1.2.1 對(duì)比度敏感函數(shù)

研究學(xué)者已經(jīng)對(duì)人類(lèi)心理學(xué)進(jìn)行了深入研究，雖然并沒(méi)有完整地解析人類(lèi)視覺(jué)心理學(xué)特性，但依然取得了階段性的成果。通過(guò)模仿人類(lèi)視覺(jué)特性的敏感度模型，對(duì)比度敏感函數(shù)(Contrast Sensitivity Function，CSF)可以作為一個(gè)受到視覺(jué)刺激時(shí)的空間頻率函數(shù)。一般來(lái)說(shuō)，CSF具有帶通性質(zhì)，其峰值在每個(gè)視覺(jué)角度4線(xiàn)的空間頻率周?chē)缓箅S著頻率的上升或下降函數(shù)值迅速下降。也就是眾所周知的Campbell-Ronbson圖表，如圖2所示。當(dāng)以對(duì)數(shù)形式調(diào)整增加空間頻率時(shí)，像素密度用水平尺幅的正弦函數(shù)調(diào)制，圖像對(duì)比度從上到下呈對(duì)數(shù)形式。圖3為一個(gè)CSF函數(shù)模型，針對(duì)不同頻率信息有著不同敏感度的特性。公式定義為：

A(f)=2.6×(0.019 2+0.114f)e-(0.114f)1.1

(1)

圖2 Campbell-Ronbson CSF圖表

圖3 CSF函數(shù)模型

1.2.2 光適應(yīng)性

人類(lèi)對(duì)亮度的視覺(jué)感知特性通常是對(duì)物體的絕對(duì)亮度感知較差而對(duì)亮度的相對(duì)差異卻是極其敏感。對(duì)于物體與其周?chē)尘暗牧炼葘?duì)比度一般有兩種定義。

(1)亮度感知遵循韋伯(Weber)定律,表示為：

(2)

其中，I表示為背景亮度值，ΔI表示為HVS恰可察覺(jué)的在背景中增加的亮度。

(2)Michelson對(duì)比度定義表示為：

(3)

其中,Imax、Imin分別表示最大和最小亮度值。由式(2)對(duì)比度延伸的主觀亮度S可以表示為：

S=klnI+k0=klgI+k0

(4)

其中,k為常數(shù)，與整個(gè)圖像亮度平均值相關(guān)，k0=kln10,k0為常數(shù)。由此可見(jiàn)，人眼感知的主觀亮度并不與客觀亮度成線(xiàn)性關(guān)系，而是與其對(duì)數(shù)成線(xiàn)性關(guān)系。

2 視頻質(zhì)量評(píng)估方法分類(lèi)

在視頻處理程序中，人都是最終的接收者，所以最可靠的視頻質(zhì)量評(píng)價(jià)應(yīng)該是主觀質(zhì)量評(píng)價(jià)方法[8]。主觀質(zhì)量評(píng)價(jià)就是選擇一批觀測(cè)者，在特定的環(huán)境下，根據(jù)一定規(guī)則觀看測(cè)試序列，并對(duì)視頻進(jìn)行評(píng)分，去掉不合理的評(píng)分之后，對(duì)剩下的評(píng)分求平均分?jǐn)?shù)值(Mean Opinion Score, MOS)。通常采用5分制來(lái)進(jìn)行評(píng)分，評(píng)分標(biāo)準(zhǔn)如表1所示。

表1 視頻主觀質(zhì)量五分制評(píng)分

目前采用的主觀視頻質(zhì)量評(píng)估方法主要是雙激勵(lì)損傷度分級(jí)法(DSIS)、雙激勵(lì)連續(xù)質(zhì)量分級(jí)法(DSCQS)、單激勵(lì)連續(xù)質(zhì)量分級(jí)法(SSCQE)、單刺激評(píng)價(jià)方法(SSM)及同步雙刺激連續(xù)質(zhì)量評(píng)價(jià)法(SDSCE)5種[9]。各評(píng)估方法比較如表2。

表2 5種視頻主觀質(zhì)量評(píng)價(jià)方法比較

主觀質(zhì)量評(píng)價(jià)方法一直都被認(rèn)為是最接近人眼視覺(jué)效果的評(píng)價(jià)方法[10]。但是主觀質(zhì)量評(píng)價(jià)方法受觀看的距離、觀測(cè)的環(huán)境、測(cè)試序列的選擇、序列的顯示時(shí)間間隔等因素的影響，實(shí)現(xiàn)起來(lái)步驟復(fù)雜，代價(jià)昂貴，耗時(shí)代價(jià)高，嚴(yán)格的測(cè)試環(huán)境決定了它無(wú)法進(jìn)行實(shí)時(shí)監(jiān)測(cè)，因此在實(shí)際中并不能得到很好的應(yīng)用。

目前的視頻質(zhì)量評(píng)價(jià)方法主要集中在客觀質(zhì)量評(píng)價(jià)上。客觀評(píng)價(jià)按照原參考視頻幀的可獲得程度可分為三類(lèi)：全參考方法(Full Reference FR)、部分參考方法(Reduce Reference,RR)和無(wú)參考方法(No Reference，NR)[11-13]。圖4為客觀評(píng)價(jià)方法的流程圖。

圖4 客觀質(zhì)量評(píng)價(jià)方法原理圖

目前常用的FR視頻質(zhì)量評(píng)價(jià)方法是均方誤差和峰值信噪比[14]，其定義為：

(5)

(6)

式中：xi、yi分別表示原始圖像和失真圖像第i個(gè)像素灰度值，N為像素的總數(shù),n為每像素比特?cái)?shù)。MSE和PSNR的質(zhì)量評(píng)價(jià)方法沒(méi)有考慮到人眼特性，Wang Zhou提出的SSIM的評(píng)價(jià)方法，通過(guò)計(jì)算失真視頻幀的亮度、對(duì)比度與結(jié)構(gòu)相似性，來(lái)評(píng)價(jià)失真視頻幀的質(zhì)量。定義如下：

(7)

(8)

(9)

其中，l(x,y)表示亮度，c(x,y)表示對(duì)比度，s(x,y)表示結(jié)構(gòu)相似度，聯(lián)合亮度、對(duì)比度和結(jié)構(gòu)相似度得到：

SSIM(x,y)=[l(x,y)α]·[c(x,y)β]·[s(x,y)γ]

(10)

假設(shè)α=β=γ=1，C3=C2/2，則上式可以簡(jiǎn)化成：

(11)

對(duì)于所有的視頻幀求平均得：

(12)

實(shí)驗(yàn)表明，SSIM的評(píng)價(jià)方法較MSE和PSNR的評(píng)價(jià)方法有了很大的提高，后來(lái)的研究學(xué)者在SSIM的基礎(chǔ)，又提出了MSSSIM、SSSIM、IW-SSIM等評(píng)價(jià)方法，評(píng)價(jià)效果較SSIM的方法又有了很大的提高。

3 實(shí)驗(yàn)結(jié)果及分析

視頻數(shù)據(jù)為L(zhǎng)IVE實(shí)驗(yàn)室所建立的LIVE視頻質(zhì)量數(shù)據(jù)庫(kù),原始視頻是由10個(gè)幀率為 25 f/s或50 f/s，分辨率為768×432的不同場(chǎng)景的序列，通過(guò)無(wú)線(xiàn)網(wǎng)絡(luò)傳輸失真、IP網(wǎng)絡(luò)傳輸失真、H.264壓縮失真和MPEG-2壓縮失真4種失真類(lèi)型得到的150個(gè)視頻。本次實(shí)驗(yàn)采用無(wú)線(xiàn)網(wǎng)絡(luò)傳輸失真的其中一個(gè)視頻，原始視頻和參考視頻的第50幀如圖5所示。

圖5 失真視頻幀(第50幀)的幾種質(zhì)量評(píng)價(jià)結(jié)果圖

其中，圖5(a)為原始視頻的第50幀,(b)為參考視頻幀的第50幀，(c)是利用MSE的評(píng)價(jià)方法進(jìn)行評(píng)價(jià)，(d)采用PSNR的方法進(jìn)行質(zhì)量評(píng)價(jià)。針對(duì)PSNR值，PSNR平均值為34 dB，表示編碼失真不會(huì)被察覺(jué)；若PSNR值高于40 dB，參考視頻幀接近原始視頻幀；若PSNR值在30～40 dB,失真視頻幀能被察覺(jué)，不影響觀看；若PSNR值在20～30 dB,視頻幀質(zhì)量很差；低于20 dB，圖像質(zhì)量特別差，不能被接受。圖(e)、(f)分別利用SSIM和MSSSIM的方法進(jìn)行評(píng)價(jià)，評(píng)價(jià)值越接近于1，表示參考視頻幀越接近于原始視頻幀，視頻的質(zhì)量越好。由圖可知，MSSSIM的評(píng)價(jià)方法更優(yōu)于SSIM的評(píng)價(jià)效果。

4 結(jié)束語(yǔ)

目前對(duì)于網(wǎng)絡(luò)視頻質(zhì)量評(píng)價(jià)的研究還處于初級(jí)階段，在未來(lái)的研究中，仍然是一大熱點(diǎn)。本文針對(duì)網(wǎng)絡(luò)視頻在傳輸中的失真問(wèn)題，在分析人類(lèi)視覺(jué)系統(tǒng)的基礎(chǔ)上，利用LIVE數(shù)據(jù)庫(kù)中的無(wú)線(xiàn)網(wǎng)絡(luò)傳輸?shù)氖д嬉曨l，就MSE、PSNR、SSIM，以及改進(jìn)的MSSSIM的評(píng)價(jià)方法進(jìn)行了仿真對(duì)比，結(jié)果表明，融入視覺(jué)感知的質(zhì)量評(píng)價(jià)方法的效果更佳。

[1] 王一秀,韓焱.基于人眼視覺(jué)特性的X線(xiàn)圖像質(zhì)量評(píng)價(jià)方法[J].微型機(jī)與應(yīng)用，2010，29(9)：38-40.

[2] 姚軍財(cái).基于人眼對(duì)比度敏感視覺(jué)特性的圖像質(zhì)量評(píng)價(jià)方法[J].液晶與顯示,2011, 26(3):390-396.

[3] 馮欣.基于視覺(jué)顯著性的網(wǎng)絡(luò)丟包圖像和視頻的客觀質(zhì)量評(píng)估方法研究[D].重慶:重慶大學(xué)，2011.

[4] 張慧.圖像感知哈希測(cè)評(píng)基準(zhǔn)及算法研究[D].哈爾濱:哈爾濱工業(yè)大學(xué)，2009.

[5] Wang Zhou, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[6] CHEN G H, YANG C L, PO L M, et al.Edge-based structural similarity for image quality assessment[C].2006 IEEE International Conference on Acoustics, Speech and Signal Processing, 2006: 2181-2184.

[7] 費(fèi)選.圖像結(jié)構(gòu)信息驅(qū)動(dòng)的壓縮感知重建算法及重建質(zhì)量評(píng)測(cè)[D].杭州：南京理工大學(xué)，2014.

[8] 林翔宇.無(wú)參考視頻質(zhì)量評(píng)價(jià)方法研究[D].杭州：浙江大學(xué)，2012.

[9] 朱晗江.圖像質(zhì)量評(píng)價(jià)方法的研究與實(shí)現(xiàn)[D].西安：西安電子科技大學(xué),2014.

[10] 王康.一種基于客戶(hù)端無(wú)線(xiàn)視頻傳輸質(zhì)量評(píng)價(jià)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京郵電大學(xué):2014.

[11] MA L,DENG C W,NGAN K N,et.al. Recent advances and challenges of visual signal quality assessment[J].China Communications,2013(5):62-78.

[12] CHANDLER D M.Seven challenges in image quality assessment:past,present,and future research[J]. ISRN Signal Processing,2013(8):1-53.

[13] 朱文斌,陳強(qiáng),楊曦晨.基于人眼視覺(jué)特性的X線(xiàn)圖像質(zhì)量評(píng)價(jià)方法[J].現(xiàn)代電子技術(shù)，2015,38(18)：81-88.

[14] 朱宏.基于視覺(jué)感知的視頻質(zhì)量客觀評(píng)價(jià)方法研究[D].寧波：寧波大學(xué),2014.

Research on network video quality evaluation method based on visual perception

Zhou Chuanxing, Tu Qiaoling, Zhang Jie, Zhang Han

(School of Electrical and Electronic Engineering, Chongqing University of Technology, Chongqing 400054, China)

Network video in the process of transmission, because of the coding distortion or distortion of packet loss, bring obvious visual impact to the user. The mean square error and peak signal to noise ratio of the traditional quality evaluation methods do not consider the human visual characteristics. This article describes the basic characteristics of human visual system, then introduces the advantages and disadvantages of subjective and objective quality evaluation methods and the suitable environment, using the LIVE video database, based on comparing several evaluation methods, the results show that the evaluation method of integrating visual perception is closer to the human eye effect.

visual perception; network video; full reference quality assessment;mean square error; peak signal noise ratio

重慶市教委科學(xué)技術(shù)研究項(xiàng)目(KJ1600937)；重慶理工大學(xué)青年科研項(xiàng)目星火計(jì)劃(2014XH12)

TP919

A

10.19358/j.issn.1674- 7720.2017.11.011

周傳興，涂巧玲，張杰，等.基于視覺(jué)感知的網(wǎng)絡(luò)視頻質(zhì)量評(píng)價(jià)方法研究[J].微型機(jī)與應(yīng)用，2017,36(11)：37-39,43.

2017-02-12)

周傳興(1991-)，男，碩士，主要研究方向：無(wú)線(xiàn)傳感器網(wǎng)絡(luò)。

涂巧玲(1963-)，女，碩士，教授，主要研究方向：控制技術(shù)及無(wú)線(xiàn)傳感器網(wǎng)絡(luò)。

張杰(1977-)，女，碩士，講師，主要研究方向：無(wú)線(xiàn)傳感器網(wǎng)絡(luò)，嵌入式系統(tǒng)。