立體視頻質量評價方法的研究綜述

李思原，都騰躍，馬亞男，吳健

（上海大學通信與信息工程學院新媒體工程研究中心，上海200072）

立體視頻質量評價方法的研究綜述

李思原，都騰躍，馬亞男，吳健

（上海大學通信與信息工程學院新媒體工程研究中心，上海200072）

立體視頻能夠使觀眾獲得更好的視覺體驗，立體視頻技術具有廣闊的應用前景，目前已成為視覺信號分析領域的研究熱點。然而，立體視頻不僅在拍攝、編碼、壓縮、傳輸、解碼和顯示等過程中產生失真，還會出現(xiàn)影響視覺體驗的立體視頻所特有的質量問題，立體視頻質量下降會影響觀看時的效果，產生視覺疲勞。因此，立體視頻的質量在人們的三維感知和立體體驗過程中起著非常重要的作用。簡述了立體視頻質量評價的研究現(xiàn)狀與重要性、立體視頻質量評價的兩類方法，進一步分析了影響立體視頻質量的主要因素。

立體視頻；主觀舒適度；主觀評價；客觀評價

近年來，隨著數(shù)字圖像處理技術的進步，立體視頻技術取得了重大發(fā)展，與傳統(tǒng)二維視頻相比較，立體視頻的深度立體感能給觀眾帶來全新的視覺感受，讓觀眾獲得非常真實自然的視覺體驗。

立體視頻的發(fā)展速度較快。影響人眼主觀舒適度的原因非常復雜，立體視頻在采集、編碼、傳輸、解碼以及顯示等多個步驟都可能引入噪聲導致失真，進而使立體視頻系統(tǒng)性能的下降。

視屏質量的下降會造成觀看體驗變差，從而影響觀看者的主觀舒適度，使得觀看者出現(xiàn)眼睛干澀、紅腫、惡心、頭痛甚至失明等問題[1]。因此，準確地對立體視頻質量進行評價對提高立體視頻系統(tǒng)的性能，增強觀眾的視覺體驗有著重要的意義[1]。在研究立體視頻舒適度評價時，不論是攝錄、壓縮、傳輸中產生的噪聲，以及立體視頻內容本身所包含的亮度、色彩、對比度、紋理、目標的運動、視差等都是應該考慮到的[1]。

立體視頻質量評價對于提高立體視頻系統(tǒng)性能有著非常重要的意義，在實際中的許多場景都有著豐富的應用前景：立體視頻質量評價技術可以實時地對立體視頻系統(tǒng)進行分析，并根據(jù)測試結果實時地修正立體視頻的質量；在立體視頻通信系統(tǒng)中，可以通過質量評價調整系統(tǒng)處理算法和相關參數(shù)，優(yōu)化整個立體視頻通信系統(tǒng)；在立體視頻系統(tǒng)的解碼端，圖像重建、誤碼掩蓋、圖像修復和圖像后處理等算法可以根據(jù)立體視頻質量評價的結果來進行優(yōu)化；通過建立有效的質量評價模型，可以可靠地對立體視頻系統(tǒng)的性能進行準確評價。

對立體視頻質量評價的研究目前依然處于起步的階段，且很多針對立體視頻質量進行評價的方法都是在通過對傳統(tǒng)二維視頻的相關特性進行研究與分析并加以改進，將傳統(tǒng)二維視頻系統(tǒng)質量評價的方法移植到立體視頻系統(tǒng)上來，與傳統(tǒng)二維視頻相比，在評價立體視頻時還應更多考慮立體視頻中特有的因素，比如可視質量、深度質量以及立體視覺主觀舒適度等特征。三維視頻和二維視頻處理過程的關系如圖1所示。

圖1 3D視頻處理過程與2D視頻處理過程對比

在二維視頻中的許多特征都在立體視頻中得以體現(xiàn)，立體視頻與傳統(tǒng)二維視頻許多特征十分相似，立體視頻基于傳統(tǒng)二維視頻，比傳統(tǒng)二維視頻多了一個維度，可以認為立體視頻是傳統(tǒng)二維視頻的擴展。由于傳統(tǒng)二維的視頻質量評價方法對人眼立體視覺感知特性和立體視頻中的立體特征因素缺乏相應的分析與研究，因此，需要充分研究與人眼立體舒適度相關的特征，從而設計出一套針對立體視頻質量評價的可靠評價方法。除了傳統(tǒng)二維視頻所包含的視頻質量問題，立體視頻還引入了以下問題：在采集立體信號時出現(xiàn)的立體視頻失真、左右視點不同步、拍攝系統(tǒng)不穩(wěn)定導致的垂直視差等問題；顯示過程中，顯示設備的色彩和亮度不規(guī)范；左右視點顏色、對比度、視差的不同步會造成雙目競爭。

可以將立體視頻質量評價方法分為主觀評價方法和客觀評價方法[2]。

1 立體視頻質量主觀評價方法

立體視頻質量主觀評價需要按照一定方法設計主觀評價實驗，安排測試人員依照規(guī)定的評分等級對觀看立體視頻時感受到的視覺舒適度情況進行打分，得到的主觀分值作為實驗結果，能很好地體現(xiàn)立體視頻在舒適度方面的差異。然而，在主觀實驗中存在許多不穩(wěn)定因素會干擾主觀評價實驗結果，使得實驗結果可信度降低。這些不穩(wěn)定因素包括測試者的挑選和數(shù)量、實驗數(shù)據(jù)篩選和處理、主觀評價實驗設備和環(huán)境、主觀評價試驗流程設計等重要的影響因素。

為了降低在主觀評價實驗中的不穩(wěn)定因素對主觀實驗結果可靠性的干擾，規(guī)范主觀評價實驗流程，國際電信聯(lián)盟ITU公布了一系列主觀評價實驗的標準，如ITU-RBT.1438、ITU-RBT.500-11、ITU-T P.910和ITU-RBT.1788等。這些標準對進行主觀評價實驗的參與者、評分等級、實驗設備、實驗環(huán)境、實驗流程以及數(shù)據(jù)分析等進行了規(guī)定[3]。

通過大量主觀舒適度實驗得到的主觀舒適度分值，可以體現(xiàn)人類的立體視頻視覺感知特性，同時，為之后的立體視頻質量評價的研究奠定基礎。圖2為立體主觀評價方法的測試過程。

圖2 主觀評價方法的測試過程

按照是否存在參考視頻和實驗中視頻是否隨機播放，將立體視頻主觀質量評價方法劃分為4大類：單激勵法（SSIS）、單激勵連續(xù)質量分級法（SSCQE）、雙激勵損傷度分級法（DSIS）、雙激勵連續(xù)質量分級法（DSCQS）[3]。

立體視頻數(shù)據(jù)庫主觀舒適度分值能夠驗證相關客觀評價方法的合理性與可靠性，因此，當前的立體視頻質量評價通常都圍繞一些立體視頻庫開展研究，對立體視頻庫進行分析，得到影響立體視頻質量的規(guī)律，并建立能夠普遍適用于其他立體視頻的評價模型。目前，已經建立了非常豐富的圖像與視頻數(shù)據(jù)庫，這些數(shù)據(jù)庫中每幅失真圖像都有相應的主觀評價分值，比如LIVE[4]、Cornell A57[5]、韓國高等研究院三維圖片庫[6]、TID2008[7]、VQEG[8]、IRCCy N/IVC數(shù)據(jù)庫等帶有立體視頻主觀分值的圖像與視頻數(shù)據(jù)庫[9]。對于三維立體圖像與視頻質量評價，MOBILE 3DTV建立了1個包含6種包含不同的失真類型的立體視頻庫、韓國延世大學建立的立體視頻庫共包含67個視屏序列。以上數(shù)據(jù)庫不包含主觀評分[10]。

2 立體視頻質量評價客觀評價方法

在立體視頻主觀評價方法中，主觀舒適度對實驗流程、實驗具體的環(huán)境、顯示及播放等實驗設備及測評者數(shù)量和素質等方面具有很高的要求，實驗過程易受到不穩(wěn)定因素的影響，導致實驗結果可靠性降低，主觀評價實驗結果難以移植到其他的評價系統(tǒng)，且不能立即得出結果。而客觀評價法不存在上述問題，客觀評價方法通過建立算法模型來模擬人眼對立體視頻的視覺特性，評價立體視頻質量的好壞，評價結果以數(shù)據(jù)的形式來體現(xiàn)視頻質量差異，通?？梢园凑帐д嬉曨l與原始視頻之間的相關性大小將客觀質量評價方法分為全參考法、部分參考法、無參考法。圖3為這3類評價方法的分類及關系圖。

圖3 客觀評價方法分類

立體視頻質量評價除了需要考慮傳統(tǒng)二維視頻質量評價所包含的視頻圖像質量因素以外，還要對人眼舒適度、畫面深度感、自然性等因素加以分析，建立計算機算法以及數(shù)學模型的方法分析立體視頻的質量。由于主觀實驗得到的主觀舒適度分值可以反映觀測者對立體視頻質量的主觀感受，客觀評價結果需要和人類視覺特性保持一致，因此，使用主觀舒適度的實驗結果主觀舒適度分值可以驗證相關客觀評價方法的合理性。

視頻由一幀幀圖像組成，圖像中很多特性在視頻中同樣存在，通過對立體圖像評價方法的研究，可以總結出針對立體視頻的客觀評價方法，Jin等使用塊匹配方法來確定左右2個視點的最佳匹配塊，構造出塊匹配的三維矩陣，然后對構造出的匹配矩陣進行三維離散余弦變換，再結合視頻亮度同步掩蔽效應，提出一種基于3D-DCT的客觀評價方法[11]。Hewage等通過分析立體視頻左右視點之間的視差估取立體視頻深度圖，提取出深度圖邊緣信息以及彩色圖像邊緣的鄰近信息，分析得出相關的立體特征，提出一種部分參考的立體視頻質量客觀評價方法[12]。

國內寧波大學邵峰等對立體視頻的顯著性區(qū)域進行了分析，結合亮度、對比度等因素，提出了一種基于部分參考的客觀評價方法[13]。上海大學張艷等分析了立體視頻中亮度信息，對立體視頻質量的影響，在雙目亮度關系的基礎上，結合峰值信噪比提出了一種基于視覺感知的立體視頻質量的評價方法BPSPNR[14]。

除了對立體視頻質量評價基于多視點視頻進行研究，也有學者基于單一視點視頻對立體視頻質量展開研究。Yasakethu等將SSIM、PSNR和VQM方法結合立體視頻左右視點平均的方法應用到立體視頻質量評價，將彩色視頻與估取到的深度信息進行結合，進行了研究分析，提出了部分參考的客觀質量評價算法[15]。Joveluro等基于視頻亮度掩蔽效應對立體視頻質量評價算法進行研究，分析亮度對立體視頻質量的影響規(guī)律，重點考慮了亮度因素的影響規(guī)律，在單一視點視頻質量評價的方法的基礎之上加以改進，提出了基于視覺感知的客觀評價方法PQM[16]。

3 結束語

由于人眼視覺系統(tǒng)復雜性強，而目前對人眼視覺感知特性和各種深度特征的研究與認識還不夠深入。要想提高立體視頻質量評價系統(tǒng)可靠性，需要對立體成像的原理和人類立體視覺感知心理和行為特性進行更進一步研究。

另外，對立體視頻質量評價現(xiàn)有的方法進行分析并加以改進具有重大意義，改良相關的評價方法可以提升立體視頻系統(tǒng)性能。比如，制作立體視頻質量評價中的立體視頻庫時引入更豐富的客觀因素和更多的場景內容，使立體視頻庫可以適應更多的立體視頻質量評價研究。主觀測試實驗應更加科學、嚴謹，以保證立體視頻庫主觀分值的可靠性；需要進一步分析和提取更多影響人類視覺舒適度的因素，尤其和人眼立體視覺感知的相關特征；在客觀另加時對相關立體特征進行提取時適用更可靠的算法。

總之，立體視頻質量評價目前還處于探索階段，對立體視頻質量評價進行更進一步的探索和研究可以提高整個立體視頻系統(tǒng)的性能。

［1］孔真真.基于視覺感知的立體圖像質量客觀評價方法研究［D］.寧波：寧波大學，2014.

［2］Seshadrinathan K，Soundararajan R，Bovik A C，et al.Study of subjective and objective quality assessment of video.IEEE Transactions on Image Processing，2010，19（06）.

［3］張艷.立體視頻質量評價關鍵技術研究［D］.上海：上海大學，2013.

［4］Sheikh H R，Sabir M F，Bovik A C.Astatistical evaluation of recent full reference image quality assessment algorithms.IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2006，15（11）.

［5］Chandler D M，Hemami S S.VSNR：a wavelet-based visual signal-to-noise ratio for natural images.IEEE Transactions on Image Processing，2007，16（09）.

［6］Jung C，Wang S.Visual comfort assessment in stereoscopic 3D images using salient object disparity.Electronics Letters，2015，51（06）.

［7］Ponomarenko N，Lukin V，Zelensky A，et al.TID2008-A Database for Evaluation of Full-Reference Visual Quality Assessment Metrics.Adv Modern Radioelectron，2009（10）.

［8］Masry M A，Hemami S S.A metric for continuous quality evaluation of compressed video with severe distortions.Signal Processing Image Communication，2004，19（02）.

［9］Lin W，Kuo C C J.Perceptual visual quality metrics：A survey.Journal of Visual Communication&Image Representation，2011，22（04）.

［10］Moorthy A K，Su C C，Mittal A，et al.Subjective evaluation of stereoscopic image quality.Signal Processing Image Communication，2013，28（08）.

［11］Jin L，Boev A，Gotchev A，et al.3D-DCT based perceptual quality assessment of stereo video.IEEE International Conference on Image Processing.IEEE，2011.

［12］Ekmekcioglu E，Worrall S，Silva D D，et al.Depth Based Perceptual Quality Assessment for Synthesised Camera Viewpoints.User Centric Media.Springer Berlin Heidelberg，2010.

［13］邵楓，姜求平，蔣剛毅，等.基于顯著性分析的立體圖像視覺舒適度預測［J］.光學精密工程，2014，22（06）.

［14］Zhou Y，Zhang Y.Modeling Abstract Behavior：A Dynamic Logic Approach.Ai 2009：Advances in Artificial Intelligence，Australasian Joint Conference，Melbourne，Australia，December 1-4，2009.Proceedings.DBLP，2009.

［15］Yasakethu S L P，Hewage C T E R，F(xiàn)ernando WA C，et al.Quality analysis for 3D video using 2D video quality models.IEEE Transactions on Consumer Electronics，2008，54（04）.

［16］Yilmaz G N.A no reference depth perception assessment metric for 3D video.Multimedia Tools and Applications，2015，74（17）.

〔編輯：張思楠〕

TP391.41

A

10.15913/j.cnki.kjycx.2017.14.013

2095－6835（2017）14－0013－03

李思原（1994—），男，研究方向為立體視頻質量評價。都騰躍（1993—），男，研究方向為立體三維成像與裸眼3D。