亮度優(yōu)化立體視頻視覺舒適度評價

王曉燕，王世剛，姜秀紅，趙曉琳

(吉林大學(xué) 通信工程學(xué)院，吉林 長春 130012)

?

亮度優(yōu)化立體視頻視覺舒適度評價

王曉燕，王世剛*，姜秀紅，趙曉琳

(吉林大學(xué) 通信工程學(xué)院，吉林 長春 130012)

摘要：結(jié)合立體視頻幀左右視圖的灰度圖，采用魯棒性算法與軟剪刀算法相結(jié)合的“畫筆”方案來提取立體視頻幀的前景區(qū)域，合成視差圖并提取水平視差，計算深度視差；根據(jù)主觀評價結(jié)果建立視差深度—視覺舒適度模型，再結(jié)合亮度對視覺舒適度的評價模型進行優(yōu)化，使模型的評分更接近人類視覺系統(tǒng)的評分；結(jié)合人類主觀評價實驗的結(jié)果，用逆向代入法求出模型的系數(shù)確定模型，最終實現(xiàn)基于人類視覺系統(tǒng)特性的對立體視頻視覺舒適度的評價。實驗結(jié)果表明：通過視覺舒適度模型計算得到的結(jié)果與人類主觀評價結(jié)果之間的誤差率不超過5%，其中大部分視頻誤差率不超過1%。說明評價模型更符合人類主觀感知結(jié)果的立體視頻視覺舒適度，模型評分更接近人類視覺系統(tǒng)特性的主觀實驗評分，這為立體視頻舒適度的評價提供了參考。

關(guān)鍵詞:立體視頻；視覺舒適度；亮度；深度視差

1引言

隨著多媒體技術(shù)和互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，3D立體視頻技術(shù)正在不斷地趨于成熟，與傳統(tǒng)的普通視頻相比，它可以清晰地重現(xiàn)客觀世界的景象信息，突出場景的層次感和景象的真實性，使觀眾獲得更加強烈的臨場感和視覺沖擊，越來越多的3D視頻應(yīng)用正在改變著人們的生活[1-4]。2012年，我國立體視頻電視試驗頻道開播，這將我國立體視頻的產(chǎn)業(yè)帶入了一個全新的發(fā)展階段。頻道開播三年多，通過各界多方參與，積累了諸多寶貴經(jīng)驗，為我國探索發(fā)展3D電視業(yè)務(wù)，提升我國電視發(fā)展水平發(fā)揮了重要作用。與此同時，3D電視產(chǎn)業(yè)經(jīng)過多年的發(fā)展，仍然受到節(jié)目內(nèi)容、運營模式、人才儲備、技術(shù)標(biāo)準(zhǔn)、技術(shù)應(yīng)用等諸多問題的影響與制約，尚未形成良性的產(chǎn)業(yè)鏈條。當(dāng)前，中國的立體視頻源產(chǎn)業(yè)正處于發(fā)展的重要階段，如何才能促進我國3D電視產(chǎn)業(yè)進行持續(xù)而健康的發(fā)展，已經(jīng)成為立體視頻行業(yè)關(guān)注的重要問題。但是由于立體視頻技術(shù)自身的不完善性以及對觀影環(huán)境的要求苛刻，導(dǎo)致了人們在觀看立體視頻時經(jīng)常會出現(xiàn)一些視覺不適癥狀，如頭暈、眼花，嚴重時甚至?xí)杏X惡心，導(dǎo)致嘔吐等癥狀[5]。

對立體視頻視覺舒適度的研究已經(jīng)有將近20年的歷史，通過對立體圖像進行的大量主觀評價實驗，結(jié)合所得實驗結(jié)果，得出了以下結(jié)論：引起人眼視覺不舒適的原因有很多，其中包括圖像的亮度、飽和度、色度等，而且如果圖像中對象的深度視差過大也會導(dǎo)致立體視頻的視覺舒適度下降。國外學(xué)者也對影響立體圖像舒適度的各種誘因進行了探索[6-9]，其中Kooi通過實驗對有可能造成雙目立體圖像舒適度的影響因素進行了系統(tǒng)的研究[10]，其中包括對視差、亮度、色度、對比度、串?dāng)_等的研究。

國內(nèi)學(xué)者李小方證實了亮度和顏色差異過大的左右視圖會在人眼中產(chǎn)生不匹配的視差圖像[2]。天津大學(xué)楊蕾定性研究了影響雙目立體成像系統(tǒng)顯示效果的四種因素，即亮度、色度、對比度和分辨率[3]。

國際標(biāo)準(zhǔn)化組織 ISO 于2000年發(fā)布了IWA3:Image safety，該份文件關(guān)于立體圖像/視頻的相關(guān)安全性明確闡述了當(dāng)視圖紋理特性差異過大，視覺生理健康會受到較為嚴重的影響，長久積累將會出現(xiàn)相關(guān)的并發(fā)癥狀，該標(biāo)準(zhǔn)還涉及包括觀看、內(nèi)容制作、顯示設(shè)備制造等3D產(chǎn)業(yè)的各個環(huán)節(jié)[11]，為了實現(xiàn)保證觀影者獲得較好視覺觀測體驗，應(yīng)該保證立體顯示技術(shù)的各個環(huán)節(jié)都是基于該標(biāo)準(zhǔn)完成實施的，這是保證最佳觀影效果的基本要求。

觀看立體視頻的視覺舒適度已經(jīng)直接關(guān)系到了觀影者的生理健康，這是制約立體產(chǎn)品發(fā)展的一個主要因素，這一觀點正逐漸被立體視頻用戶廣泛認同。而立體視頻是由一幅一幅的圖像組成，所以對圖像視覺舒適度評價是對立體視頻視覺舒適度評價的基礎(chǔ)[12]。到目前為止，國際上對立體視頻視覺舒適度的評價暫時還沒有制定統(tǒng)一的標(biāo)準(zhǔn)，因此，研究立體視頻視覺舒適度的影響因素顯得尤為重要，而如何建立一個基于人類視覺系統(tǒng)的立體視頻視覺舒適度評價模型具有重要的意義。

2主觀實驗評價準(zhǔn)備

2.1　主觀實驗設(shè)備標(biāo)定

本次實驗是在NVIDIA 3D Vision顯示平臺下進行的，其中放映設(shè)備采用Sony VPL-HW30ES立體視頻投影儀。該投影儀較為廣泛地應(yīng)用于家庭影院播放、視頻質(zhì)量觀測、醫(yī)療景象分析等領(lǐng)域，可以快捷地完成立體視頻的播放工作，且具有立體成像效果顯著、色彩逼真、清晰度高，層次感強等優(yōu)點。

2.2　實驗人員標(biāo)定

對于觀測人員的選用，為了保證其觀測結(jié)果的合理性與有效性，需要對一系列影響因素予以限定以保證實驗可以正常進行，其中包括年齡、性別、視力、有無視覺方面的生理疾病、有無觀測立體視頻的經(jīng)驗等[11]。這里根據(jù)是否具有立體視頻主觀評價經(jīng)驗對觀測者予以區(qū)分，其中有觀測經(jīng)驗的專家被試者可以在全面感受畫質(zhì)的同時，利用心里尺度準(zhǔn)確地對視頻進行主觀評價，而非專家被試者由于缺少相關(guān)經(jīng)驗，需要事先安排一系列的培訓(xùn)，以保證可以得到較為合理準(zhǔn)確的評判結(jié)果。

本次實驗選用雙目視覺以及生理正常的觀測人員，其中視覺正常包括：裸視或佩戴眼鏡矯正視力達到1.0，并且觀測人員沒有對實驗結(jié)果產(chǎn)生影響的視覺方面生理疾病。被試者共20人(有立體視頻觀測經(jīng)驗，佩戴主動快門式眼鏡無不良反應(yīng)且能夠正確透徹地理解評判標(biāo)準(zhǔn)，評分過程中不帶有主觀傾向性的專業(yè)人士作為觀測者)，年齡為20~35歲，其中男性12人，女性8人；有觀測經(jīng)驗的專家被試者10人，培訓(xùn)后有觀測經(jīng)驗的非專家被試者10人[11]。

2.3　實驗片源及場景的標(biāo)定

在觀測過程中，立體屏幕擺放高度設(shè)定為1.2 m，經(jīng)測試發(fā)現(xiàn)，觀測者在距離3倍屏幕高度的位置處[10]，可以獲得較好的立體觀測效果，且不易產(chǎn)生視覺不舒適的感覺。所以本次實驗讓觀測者坐在距離立體屏幕3.6 m處完成對立體視頻的觀看。實驗中播放的立體視頻序列采用國際視頻組織發(fā)布的標(biāo)準(zhǔn)視頻序列，以保證實驗結(jié)果具備普遍適用性，且設(shè)定播放間隔為20 s，防止觀測者長時間觀看視頻產(chǎn)生主觀因素的誤差。

瞳孔可以根據(jù)外界入射光的強弱調(diào)節(jié)其自身大小，使映射到視網(wǎng)膜上的光通量盡可能適中[13]。在不同的亮度環(huán)境下，人眼對于同一實際亮度所產(chǎn)生的相對亮度感覺是存在差異的，同時人眼在弱光環(huán)境下對亮度信息的感知更為敏感，所以本實驗采用全遮光式實驗環(huán)境，以保證外界亮度環(huán)境一致，也使實驗更具準(zhǔn)確性。

2.4　主觀評分標(biāo)準(zhǔn)

依據(jù)ITU(International Telecommunication Union)對電視視頻質(zhì)量主觀評價推薦的準(zhǔn)則[14]，可將立體圖像舒適度評分歸為分5個等級，本實驗為了提高實驗數(shù)據(jù)的準(zhǔn)確性，采取百分制打分，然后將分數(shù)按比例規(guī)范化為5分制，這樣可使評分的精度達到0.1，并且4分以下數(shù)據(jù)為不可用數(shù)據(jù)，將其排除。具體舒適等級描述以及評分標(biāo)準(zhǔn)由表1給出。

表1　舒適度等級描述以及評分標(biāo)準(zhǔn)

3系統(tǒng)模型的建立

3.1　立體成像的原理

人們之所以能看到立體圖像，是因為立體圖像是由視差圖構(gòu)成。所謂視差圖，是由兩個具有同樣參數(shù)的相機按照一定距離進行放置，同時對同一場景進行拍攝得到的，這樣的兩幅圖像叫做視差圖。在具備一定條件時,人眼只能接受一定范圍內(nèi)的視差,這一范圍為人眼的融合范圍。左右視圖中存在差異的圖像紋理在大腦皮層中被融合起來，形成中央眼視圖中穩(wěn)定存在的部分，如圖1所示。觀看平面視頻時左右眼的圖像完全相同，雙目圖像自然地被融合起來，雙目對不同視覺信號的融合作用處于限制狀態(tài)；而觀看立體視頻時，左右視圖存在的某些較弱的差異能夠在雙目融合和雙目抑制的作用下被弱化甚至被掩蔽。

圖1　左右眼圖像經(jīng)視覺系統(tǒng)融合后形成“中央眼”圖像的示意圖 Fig.1　Cyclopean eye with binocular fusion and binocular suppression

在人們生活的世界中，視覺輻輳效應(yīng)與視覺焦點調(diào)節(jié)是一致的。在觀看立體圖像時,若視差圖的視差大小在視覺融合范圍內(nèi),雖然輻輳和焦點調(diào)節(jié)不一致,大腦仍可以把視差圖自動融合成一幅立體圖像,所以在立體顯示器上能看到一幅具有深度感的立體圖像，如圖2所示。

圖2　視差的大小在融合范圍內(nèi) Fig.2　Binocular fusion

但是，如果視差圖的視差大小不在人眼融合范圍內(nèi),人們就無法將視差圖自動融合成一幅立體圖像,看到的就是一幅不清晰的串?dāng)_圖像，從而產(chǎn)生嚴重視疲勞，如圖3所示。

圖3　視差的大小在融合范圍外 Fig.3　Binocular suppression

3.2　前景區(qū)域提取

所謂前景，即為“距離觀察者近的部分”，或為鏡頭中位于前沿或靠近前沿的主體，一般為人或物。對于一幅圖像中的前景區(qū)域與背景區(qū)域兩個相鄰區(qū)域的邊緣來說，前景區(qū)域邊緣往往有明確的形狀，而背景區(qū)域與前景區(qū)域相鄰的邊緣一般沒有明確的形狀，好像是被前景遮掩了。除此之外，前景區(qū)域看起來比背景區(qū)域更接近觀看者，這個過程是人類感知的過程，稱之為前景區(qū)域與背景區(qū)域的感知。

首先，選取進行實驗的四段視頻序列中任意幀左、右兩幅匹配視圖，求出其標(biāo)準(zhǔn)視差圖，然后用GBVS顯著性檢測算法對圖像進行顯著性區(qū)域提取。該方法利用標(biāo)準(zhǔn)技術(shù)從一幅圖像中提取出一系列的特性，如強度、方向、顏色和對比度等以形成低階特征圖，然后定義在不同特征圖譜下的馬爾科夫鏈，然后將圖像上均衡分布的區(qū)域作為活動的和顯著性區(qū)域。

然后，通過自己的雙眼去確定通過計算機對顯著性區(qū)域(前景區(qū)域)進行的估計與基于人類視覺系統(tǒng)對人類感知到的前進區(qū)域是否一致。下一步，對前景區(qū)域進行提取，這是唯一需要用戶輸入的步驟。為了可以盡快提取到前景區(qū)域，又減少工作量，這一步采用魯棒性前景提取算法與軟剪刀方法相結(jié)合的前景提取方法，稱為“畫筆”方案。在這一方案中，只需在圖像的前景區(qū)域部分用鼠標(biāo)隨意畫幾筆，每畫一筆，系統(tǒng)就會根據(jù)畫筆痕跡把屬于前景區(qū)域的部分找出來；再在圖像的背景區(qū)域部分畫幾筆，每畫一筆，系統(tǒng)會自動把屬于背景的區(qū)域的部分找出來，然后進行大片的背景區(qū)域刪除。

圖4　前景區(qū)域提取 Fig.4　Extracting of foreground image

3.3　前景區(qū)域深度視差

視差分為交叉視差(即負視差、凸出于屏幕)和非交叉視差(即正視差、凹進于屏幕)，交叉視差時水平視差為負，非交叉視差時水平視差為正，為了計算方便，文中的ds為水平視差的絕對值。

如圖4實驗數(shù)據(jù)所示，水平屏幕視差ds與感知深度d的關(guān)系是非線性的，當(dāng)水平屏幕時差ds趨于W(屏幕寬度)時，曲線變得平直；當(dāng)水平屏幕視差趨于s(兩眼視距)時，曲線值急升，這可能導(dǎo)致錯誤的觀眾感知深度，但可以看出當(dāng)水平屏幕視差ds趨近于0附近時，曲線可近似化為線性。文中視頻均為國際視頻組織發(fā)布的標(biāo)準(zhǔn)序列，水平視差趨近于0，所以可以將水平視差與深度視差近似看作線性關(guān)系。

圖5　深度感知與水平視差的關(guān)系 Fig.5　Relationship between ds and d

(1)

式中：L為實驗場景中觀測者與屏幕間的觀測距離(為屏幕高度H的3倍)，s為兩眼視距(為65 mm)，在忽略掉垂直視差的情況下，ds為視差圖的水平視差絕對值。

3.4　前景區(qū)域亮度

亮度是指圖片的明暗程度，是顏色性質(zhì)的一種。在Lab色彩空間中，亮度是人類主觀明亮感覺的一種反映。根據(jù)人眼視覺機制，人眼感知的主觀亮度和實際的客觀亮度并非完全相同，但是有一定的對應(yīng)關(guān)系。

人眼能夠感覺的亮度范圍極寬，從千分之幾尼特到幾百萬尼特。通常，人類視覺能分辨的圖像灰度等級約為26，灰度級分為0~255共256級，本文用圖像的灰度級來表示圖像的亮度。實驗使用MATLAB 2010a處理前景區(qū)域圖像，將選取進行實驗的四段視頻序列中任意幀左、右兩幅匹配視差圖的前景區(qū)域進行從RGB顏色空間到Y(jié)UV顏色空間的轉(zhuǎn)換,然后分別提取出左右視圖中前景與背景區(qū)域的圖像亮度。

3.5　立體視頻舒適度的評價模型的建立

首先將主觀評價的實驗結(jié)果填入縱坐標(biāo)為人類主觀評價得分MOS、橫坐標(biāo)為立體對象凸出或凹入屏幕的視差深度d的坐標(biāo)系中，將標(biāo)注點連成光滑曲線，得到對應(yīng)的函數(shù)。將坐標(biāo)系中光滑曲線上的觀測點所對應(yīng)的當(dāng)前幀左、右兩幅匹配視圖，求出其標(biāo)準(zhǔn)視差圖，再用軟剪刀方法和魯棒性前景提取方法相結(jié)合的方法分別處理左、右視圖，得到各自的前景區(qū)域和背景區(qū)域。

將前景區(qū)域進行分割、提取，計算出視差深度d，再對前景區(qū)域與背景區(qū)域分別進行亮度信息提取，得到前景區(qū)域亮度l1，背景亮度l2。定義縱坐標(biāo)為人類主觀評價得分MOS與對應(yīng)函數(shù)vc值的差值δ，橫坐標(biāo)分別為前景區(qū)域亮度與背景區(qū)域亮度的坐標(biāo)系，將標(biāo)注點連成光滑曲線，得到相應(yīng)的函數(shù)。根據(jù)視覺深度d與人類視覺系統(tǒng)特性的函數(shù)的關(guān)系和通過亮度補償對人類主觀視覺評分影響的關(guān)系，得到立體視頻視覺舒適度評分的數(shù)學(xué)表達式：

S=vc+E=a1d3+a2d2+a3d+

(2)

其中，

(3)

(4)

式中：S為綜合視覺舒適度評分，vc為視覺舒適度評分，E為亮度補償?shù)梅郑琣,b,c,σ為特征參數(shù)，d為視差深度，l1為前景區(qū)域的亮度，l2為背景區(qū)域的亮度；σ賦值為0.75，通過逆向代入法求出模型的系數(shù)分別求出a1、a2、a3、a4；b1、b2、b3；c1、c2、c3。從而實現(xiàn)對立體視頻視覺舒適度進行自適應(yīng)評價。

4實驗數(shù)據(jù)及分析

舒適度評價模型評分由兩部分組成，其中，vc是基于深度視差的視覺舒適度評分，從20名觀測人員對11段國際標(biāo)準(zhǔn)視頻序列評分中，隨機選取其中4段視頻的評分，分別求出20個評分結(jié)果的平均值作為vc值，確定其深度視差d后，通過逆向代入法求得a1、a2、a3、a4后的表達式為：

vc=103(5.7625d3-8.0670d2+

(5)

隨機選取3段視頻，將評分結(jié)果的vc平均值與用模型求得的vc值進行作差，得到的值作為E值,確定其前景區(qū)域的亮度l1后，用逆向代入法求得b1、b2、b3；同理，確定背景區(qū)域的亮度l2后 ，求得c1、c2、c3。求得亮度補償數(shù)學(xué)表達式為：

(6)

通過逆向代入法求得的評價模型各個系數(shù)后，確定了本文的評價模型表達式為：

S=103(5.7625d3-8.0670d2+3.7510d-

(7)

為驗證本文所提算法的有效性，實驗選用11段國際視頻組織提供的分辨率大小為320 pixel×240 pixel，幀刷新頻率為30 frame/s，且未經(jīng)壓縮處理過的標(biāo)準(zhǔn)視頻序列作為測試樣本，每段視頻序列時間控制在8~15 s之間，以方便利用舒適度模型進行計算，同時安排被測者對這11段立體視頻序列進行主觀評價，將評價結(jié)果記錄下來，與舒適度模型求得的視覺舒適度S進行比較，并計算其誤差率。以下視頻序列均選自國際視頻組織發(fā)布的標(biāo)準(zhǔn)序列，實驗結(jié)果如表2所示。

表2　11段標(biāo)準(zhǔn)視頻序列舒適度評價結(jié)果

對上表結(jié)果進行分析可以發(fā)現(xiàn)，利用本文所提出的視覺舒適度模型S計算出的舒適度評分結(jié)果與人類主觀評價結(jié)果基本相同。還可以看出，通過視覺舒適度模型計算得到的S值與人類主觀評價結(jié)果之間的誤差率不超過5%，其中有8段誤差率不超過1%。其中第8段視頻的模型評分與主觀評分差異較大，對其分析原因，可能是該段視頻的清晰度較差，圖像的分辨率較低等因素造成的，這對視覺舒適度模型的評分造成了一定的影響。實驗結(jié)果能夠很好地反映立體視頻的舒適度，為立體視頻舒適度的主客觀評價提供了依據(jù)。

5結(jié)論

本文首先建立了視差深度—視覺舒適度模型，再結(jié)合亮度對視覺舒適度的評價模型進行優(yōu)化，使模型的評分更接近人類視覺系統(tǒng)的評分；結(jié)合人類主觀評價實驗的結(jié)果，用逆向代入法求出模型的系數(shù)確定模型，最終實現(xiàn)基于人類視覺系統(tǒng)特性的對立體視頻視覺舒適度的評價。本文在研究深度視差對舒適度評價影響的同時，又考慮了亮度因素對立體視頻視覺舒適度的影響，對前人視覺舒適度評價模型進行了優(yōu)化。本文也提出了用魯棒性算法與軟剪刀算法相結(jié)合的“畫筆”方案來提取圖像的前景區(qū)域，大大減少了工作量。實驗結(jié)果表明，評價模型更符合人類主觀感知結(jié)果的立體視頻視覺舒適度，模型評分更接近人類視覺系統(tǒng)特性的主觀實驗評分。

參考文獻：

[1]JIN L，BOEV A，GOTCHEV A，etal.. 3D-DCT based perceptual quality assessment of stereo video[C]. 2011 18th IEEE International Conference on Image Processing(ICIP),Brussels,Belgium,11-14 Sept.,2011.

[2]李小方，王瓊?cè)A.自由立體顯示器觀看視疲勞[J].液晶與顯示，2008，23(4)：464-466.

LI X F,WANG Q H. Free stereoscopic display watch visual fatigue[J].ChineseJ.LiquidCrystalsandDisplays，2008，23(4):464-466 (in Chinese)

[3]楊蕾.多視點、靜止立體圖像處理的理論分析及實驗研究[D].天津:天津大學(xué),2007:125-127.

YANG L. Theoretical analysis and experimental research on still multi-view auto-stereo image processing[D]. Tianjin:Tianjin University,2007:125-127.(in Chinese)

[4]LI J,BARKOWSKY M,LE CALLET P. The influence of relative disparity and planar motion velocity on visual discomfort of stereoscopic videos[C]. 2011 Third International Workshop on Quality of Multimedia Experience (QoMEX),Mechelen,Belgium,7-9 Sept.,2011.

[5]王小雨,王世剛,呂源治.基于特征區(qū)域分割的立體視頻視覺舒適度評價方法[J].光電子技術(shù)，2014(2)：87-90.

WANG X Y,WANG SH G,LV Y ZH. Evaluation of visual comfort for stereoscopic video based on region segmentation[J].PhotoElectronicTechnique,2014(2)：87-90.(in Chinese)

[6]WANG X Y,WANG S G. Evaluation of visual comfort for stereoscopic video based on region segmentation[C]. Proceedings of 3rd International Conference on Multimedia Technology (ICMT-13),Guangzhou,China,Dec. 2013:805-813.

[7]臧艷軍,李素梅,衛(wèi)津津,等.影響立體圖像舒適度的亮度范圍測定[J].電子測量技術(shù),2012(2):59-64.

ZANG Y J,LI S M,WEI J J,etal.. Affect the brightness of the stereoscopic image comfort range measurement[J].ElectronicMeasurementTechnology,2012(2):59-64.(in Chinese)

[8]DE SILVA D V S X,FERNANDO W A C,WORRALL S T,etal.. Just noticeable difference in depth model for stereoscopic 3D displays[C]. 2010 IEEE International Conference on Multimedia and Expo(ICME),Suntec City,Singapore,19-23 July 2010.

[9]ROGMANS S,DUMONT M,LAFRUIT G,etal.. Biological-aware stereoscopic rendering in free viewpoint technology using GPU computing[C].3DTV-Conference: The True Vision - Capture,Transmission and Display of 3D Video (3DTV-CON),Tampere,Finland,7-9,June 2010.

[10]KOOI F L,TOET A. Visual comfort of binocular and 3D displays[J].Display,2004,25(2-3):99-108.

[11]ISO IWA3. Image safety: Reducing the incidence of undesirable biomedical effects caused by visual image sequences[S]. Recommendation,2005.

[12]MAALOUF A,LARABI M C. CYCLOP:A stereo color image quality assessment metric[C]. 2011 IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP),Prague,Czech Republic,22-27 May,2011.

[13]KIM D,SOHN K. Visual fatigue prediction for stereoscopic image[J].IEEE,2011,21(2):231-236.

[14]ITU. Methodology for the subjective assessment of the quality of television pictures[S]. Recommendation BT 500-11,2002.

王曉燕(1988—)，女，山東煙臺人，碩士研究生，2011年于長春工業(yè)大學(xué)獲得學(xué)士學(xué)位，主要從事圖像視頻方面的研究。E-mail:bingningyezi@163.com

王世剛(1961—)，男，吉林長春人，教授，博士生導(dǎo)師，1983年于東北大學(xué)獲得學(xué)士學(xué)位，1997年于吉林工業(yè)大學(xué)獲得碩士學(xué)位，2001年于吉林大學(xué)獲得博士學(xué)位，主要從事圖像與視頻信號智能處理方面的研究。E-mail：wangshigang@vip.sina.com

姜秀紅(1990—)，女，吉林松原人，碩士研究生，2013年于吉林大學(xué)獲得學(xué)士學(xué)位，主要從事圖像視頻方面的研究。E-mail：251225458@qq.com

趙曉琳(1990—)女，山東聊城人，碩士研究生，2013年于吉林大學(xué)獲得學(xué)士學(xué)位，主要從事圖像視頻方面的研究。E-mail：794601602@qq.com

Evaluation of stereo video visual comfort based on

luminance optimization

WANG Xiao-yan, WANG Shi-gang*, JIANG Xiu-hong, ZHAO Xiao-lin

(CollegeofCommunicationEngineering,JilinUniversity,Changchun130012,China)

Abstract:We extract the foreground region of stereoscopic video by combining the grayscales of left and right view, and synthesize the two pictures into a disparity map, then extract the horizontal parallax and calculate the depth parallax. Finally， we build the depth parallax-visual discomfort model on the basis of subject assessment and optimize the visual discomfort model by considering the luminance influence. Experimental results indicate that the error rate is less than 5% between calculated value and human subjective evaluation results, and most video error rates are less than 1%. The evaluation model is more accord with human subjective perception results and has good practicability, which provides a reference for the stereo video comfort evaluation.

Key words:stereoscopic video;visual comfort;luminance;depth parallax

作者簡介：

*Corresponding author, E-mail:wangshigang@vip.sina.com

中圖分類號：TP394.1； TH691.9

文獻標(biāo)識碼:A

doi:10.3788/CO.20150803.0394

文章編號2095-1531(2015)03-0394-07

基金項目：教育部博士點基金資助項目(No.20120061110091)

收稿日期:2014-11-12；

修訂日期:2015-01-18