3D-VR色彩視覺舒適度評價

田豐,許昊駿,王攀,侯小飛,華閔磊

(1.上海大學上海電影學院,上海 200072;

2.上海大學上海電影特效工程技術研究中心,上海 200072)

3D-VR色彩視覺舒適度評價

田豐1,2,許昊駿1,王攀1,侯小飛1,華閔磊1

(1.上海大學上海電影學院,上海 200072;

2.上海大學上海電影特效工程技術研究中心,上海 200072)

隨著虛擬現(xiàn)實(virtual reality,VR)技術的發(fā)展,3D-VR視頻已成為技術與商業(yè)熱點.3D-VR多機拍攝會導致部分畫面出現(xiàn)色彩差異,影響觀眾的觀影體驗.定量分析視頻中左右視差圖亮度、飽和度、色相差異對觀眾舒適度的影響.通過主觀評價實驗,基于HSL(色相(hue)、飽和度(saturation)、亮度(lightness))顏色空間建立了3D-VR視頻紋理差異與舒適度關系模型.根據(jù)舒適度評價模型設計了舒適度預警平臺,為3D-VR影視內容創(chuàng)作和制作提供服務.

3D-VR;人眼視覺系統(tǒng);視覺舒適度;HSL模型

目前,虛擬現(xiàn)實(virtual reality,VR)技術已經(jīng)成為技術與商業(yè)熱點,頭戴式顯示設備也已開始普及.在內容方面,VR視頻作為一種新的媒體模式,能使觀眾產生更好的沉浸感.普通的VR視頻一般為全景視頻,觀眾雖然可以進行全方位觀察,但是看到的內容依舊為平面內容. 3D-VR視頻相比于普通VR視頻,在全景的基礎上引入了雙目立體視覺系統(tǒng),觀眾通過虛擬現(xiàn)實設備觀看3D-VR視頻時,雙眼看到的是在全景下左右眼具有視差的立體圖像,從而使觀眾獲得更好的沉浸感.相比于普通的VR視頻,3D-VR視頻無疑是更為適合VR設備的媒體內容.

然而,3D-VR視頻作為一種通過多機拍攝的合成視頻,不同攝像機在拍攝時會因為光源、設備本身等原因導致畫面在色彩上產生一定的差異.對于觀眾來說,當視頻播放時,如果左右眼畫面的差異過大,就會產生不適感,進而影響整個觀影體驗[1].

目前,對立體視頻內容舒適度的研究大多為畫面內容差異中的個別方面,并沒有一個比較完善的整體評價標準[2-5].對于影視創(chuàng)作者,更需要的是一個影視內容創(chuàng)作的輔助工具.對于虛擬現(xiàn)實視頻,由于采取了相應虛擬現(xiàn)實的設備,并不會出現(xiàn)互擾等一些普通3D視頻會產生的問題.本工作從色相(hue)、飽和度(saturation)、亮度(lightness)方面對雙目立體視頻中的畫面部分進行研究,并建立了基于HSL(色相(hue)、飽和度(saturation)、亮度(lightness))的評價模型,最后根據(jù)結果設計了為創(chuàng)作者內容制作提供服務的視頻評價預警平臺.

1 研究背景

1.1 國內外研究現(xiàn)狀

對于雙目立體視覺,影響觀看者體驗的因素中最為直觀的便是雙眼內容不匹配. Banks等[1]對雙目內容不匹配的情況進行了歸納,其中包括左右眼內容在幾何上的錯位,以及左右眼圖像上的差異等.國內外研究者對于立體視頻中的雙眼差異已經(jīng)有了一定的研究基礎[6-11].Kooi等[12]通過定性分析的方式,對影響雙目立體圖像舒適度的因素進行了歸納,認為當色相、亮度、對比度、互擾、匹配差異超過一定閾值后會引起觀眾不適.Sohn等[13]通過主觀評價的方式對立體圖形的左右視圖視差進行研究,提出了基于人眼的深度舒適度評價方法.Disparity等[14]則對立體視頻中的視覺輻輳調節(jié)沖突進行了研究.李素梅等[3]研究了雙目立體圖像的飽和度差異對舒適度的影響,劉暢等[4]則針對立體圖像中左右眼對比度差異對人眼舒適度的影響提出了一個評價方式.雖然對于畫面差異的不同方面都有一定的研究,但是對于3D整體,特別是3D-VR影片中的畫面差異評價指標的研究并不完善.

在3D-VR視頻中,左右眼畫面色彩內容不匹配是目前的主要問題之一.3D-VR技術作為雙目3D技術的衍生,在幾何錯位上已經(jīng)有了一定成熟的解決方案.但是,由于3D-VR與普通的雙目3D相比,需要更多的攝像機對整個環(huán)境進行拍攝,在拍攝時會因為包括環(huán)境光源、硬件感光元件等一些拍攝條件上的差異,使得雙眼內容在色彩上產生差異.例如,當環(huán)境中存在光源時,面對光源的相機會為了避免過度曝光而調整光圈,使得畫面與其他畫面相比產生強烈的差異.觀眾在觀看這一類存在畫面差異的圖像時,會因為左右眼內容不一致,大腦無法順暢地將雙目內容合成一幅立體的單圖,從而產生眩暈感與不適感,影響整個觀看的感受.

1.2 HSL色彩空間

不同色彩模型對色彩的表達方式各不相同.雖然色彩本身由不同頻率的光組合而成,但會因為人的主觀觀察而產生一定的認識誤差.色彩空間基于一個多維度的坐標系統(tǒng),通過數(shù)值對顏色進行定義.常見的色彩空間包括多用于計算機中的三維坐標系RGB(紅(red)、綠(green)、藍(blue))三原色光模式,以及用于工業(yè)的四維坐標系CMYK(青(cyan)、洋紅(magenta)、黃(yellow)、黑(key plate))印刷四分色模式.不同的色彩空間模型通常都對應一定的應用要求.

HSV(色相(hue)、飽和度(saturation)、明度(value))與HSL是通常在藝術領域中使用到的色彩空間模型.比起RGB類型的加法混色法以及CMYK類型的減法混色法,使用色相、飽和度、明度三個坐標描繪色彩,在藝術設計概念上顯得更加直觀,并且基本包含了人眼所能感知到的所有顏色.

HSL色彩空間與HSV類似,都是基于人眼視覺系統(tǒng)而建立的色彩模型.二者的主要區(qū)別在于,HSV中的明度值(value)表達的是在純色中白色的亮度,而HSL中的亮度值(lightness)表達的是該色彩在灰度值上的亮度,對于明暗的區(qū)分更為明顯.同時,HSL模型本身也可以與計算機顯示器中通常使用的RGB三原色光模式相互轉化.

1.3 研究目的

對于3D-VR內容創(chuàng)作者,在創(chuàng)作時需要盡可能避免左右眼內容差異.借助于現(xiàn)有相對成熟的拍攝系統(tǒng),可以很好地避免在幾何空間上的匹配問題.同時,由于3D-VR內容本身是配合VR設備進行觀看的,因而也不會存在通常雙目3D視覺中會出現(xiàn)的互擾影響.畫面色彩的差異便是影響觀影感受的最重要的方面,而目前對于3D-VR的畫面色彩差異通常都對單一方面進行分析,而沒有一個較為整體的評價模型.此外,對于內容創(chuàng)作者,已有的很多研究成果與實際應用并未很好結合.

本工作根據(jù)人眼視覺系統(tǒng)以及色彩空間的原理,將左右眼內容差異總結為色相差異、飽和度差異以及亮度差異3個方面進行討論.通過主觀評價擬合出左右眼畫面差異評價的數(shù)學模型,采用量化的方式對3D-VR內容進行評價,并且在此基礎上制作了“VR影視紋理可視化預警平臺”,通過對3D-VR視頻內容進行分析,對影響觀影舒適度的因素進行可視化展示,提醒3D-VR內容創(chuàng)作者及時對畫面中引起觀眾不適的左右眼差異內容進行調整,更好地為內容創(chuàng)作者提供服務,提升觀影舒適度.

2 實驗過程

2.1 實驗設計

對于人眼來說,通常無法很好地分辨細小的色彩差異.同時,觀眾在觀看3D-VR視頻時,實際看到的內容是在左右眼中所看到的信息經(jīng)過大腦進行融合處理后獲取的單幅立體圖像,因此對于細小的差異本身也具有一定的包容性.當左右眼內容差異超過一定閾值時,大腦便無法將左右眼中的雙目視圖很好地進行融合,觀眾在觀看這一類圖像時就會產生明顯的不適,嚴重的會產生眩暈、惡心等生理反應.本實驗目標是對這樣的閾值進行測定.

實驗主要采取的方式為目前主流的主觀評分方式,由被試者對所觀看的圖像以五級評分的方式進行評分,評分標準如表1所示.

表1 立體圖像色彩舒適度主觀評價等級Table 1 Subjective evaluation standard of stereo image color comfort

為了保證實驗結果的準確性以及有效性,在實驗時對被試者進行了篩選,選取的被試者雙目視力正常.考慮到本實驗需要對亮度、飽和度、色相進行比較測試,所以選取具有正常色覺感知以及對亮度感光正常的被試者.最終選取的被試者年齡在20～40歲之間,共20名, 10男10女,其中8人對VR觀影有一定經(jīng)驗.

2.2 實驗步驟

本工作主要將左右眼內容的色彩視覺差異歸結為三部分：亮度差異、色相差異、飽和度差異.實驗素材取自3D立體電影《瘋狂動物城》,一方面保證左右眼看到的圖像本身是具有一定差異且差異不會引起觀影不適的立體圖像,另一方面也保證畫面色彩的豐富性.由于主要測定的是視覺色彩差異,為了排除由于影片本身鏡頭的變化以及鏡頭運動等因素帶來的影響,選擇影片中的部分單幀畫面而非視頻進行提取處理,以獲取左右眼中單獨看到的單幀圖像.隨后對獲取到的左右眼圖片的亮度、色相以及飽和度分別進行調整,從而得到關于左右眼不同差異上的對比圖片.

測試程序通過Unity引擎開發(fā),在頭戴式顯示設備中顯示測試圖片(見圖1).被試者佩戴設備進行觀看并對畫面內容進行評分.為了避免由于頭戴式顯示設備本身的原因而對實驗產生干擾,測試程序取消了頭盔中的陀螺儀功能,從而保證被測試者不會因為頭部的一些運動而使得畫面產生晃動.控制人員通過鍵盤對頭盔內所顯示的左右眼內容進行切換,并且記錄被試者的打分情況.具體實驗方式如下.

圖1 實驗環(huán)境演示Fig.1 Environment of experiment

2.2.1 級別確定

對于色相、亮度、飽和度三個方面來說,色相由于其本身特性,使用0?～360?的數(shù)值進行衡量,而亮度與飽和度則以0%～100%的百分比進行衡量.考慮到實驗本身的操作方式以及實驗結果的可信度,選擇將色相分割為60個級別,而將亮度以及飽和度分割為100個級別.將獲取的每張單眼圖片轉換為HSL顏色空間后,按照各個級別分別進行變換,生成100張不同亮度的圖片、100張不同飽和度的圖片(見圖2)以及60張不同色相的圖片(見圖3).對所有獲取到的左右眼圖片都進行變換,并將這些生成后的圖片組中的每張圖片都進行編號并且保存.

2.2.2 測試方式

將生成的圖片組載入基于Unity引擎所編寫的測試軟件中,通過測試程序將左右眼圖片顯示在被測試者的頭戴式顯示設備中.首先固定左眼內容,不斷切換右眼圖片.同一張圖片的單次測試時間控制在20～30 s內,連續(xù)的測試時間控制在15 min以內,防止人眼在進行測試時由于觀看時間過長而產生視覺疲勞,從而影響實驗結果.按照遞增的順序切換右眼圖片,使其出現(xiàn)輕微變化的同時,避免因為色彩變化過快導致被試者出現(xiàn)眼部不適.考慮到所采用的五級評分制及評價標準中,第三級的評分通常為勉強觀看的臨界點,而第五級評分為人無法接受的臨界點,因而在測試時主要記錄的數(shù)值為第三級以及第五級的圖片編號.同時,當內容切換速度略快于被試者的適應速度時,被試者會產生一定的誤判,所以對于同一張圖片會進行多次測試,從而確定結果的可信性.

圖2 通過變化原始圖片飽和度生成的部分圖片F(xiàn)ig.2 Some imags generated by changing the value of saturation

圖3 通過變化原始圖片色相生成的部分圖片F(xiàn)ig.3 Some imags generated by changing the value of hue

3 結果分析

3.1 數(shù)據(jù)處理

為了使獲取的實驗數(shù)據(jù)更為有效,需要對記錄的數(shù)據(jù)進行一定處理.以左眼為基準的主觀實驗中,每一張左眼圖片的編號都對應著一組第三級右眼的圖片編號以及一組第五級的右眼圖片編號.首先,對于每一級中所有的編號都進行累加,并且求其均值.由于會出現(xiàn)部分誤差極大的數(shù)據(jù),因而需要對這些數(shù)據(jù)進行優(yōu)化處理.通過對每組數(shù)據(jù)與所求得的均值進行線性相關計算,來獲得每組數(shù)據(jù)與均值的線性相關度.隨后將獲取的線性相關度中的最小值所代表的數(shù)據(jù)剔除,重新計算整體均值.

3.2 實驗結果

二是涉農專項轉移支付資金增長容易壓減難。專項轉移支付目錄壓減后，財政部每年公布的中央對地方稅收返還和轉移支付預算表中的項目也相應有所變化。由于2014年之前的預算表還未那么詳細，加之2010年和2014年是預算變化較大的兩個時間節(jié)點，為了準確分析涉農專項資金規(guī)模的變化，我們分別統(tǒng)計分析了2010—2013年、2014—2016年預算表中同一涉農專項的變化情況（詳見圖1和圖2）。從中可以發(fā)現(xiàn)，大多數(shù)涉農專項轉移支付資金長期處于增長態(tài)勢，僅有個別年份是下降的。

3.2.1 色相結果

圖4顯示了測試中對于色相變化的舒適度評價結果.虛線部分為實驗中獲取的所有數(shù)據(jù)結果,實線部分為數(shù)據(jù)處理擬合后所獲得的舒適度邊界區(qū)域.紅藍實線部分為視覺舒適度的極限,當色相變化度超出紅色與藍色邊界時,即視覺舒適度的評分已經(jīng)超過5分,表明被試者完全無法接受左右眼的色相差異.根據(jù)主觀評分后處理的結果,可以將色相變化對人眼舒適度的影響總結為

式中,?Cright表示右眼對應左眼?Cleft色相時的舒適度容忍范圍.

圖4 色相變化引起的視覺舒適度Fig.4 Visual comfort of the change of hue

由于色相本身呈現(xiàn)的是色環(huán)狀態(tài),所以由圖4可以看出,當色相在170?～300?區(qū)域時,顏色從青色向紫色過渡,同時人眼對于色彩的差異容忍度降到最低.同時可以看出,人眼對于色相差異的容忍度較小,色相差異對整體舒適度評分的影響較大.

3.2.2 飽和度結果

圖5是在飽和度變化的情況下人眼舒適度的評分情況.所有結果以虛線表示,擬合后的實驗結果以實線表示,其中紅藍實線表示在固定左眼飽和度的情況下,右眼飽和度的上下限接受的第五級極限區(qū)域.當雙眼圖像的飽和度差異過大時,雙眼競爭情況會十分顯著,觀看者會被迫交替變化左右眼看到的視圖,從而產生強烈的不適感.分析數(shù)據(jù)可以得到在Sleft處人眼所能接受的差異區(qū)間

由式(2)可以看出,當飽和度過低時,人眼對于飽和度差異相對敏感,而當飽和度在20%～40%區(qū)間時,人眼對于飽和度差異的敏感度最低;當飽和度超過40%,人眼受到的刺激逐漸增強.當飽和度過高時,被試者已經(jīng)產生了一定的不適感,因而人眼對于左右眼的差異容忍度大幅降低.

圖5 飽和度變化引起的視覺舒適度Fig.5 Visual comfort of the change of saturation

同時在實驗中發(fā)現(xiàn)：當左眼飽和度超過50%之后,飽和度本身的干擾過大,嚴重影響了實驗結果,因此將飽和度控制在50%,對于超出限定范圍的部分僅進行了預測;在畫面飽和度過高的情況下,人眼對于左右視圖的飽和度差異容忍度較低,飽和度差異對于舒適度評價的影響較小.

圖6是針對亮度變化而產生的實驗結果,虛線表示所有測試結果,擬合后的邊界結果以實線表示,其中紅藍實線表示舒適度第五級極限邊界.實驗中將亮度分成了100個級別,隨著左眼亮度的變化可以看出,亮度越高,人眼可以接受的差異度也提高,當亮度超過45%后,人眼可以接受的差異度逐漸穩(wěn)定.

圖6 亮度變化引起的視覺舒適度Fig.6 Visual comfort of the change of lightness

4 舒適度預警平臺

本工作以實驗所獲得的結果為基礎,設計了用于對視頻內容進行檢測的“VR影視紋理可視化預警平臺”.通過對3D-VR視頻中的每幀左右眼畫面進行像素差異檢測,從而獲得視頻中左右眼內容色彩差異區(qū)域.如圖7所示,由于燈光直射等原因,部分相機所拍攝到的視頻內容相對偏暗.根據(jù)預警平臺,可以快速對畫面進行分析,并且通過可視化的方式將結果顯示出來.同時,差異部分根據(jù)實驗所獲取的評價模型進行判定,當實際差異結果超出了人眼所能接受的范圍或者超出了人眼所能容忍的極限范圍,即超出了第三級以及第五級評價后,程序會給出預警.在圖7中,黃綠色區(qū)域即系統(tǒng)所提示的雙目視覺差異強度預警.通過此平臺,制作人在制作3D-VR視頻后,可以更加直觀地進行檢測,并對其中的預警內容進行修正,使得觀眾在觀看視頻時不會因為色彩差異等問題而影響觀影感受.

圖7 VR影視紋理可視化預警平臺Fig.7 Visualization early warning platform of VR video texture

5 結束語

本工作針對3D-VR視頻中左右眼畫面色彩差異,通過對色相、亮度、飽和度方面進行分析,提出了基于HSL色彩空間的立體視頻舒適度評價模型,并設計了“VR影視紋理可視化預警平臺”,從而避免影視創(chuàng)作者制作出引起觀眾不適的存在色彩差異的視頻內容.

由于在實際3D-VR影視作品中,影響觀影舒適度的因素并不只有色彩差異,因此將其他影響因素納入舒適度模型并制作更加完善的“VR影視紋理可視化預警平臺”是未來的一大研究方向.

[1]Banks M S,Read J C A,Allison R S,et al.Stereoscopy and the human visual system[J]. SMPTE Motion Imaging Journal,2012,121(4)：24-43.

[2]王曉燕,王世剛,姜秀紅,等.亮度優(yōu)化立體視頻視覺舒適度評價[J].中國光學,2015,8(3)：394-400.

[3]李素梅,付貝貝,臧艷軍,等.影響立體圖像舒適度的飽和度范圍測定[J].天津大學學報,2012, 45(8)：669-676.

[4]劉暢,李素梅.影響立體圖像舒適度的對比度范圍的測定[J].光電子·激光,2014,25(4)：748-755.

[5]臧艷軍,李素梅,衛(wèi)津津,等.影響立體圖像舒適度的亮度范圍測定[J].電子測量技術,2012,35(2)： 59-64.

[6]Lambooij M,Ijsselsteijn W,Heynderickx I.Stereoscopic displays and visual comfort：a review[EB/OL].(2007-04-02)[2017-03-15].http：//spie.org/newsroom/0648-stereoscopicdisplays-and-visual-comfort-a-review?highlight=x2408.

[7]楊蕾.多視點靜止自由立體圖像處理的理論分析及實驗研究[D].天津：天津大學,2007.

[8]Tam W J,Speranza F,Yano S,et al.Stereoscopic 3D-TV：visual comfort[J].IEEE Transactions on Broadcasting,2011,57(2)：335-346.

[9]ITU Radiocommunication Assembly.BT.500-13 Methodology for the subjective assessment of the quality of television pictures[S].Geneva：International Telecommunication Union,2003.

[10]Kim D,Choi S,Sohn K.Visual comfort enhancement for stereoscopic video based on binocular fusion characteristics[J].IEEE Transactions on Circuits and Systems for Video Technology, 2013,23(3)：482-487.

[11]Tam W J,Speranza F,Yano S,et al.Stereoscopic 3D-TV：visual comfort[J].IEEE Transactions on Broadcasting,2011,57(2)：335-346.

[12]Kooi F L,Toet A.Visual comfort of binocular and 3D displays[J].Displays,2004,25(2)： 99-108.

[13]Sohn H,Jung Y J,Lee S,et al.Attention model-based visual comfort assessment for stereoscopic depth perception[C]//2011 17th International Conference on Digital Signal Processing (DSP).2011：1-6.

[14]Park J,Oh H,Lee S,et al.3D visual discomfort predictor：analysis of disparity and neural activity statistics[J].IEEE Transactions on Image Processing,2015,24(3)：1101-1114.

本文彩色版可登陸本刊網(wǎng)站查詢：http：//www.journal.shu.edu.cn

Evaluation criteria for visual comfort in 3D-VR

TIAN Feng1,2,XU Haojun1,WANG Pan1,HOU Xiaofei1,HUA Minlei1
(1.Shanghai Film Academy,Shanghai University,Shanghai 200072,China;
2.Shanghai Engineering Research Center of Motion Picture Special Effects, Shanghai University,Shanghai 200072,China)

With development of the virtual reality(VR)technology,3D-VR video has become a hot spot.3D-VR video is taken with multiple cameras,which would lead to color differences in some parts of the screen.The differences in hue,saturation and lightness of the left-right parallax that affecting audience comfort are quantitatively analyzed.In a subjective evaluation experiment,a relationship model between 3D-VR texture difference and comfort is built based on HSL(hue,saturation,lightness)color space.With the model, a visualization early warning platform of VR video texture is development to help artists in the 3D-VR content production and creation.

3D-virtual reality(VR);human visual system;visual comfort;HSL(hue, saturation and lightness)model

TP 391.41

A

1007-2861(2017)03-0324-09

10.12066/j.issn.1007-2861.1936

2017-03-29

上海市科委“科技創(chuàng)新行動計劃”高新技術領域資助項目(15511105002);上海大學電影學高峰學科和上海電影特效工程技術研究中心資助項目(16dz2251300)

田豐(1976—),男,博士,研究方向為電影技術.E-mail：ouman888@126.com