3D電影視覺舒適性研究綜述

戴帥凡,田豐,2,黃超,唐海峰,呂煒

(1.上海大學上海電影學院,上海 200072; 2.上海大學上海電影特效工程技術研究中心,上海 200072; 3.國家電網上海市電力公司市北供電公司,上海 200072; 4.上海航天信息研究所,上海 201109)

3D電影視覺舒適性研究綜述

戴帥凡1,田豐1,2,黃超1,唐海峰3,呂煒4

(1.上海大學上海電影學院,上海 200072; 2.上海大學上海電影特效工程技術研究中心,上海 200072; 3.國家電網上海市電力公司市北供電公司,上海 200072; 4.上海航天信息研究所,上海 201109)

良好的視覺舒適性是改善3D觀影體驗的核心內容.影響視覺舒適性的原因可以分為觀影心理因素和觀影生理因素,已有研究具體包括視覺疲勞誘發因素分析、3D電影舒適度評估、3D電影舒適度改善.基于相關研究成果,闡述了3D視覺舒適性研究現狀,歸納了3D視覺疲勞度的誘發因素,總結了3D視覺舒適度評估的實驗方法,并對已有的評估模型進行分類,整理了3D視覺舒適性解決方案,分析了當前研究重點及其相互關系.最后展望了3D電影視覺舒適性研究未來的發展方向.

立體視覺;視覺舒適性;舒適度評估;舒適度改善

3D作為提升電影沉浸感的重要技術,已被廣泛運用于影視制作和傳播中[1].然而,3D電影的發展卻面臨著潛在的阻礙,其主要因素包括視覺舒適和視覺疲勞.這一問題不容忽視,因為這兩個因素涉及作品的心理感知和藝術表達,并直接影響大眾的觀影體驗.

視覺舒適性為觀影的主觀感受,而視覺疲勞度為客觀測量值[2].視覺疲勞度的增加意味著視覺舒適性的降低.視覺疲勞的眼部癥狀具體表現為視野模糊、肌肉酸脹.若疲勞條件長時間存在,則會進一步發展成頭痛目眩等嚴重后果[3].視覺疲勞的來源可以分為兩部分：觀影內容和觀影環境[4].觀影內容包括影片元素的運動、色彩、圖像視差等;觀影環境則包括顯示與觀看設備的尺寸等參數,以及觀影距離與角度等[5].

對于3D視覺舒適性的探索屬于多學科綜合研究,其中包括計算機科學、人體工程學、腦電圖學、生物醫學等,具有交叉性、實踐性、創新性和應用性.這無疑對研究人員的科學素養提出了更高的要求,如何從已有研究中總結出正確的科學思路、結合研究對象和研究環境使用合適的科學方法、匹配當前產業需求并提出高效的影視制作解決方案,已成為當前貫穿3D視覺舒適性研究的核心思路.

本工作根據已有研究,著重介紹了影響舒適性的幾大因素：雙目視差、視覺輻輳調節沖突等.并歸納了視覺舒適性的評估方式：主觀評價法、基于人眼活動的客觀評價法、基于大腦活動的客觀評價法.隨后總結了視覺舒適性的改善方案：基于視差重映射的方法、基于景深模糊的方法等.最后結合相關研究趨勢,探討了3D內容舒適度研究未來的發展方向.

1 3D視覺疲勞誘發因素

人體視覺系統有著復雜的結構,每只眼睛都有其獨自的視野,并且通過心理和生理兩方面來獲取圖像間的細微差異,產生深度感知.心理方面的因素包括透視、遮擋關系、大氣透視、陰影、紋理和視尺寸;生理方面的因素包括雙目視差、運動視差、自適應調節和融合現象[6].產生視覺疲勞的原因多種多樣,已有研究多集中在3D視覺疲勞的早期研究階段,其中人體雙目視差和觀影條件等問題是3D視覺疲勞研究中的重點內容.

1.1 雙目視差誘發因素

在人體雙目視覺中,雙目視差指的是因瞳孔水平距離(一般為50～75 mm)導致的雙目所見畫面位置的差值[7].大腦通過雙目視差來提取視網膜上二維圖像的深度信息.但在影視制作中,雙目視差同時也指兩張立體圖像相似特征點之間的坐標差[8].水平視差又可分為零視差、正視差、負視差和發散視差[9].過大的雙目視差將破壞雙目融合,引起復視,是引起視覺疲勞的主要因素.

Chen等[10]將視覺系統處理外部信息的過程看作“信噪比”問題,并基于韋伯-弗希納爾(Weber-Fechner)定律提出了一個對數冪級數形式的一般性模型來評估視覺舒適度,以描述視覺舒適性和候選因素之間的關系.韋伯-弗希納爾定律作為最著名的心理量表之一,指的是感覺的差別閾限隨原刺激量的變化而變化,且表現出一定的規律性.實驗結果證明,視覺舒適度隨著視差的增加而減小,舒適的視差范圍在120～150弧分之間.

舒適域是一個與雙目視差相關的概念,其界限有著不同的定義,常見的測量方式為屏幕視差值[11].但是這一概念并不能單一為影片視覺舒適度定性,即使場景視差范圍控制在舒適域內,仍會有其他因素引起視覺疲勞,如場景物體間過大的視差梯度也會導致雙目融合失敗[12].在自然狀態下,人眼通過焦散來創建視覺深度域,在3D內容制作中,也會通過這種分層模糊的方式來增加視覺舒適性.雙目融合也受立體空間目標的空間頻率內容的影響,更小的刺激物寬度(也就是物體寬度)會減少雙目融合的限制[13].

1.2 觀影條件誘發因素

觀影條件誘發因素包括3D顯示設備和觀影環境,前者包括當前立體顯示設備所造成的視覺輻輳調節沖突問題、串擾現象、設備的電性能、左右視圖的幾何變形以及低刷新率造成的閃爍等;后者包括觀影尺寸、觀影距離、觀影背景、環境亮度、環境溫度等[12].

當人們觀看3D電影時,視線在遠、近物體之間的變換會導致眼球轉向運動、瞳孔大小變化和晶狀體變形[14].視覺輻輳調節沖突的本質如下：在如圖1(a)所示的自然狀態下,輸入視覺系統的現實物體的深度刺激是一致的;然而在圖1(b)的觀影狀態下,眼球的轉向運動是根據屏幕視差而變化的,以此來感知物體的深度,而自適應調節仍舊固定在屏幕上.

圖1 視覺輻輳調節沖突圖解[15]Fig.1 Illustration of accommodation/vergence mismatch occurrences[15]

2 3D視覺舒適性評估

2.1 3D視覺舒適性評估方法

2.1.1 主觀評價法

由于檢測儀器的普及程度低、使用難度高,對3D電影的視覺舒適性評估仍以基于問卷形式的主觀評價法為主;即使在眾多新興的評估方案中,依舊是將主觀評價法作為原始數據來源和結果對比證實.該類型的實驗往往要求被試者對舒適性進行分級,通過感知量化的方式,以舒適性分數作為分析數據,評估3D視頻對被試者的感知影響.但缺少細節狀態記錄可能直接導致受試者忽略自身疲勞表現.如圖2所示,在Shibata等[4]針對視覺舒適域的舒適性評估實驗中,就采用了眼疲勞、視覺清晰度、脖背狀態、頭疼等細節評估項目.評估的具體方法主要有雙重刺激連續質量等級(double stimulus continuous quality scale,DSCQS)法、單刺激連續質量評估(single stimulus continuous quality evaluation,SSCQE)、模擬器不適問卷(simulator sickness questionnaire,SSQ)和NASA任務負荷指數(NASA task load index,NASA-TLX)等[3].

圖2 視覺舒適性評估結果統計[4]Fig.2 Results of the subjective assessment of visual comfort[4]

上述評估方法的具體定義和區別如下：采用DSCQS方法時,受試者依次觀看由參考圖像和待評估圖像組成的圖像組,然后在李克特氏五點量表上進行舒適度評分(見圖3),其優點在于使用方法簡單,可以快速得到圖像質量評估,而且基于直覺的判斷減少了受試者經驗對實驗結果的影響;與此相應,SSCQE用于沒有參考圖像的實驗條件;SSQ則用于測量觀看運動圖像時的舒適度;NASA-TLX主要用于測量運動不適感,以及對3D觀影相關的認知負荷的研究.

圖3 DSCQS方法實驗流程圖[16]Fig.3 Flow chart of DSCQS method[16]

2.1.2 基于人眼狀態的客觀實驗法

主觀測量不可避免地會受到受試者經驗和當前狀態的影響,而人眼是評估視覺疲勞時最直接的觀測對象.在疲勞狀態下,視覺輻輳調節沖突將引起雙目運動,眨眼頻率會變高,瞳孔變化的反應時間也會變長,這些外顯的特征數據可以通過眼動儀、自動驗光儀等儀器記錄下來,從而成為影片視覺舒適性的評估指標.

Ukai等[6]通過測量瞳孔大小來表現視覺輻輳調節沖突進程.如圖4(a)所示,在橫坐標(時間)的中心位置,視覺目標出現在屏幕前方.此時雙目有轉向變化,自適應調節也隨之變化;但隨后調節根據真實屏幕位置而發生變化,雙目融合進程被破壞.瞳孔大小隨著視覺輻輳調節沖突而在圖中表現出抖動.在分析2D與3D視頻的舒適性差異時,Lee等[17]使用了檢測眨眼頻率的方式,如圖4(b)所示,紅色區域為頭戴式眼動儀識別出來的瞳孔位置,右下方紅色數字為識別出的黑色像素數量(即瞳孔面積);Inoue等[18]采用了測量眼動的方式來評估視覺舒適性,通過計算生物信號數據得到錄像眼動(video-oculography,VOG)記錄和電子眼動(electro-oculography,EOG)記錄兩項指標.VOG是指通過頭戴式儀器來測量瞳孔間距和瞳孔大小,基于視頻內容且具有非侵入性;EOG則是眼電圖,通過測量電位差來獲取眼動指標,電極安放如圖4(c)所示.對實驗結果的數據分析得出,瞳孔距離是評估視覺疲勞的最佳指標.

Oh等[15]通過支持向量機的方式,提出了動態視覺輻輳調節的交互(dynamic accommodation vergence interaction,DAVI)模型.該模型源于Schor[19]提出的雙重交互變換模型,以融合性輻輳機制的相位響應和反射響應為基礎,同時包括其他3D感知因素,如帕努姆融合區和由焦深導致的銳度極限.該實驗證實了通過立體視覺3D圖像的深度圖來評估生理反應的可靠性.盡管人眼狀態識別具有很強的直觀性,但是其最大的問題在于不能實時進行,同時也不能反映認知負荷的積累效應.

2.1.3 基于大腦活動的客觀實驗法

早期研究發現,腦電信號的頻率分量與大腦活動密切相關,且頻帶的功率譜會隨著疲勞程度而改變[20].圖5顯示了大腦中水平視差和眼動控制的活動過程.通過分析腦電信號中的視誘發皮質電位(visually evoked cortical potential,VECP),Emoto等[21]分析得出,水平雙目視差隨時間的變化將導致視覺信息在神經上的傳輸延遲.Frey等[22]也發現,平均大腦活動度會隨著視覺輻輳調節沖突程度的變化而變化.此外,腦電可以在不打擾觀察進程的條件下對參與者進行實時測量.考慮到研究相關性和實驗友善度,大腦活動被認為是指示心理疲勞最重要、最值得信賴的生理信號[23].

圖4 基于人眼狀態的客觀實驗法Fig.4 Objective method based on detection of eyes state

圖5 大腦中的水平視差和眼動控制[24]Fig.5 Horizontal disparity and vergence control in the brain[24]

Zou等[25]針對由視覺輻輳調節沖突所引起的視覺疲勞,提出了基于腦電圖的評估方法.為了消除諸如透視、陰影和遮罩等深度信息的影響,同時保證視覺疲勞度的可控性,觀察者將通過傳統3D立體視覺顯示設備觀看單調且重復的隨機點立體圖,同時記錄3個腦電圖活動值(α,β和θ).實驗中還使用了臨界閃爍頻率(critical fusion frequency,CFF)和調節(accommodative,ACC)幅度來保證該過程確實能引發視覺疲勞感.腦電圖測量數據顯示,隨著實驗的進行,θ始終保持穩定,而α活動極大增加,β活動快速減少(見圖6).隨后計算出6類比值指數(θ/β,α/β,α/θ,θ/(α+β),(α+θ)/β,(α+θ)/(α+β)),并結合主觀評估分數等數據,分析指數項與立體視覺疲勞的相關性.實驗結果證實,在腦電圖的9項指數中,α是評估立體視覺疲勞最有效的指標,因為它不僅有效識別了疲勞狀態,還對任務進程變化更加敏感.

圖6 疲勞前后的腦電地形圖[24]Fig.6 Topographical head maps before and after fatigue[24]

圖7 fMRI實驗結果[26]Fig.7 Results of fMRI[26]

除了腦電圖,Yong等[26]還采用功能性磁共振成像(functional magnetic resonance imaging,fMRI)的方式來測量觀看立體影片時大腦皮層的活動.實驗結果顯示,通過間斷性播放舒適與不舒適的片段,在減去干擾數據的基礎上,與觀看舒適視頻相比,具有過大屏幕視差的不舒適片段將在某些大腦皮層區域引起高度的活動反應(見圖7),其中包括右側額葉中回(middle frontal gyrus,MFG)、右側下頂葉(inferior parietal lobule,IPL)和具有視覺加工功能的兩側舌回等區域.結合已有的有關大腦結構與人體生理對應關系的研究成果,該實驗進一步得出結論,即人們對視覺疲勞的主觀感受可能是由感知現象與運動現象所造成的,運動現象可能與非正常眼球運動有關(比如視覺輻輳調節沖突),而感知現象則可能與雙目融合困難以及視覺清晰的主觀感知有關.

2.2 3D電影視覺舒適性評估對象

對觀影內容的評估,其本質上多為對視覺顯著度的評估.視覺顯著度作為3D電影中一項綜合指標,包含了畫面視差范圍、復雜度、對比度等多個要素.

So等[27]利用3D立體內容中的一些基礎構成部分來組成評估模型,比如視差范圍的規模和強度、背景物體的復雜度、色彩的深度感知和幀之間像素上的視差變化.

圖8 視覺舒適性評估結果Fig.8 Results of the visual comfort assessment

Yong等[28]提出了一種視覺舒適性可視化工具：視覺舒適度指數圖.針對每一幅色彩圖像及其對應的視差圖像,通過基于顯著度的測量方式來估算顯著度指數;隨后通過預測函數和視差特征值計算舒適度分數.如圖8(a)所示,0對應不舒適,1對應舒適;二值之間映射了從紅到藍的色度帶,以體現觀看的舒適性程度.Jung等[29]也做了類似的可視化工作,使用圖像對基于色彩和視差的顯著疲勞區域,通過區域分割、視差特征提取以及獲取的視差特征向量來得出圖像的視覺舒適性指數.

針對運動顯著度,Ye等[30]結合顯著線索、運動線索和深度線索來提取顯著運動區域,從而達到評估舒適性的目的.對3D立體視頻進行顯著物體檢測、運動物體檢測和視差估測后,導入視覺舒適模型計算視覺舒適度分數.圖8(b)展示了顯著區域檢測算法流程：為原圖像增加高斯差分(difference of Gaussian,DOG)濾鏡,通過均值漂移和二值化后得到顯著區域.該視覺舒適模型基于視差值和視覺舒適度權重之間的非線性映射,也就是說,視覺舒適度分數是基于視差值的視覺舒適度權重及其在視差直方圖中的百分比計算得到的.

Cho等[31]選擇了用顏色顯著圖、邊緣顯著圖和視差圖來評估視覺舒適性.該實驗一共分為4個部分：①提取感知顯著度區域;②計算運動深度;③計算顯著物體的速度、提取深度以及注視時間;④視覺舒適性計算.圖8(c)為該實驗的感知顯著區域提取,(i)～(vi)分別為原圖、顏色顯著圖、邊緣顯著圖、視差圖、組合顯著圖以及感知顯著區域.

Tian等[32]則提出了一個基于時間序列的3D舒適度評估工具,并對多部高質量影片進行了分析.結果顯示,《變形金剛：滅絕時代》(美)中約92%的舒適值落在1.0～3.5區間內,《金剛》(中)的相應比例則僅為74%.

3 3D視覺舒適性改善

3D行業中針對視覺疲勞現象已經采取了一些防范措施,尤其是在3D內容生產的指導性原則和后期處理工具上.部分視疲勞問題可以在影片的后期處理中解決,比如圖像之間的漏光和拍攝過程中攝像機校準問題導致的圖像間幾何差異.然而這些解決方案都需要投入大量的人力,同時耗費了大量的時間.因此對提高3D內容舒適度的自動化工具的開發需求日益強烈.

3.1 基于視差重映射的視覺舒適性改善

視差重映射是改善視覺輻輳調節沖突的常用方法,其操作本質即縮放圖像視差范圍,使物體的感知深度落在由最小視差和最大視差所框定的舒適域內.這也意味著對全局視差范圍的調整必定會影響3D影片的娛樂價值.

Pan等[33]提出了一個可以根據環境、內容、觀眾偏好來調整影片視差的解決方案.該方案流程主要包括5大模塊：①針對顯示特性(尺寸、亮度等)和觀影條件(觀影距離、環境光等),通過建立人類視覺系統3D模型來計算最佳視差范圍;②對圖像對進行視差評估;③對雙向視差映射結果進行遮擋檢測;④結合雙向視差映射結果、最佳視差范圍以及觀者偏好進行最終視差調整;⑤視圖合成.實驗結果案例如圖9所示.

Lang等[34]則提出了一套基礎的視差映射算子.這些算子以感知和生產為導向,為立體3D內容的非線性視差編輯提供了一系列規范指導原則.同時,還提出了一項基于立體翹曲的新技術來改善這些算子.這項技術可以使輸入的視頻流產生變形來滿足視差范圍的需求.實驗結果案例如圖10所示,通過圖10(a)和(c)可以計算出局部視差s(d)的平均顯著度,隨后通過非線性深度映射算子?(d)實現視差重映射.在輸出幀(見圖10(b))中,由于深度差的增加,主要角色得到了強調.

圖9 綜合視差調整結果Fig.9 Results of the integrated parallax adjustment

圖10 基于顯著度的視差重映射結果Fig.10 Results of the disparity mapping based on saliency

針對視覺舒適性和影片全局深度感知之間的矛盾,Sohn等[35]提出了一種全新的視差重映射框架,其中同樣包括線性視差重映射和非線性視差重映射.線性視差重映射通過改變場景的視差來獲得總體視覺目標的視差范圍,以解決由過大視差而引起的視覺疲勞;非線性視差映射則可以選擇性調整問題所在的局部區域的視差范圍——視差域,而非空間域意義上的“局部”.調整結果如圖11所示,其中實線框標示了正常顯示部分,虛線框標示了非正常顯示部分.

視差重映射至今仍是舒適度改善的主流.大部分非線性視差重映射法都是將影片視差范圍直接調節至舒適域內,而Oh等[36]直接基于3項立體視頻疲勞因素(空間頻率、視差運動和視差大小),在預測結果的基礎上進行了視差范圍自適應調整和視差映射算子非線性化.針對深度感知與視差調整的沖突問題,Shao等[37]則選擇在約束深度感知的基礎上,重復調整視差范圍,隨后通過層間數據項、層內數據項和最小視覺深度差數據項組成的總能量函數進行進一步優化.安瑞[38]利用尺度不變特征變換(scale invariant feature transform,SIFT)算法來獲得左右視圖特征點的精確視差值,隨后用二維投影變換來消除垂直視差并調整水平視差.主觀評測結果表明,該方法將舒適度級別提高了4.82%.

圖11 全局與局部視差綜合調整結果Fig.11 Results of the global and focal disparity adjustment

3.2 基于其他對象的視覺舒適性改善

作為影響視覺舒適性的因素之一,立體顯示器也是研究人員需要參考的對象.Yong等[39]提出了一個基于立體3D設備的新方法.該系統結構包括深度攝像機和色彩攝像機兩部分,通過觀影距離測量和視差映射評估,并結合顯示器像素高度等信息以及預測函數進行視覺舒適性的客觀評估.若仍對評估結果不滿意,則查找可提升舒適性的視差變換值,并通過基于深度圖像的繪制(depth image based rendering,DIBR)技術實現視差縮放,通過左右圖像的平移實現視差移位.此外,Yong等[39]還基于影片的景深模糊處理,提出了以低通濾波的手段實現舒適性改善的方法,并且該方法能夠可選擇地作用于影片的視覺疲勞區域[40].如圖12所示,在對左右視野圖像進行視差映射評估后,對結果進行深度物體分割和視覺顯著度映射評估;隨后在深度分割結果中檢測出造成過大相對視差的物體,并結合顯著度評估結果對每個物體進行可選擇的低通濾波處理,最后輸出過濾后的立體圖像對.

圖12 視覺顯著度映射評估實例Fig.12 Example of the visual importance map estimation

更進一步地,Yang等[41]就如下3種針對三維立體圖像的濾波方法進行了比較：①多閾值抗鋸齒濾波(用不均勻的截止頻率處理圖像對);②單閾值抗鋸齒濾波(用均勻的截止頻率處理圖像對);③非對稱抗鋸齒濾波(用多閾值抗鋸齒濾波僅處理右圖像).實驗結果如圖13所示,圖(a)是景深模糊開啟與否情況下的各項疲勞反應平均值,3種方式分別對應藍色、紅色和綠色.當最小負視差的絕對值較小時,多閾值方法能夠提高視覺舒適性,而單閾值方法將造成過度模糊并導致視覺疲勞.

隨著3D顯示設備的多樣化,Carnegie等[42]也針對頭盔顯示器,研究了通過動態景深來減少3D影片視覺疲勞的方法.用頭戴式顯示器Oculus捕捉位置數據后,通過改善虛幻引擎中的實時動態景深系統來實現舒適度改善.圖13(b)為實驗的數據結果,縱軸為各項疲勞表現的程度,藍色與黃色分別表示開啟和關閉景深時的數據.Kramida[43]也綜合闡述了在頭盔顯示器中解決AV沖突的方法,其中包括可變光學系統、多焦平面模型與深度融合、薄膜變形鏡、雙折射鏡頭、掃描光纖陣列、多視圖視網膜顯示、視差屏障等.

圖13 舒適度改善實驗主觀分數結果[41-42]Fig.13 Results of the subjective assessment of visual comfort[41-42]

4 結束語

疲勞誘因、舒適評估、舒適改善之間的具體關系如下：疲勞誘因是所有研究工作的基礎;舒適評估為舒適改善提供了方向指導和數據支持;而舒適改善則是一切研究的最終目的.從近年的諸多研究成果來看,對疲勞度誘因的分析多集中在2014年之前,在廣度上已趨于完備,相關研究方向已轉向探究其誘因之間更加深層的聯系.2013年至今,對3D內容的舒適度評估一度是相關領域的熱點研究內容,并不斷顯示出多領域交叉的研究趨勢.隨著VR技術的爆炸式發展,為了支持3D內容的高效生產并配合展示設備的不斷更新,建立系統的舒適度評估模型、綜合優化舒適性改善技術逐漸成為當前的主要任務和未來發展趨勢.

進一步的研究對象將包括：疲勞因素的影響權重標準化與統一的實驗數據庫的建立;基于機器學習的內容生產流程中的舒適性實時評估;更全面的自動化3D內容視差調整;基于3D電影的舒適性技術向VR內容生產的指導性融合;舒適性改善技術的封裝與用戶級推廣等.

參考文獻：

[1]Tam W J,Speranza F,Yano S,et al.Stereoscopic 3D-TV：visual comfort[J].IEEE Transactions on Broadcasting,2011,57(2)：335-346.

[2]Kim D,Choi S,Sohn K.Visual fatigue modeling and analysis for stereoscopic video[J].Optical Engineering,2012,51(1)：7206.

[3]Park M C,Mun S.Overview of measurement methods for factors affecting the human visual system in 3D displays[J].Journal of Display Technology,2015,11(11)：877-888.

[4]Shibata T,Kim J,Hoffman D M,et al.The zone of comfort：predicting visual discomfort with stereo displays[J].Journal of Vision,2011,11(8)：11.

[5]Du S P,Masia B,Hu S M,et al.A metric of visual comfort for stereoscopic motion[J].ACM Transactions on Graphics,2013,DOI：10.1145/2508363.2508387.

[6]Ukai K,Howarth P A.Visual fatigue caused by viewing stereoscopic motion images：background,theories,and observations[J].Displays,2008,29(2)：106-116.

[7]Watanabe H,Ujike H.3D visual fatigue：interaction between ranges of binocular disparity and interocular rotational difference[C]//Consumer Electronics.2014：127-128.

[8]Kim T,Park J,Lee S,et al.3D visual discomfort prediction based on physiological optics of binocular vision and foveation[C]//Asia-Pacific Signal and Information Processing Association. 2015：1-4.

[9]付貝貝.立體顯示視覺舒適度影響因素的研究[D].天津：天津大學,2012.

[10]Chen Z,Shi J,Huang X,et al.Visual comfort modeling for disparity in 3D contents based on Weber-Fechner’s law[J].Journal of Display Technology,2014,10(12)：1001-1009.

[11]Yano S,Emoto M,Mitsuhashi T.Two factors in visual fatigue caused by stereoscopic HDTV images[J].Displays,2004,25(4)：141-150.

[12]HeldRT,BanksMS.Misperceptionsinstereoscopicdisplays：avisionscience perspective[C]//APGV’08.2008：23-32.

[13]Lee S I,Yong J J,Sohn H,et al.Effect of stimulus width on the perceived visual discomfort in viewing stereoscopic 3-D-TV[J].IEEE Transactions on Broadcasting,2013,59(4)：580-590.

[14]Park J,Lee S,Bovik A C.3D visual discomfort prediction：vergence,foveation,and the physiological optics of accommodation[J].IEEE Journal of Selected Topics in Signal Processing, 2014,8(3)：415-427.

[15]Oh H,Lee S,Bovik A C.Stereoscopic 3D visual discomfort prediction：a dynamic accommodation and vergence interaction model[J].IEEE Transactions on Image Process,2016,25(2)： 615-629.

[16]Kawashima K,Okamoto J,Hayashi T.Verification on stability and reproducibility of DSCQS method for assessing 4K Ultra-HD video quality[C]//Sixth International Workshop on Quality of Multimedia Experience.2014：214-219.

[17]Lee E C,Heo H,Kang R P.The comparative measurements of eyestrain caused by 2D and 3D displays[J].IEEE Transactions on Consumer Electronics,2010,56(3)：1677-1683.

[18]Inoue T,Kato Y O,Ozawa J.Evaluating visual fatigue by sensing eye movement during viewing of 3D images[C]//IEEE Global Conference on Consumer Electronics.2012：486-490.

[19]Schor C M.A dynamic model of cross-coupling between accommodation and convergence： simulations of step and frequency responses[J].Optometry Vis Sci,1992,69(4)：258-269.

[20]Hsu B W,Wang M J.Evaluating the effectiveness of using electroencephalogram power indices to measure visual fatigue[J].Perceptual and Motor Skills,2013,116(1)：235-252.

[21]Emoto M,Niida T,Okano F.Repeated vergence adaptation causes the decline of visual functions in watching stereoscopic television[J].Journal of Display Technology,2005,1(2)：328-340.

[22]Frey J,Pommereau L,Lotte F,et al.Assessing the zone of comfort in stereoscopic displays using EEG[C]//CHI’14 Extended Abstracts on Human Factors in Computing Systems.2014： 2041-2046.

[23]Craig A,Tran Y,Wijesuriya N,et al.A controlled investigation into the psychological determinants of fatigue[J].Biological Psychology,2006,72(1)：78-87.

[24]Park J,Oh H,Lee S,et al.3D visual discomfort predictor：analysis of disparity and neural activity statistics[J].IEEE Transactions on Image Processing,2015,24(3)：1101-1114.

[25]Zou B,Liu Y,Guo M,et al.EEG-based assessment of stereoscopic 3D visual fatigue caused by vergence-accommodation conflict[J].Journal of Display Technology,2015,11(12)：1076-1083.

[26]Yong J J,Kim D,Sohn H,et al.Towards a physiology-based measure of visual discomfort： brain activity measurement while viewing stereoscopic images with different screen disparities[J]. Journal of Display Technology,2015,11(9)：730-743.

[27]So G J,Kim S H,Kim J Y.Evaluation model of the visual fatigue on the 3D stereoscopic video[J]. International Journal of Computer Theory and Engineering,2016,8(4)：336-342.

[28]Yong J J,Sohn H,Yong M R.Visual discomfort visualizer using stereo vision and time-of-flight depth cameras[J].IEEE Transactions on Consumer Electronics,2012,58(2)：246-254.

[29]Jung C,Liu H,Cui Y.Visual comfort assessment for stereoscopic 3D images based on salient discomfort regions[C]//IEEE International Conference on Image Processing.2015：4047-4051. [30]Ye B,Zhou J.A visual comfort metric for stereoscopic 3D video based on SMDE approach[C]// IEEE International Conference on Signal Processing,Communication and Computing.2012：72-77.

[31]Cho S H,Kang H B.Subjective evaluation of visual discomfort caused from stereoscopic 3D video using perceptual importance map[C]//TENCON 2012—2012 IEEE Region 10 Conference.2012：1-6.

[32]Tian F,Xu H,Feng X,et al.Comfort evaluation of 3D movies based on parallax and motion[J]. Journal of Display Technology,2016,12(12)：1695-1705.

[33]Pan H,Daly S.3D video disparity scaling for preference and prevention of discomfort[C]// Proceedings of SPIE.2011,DOI：10.1117/12.872582.

[34]Lang M,Hornung A,Wang O,et al.Nonlinear disparity mapping for stereoscopic 3D[J]. ACM Transactions on Graphics,2010,29(4)：1-10.

[35]Sohn H,Yong J J,Lee S I,et al.Visual comfort amelioration technique for stereoscopic images： disparity remapping to mitigate global and local discomfort causes[J].IEEE Transactions on Circuits&Systems for Video Technology,2014,24(5)：745-758.

[36]Oh C,Ham B,Choi S,et al.Visual fatigue relaxation for stereoscopic video via nonlinear disparity remapping[J].IEEE Transactions on Broadcasting,2015,61(2)：142-153.

[37]Shao F,Lin W,Li Z,et al.Toward simultaneous visual comfort and depth sensation optimization for stereoscopic 3-D experience[J].IEEE Transactions on Cybernetics,2016,PP(99)：1-13.

[38]安瑞.基于視差變化調節的立體視頻舒適度增強方法研究[D].長春：吉林大學,2016.

[39]Yong J J,Sohn H,Lee S I,et al.Visual comfort improvement in stereoscopic 3D displays using perceptually plausible assessment metric of visual comfort[J].IEEE Transactions on Consumer Electronics,2014,60(1)：1-9.

[40]Yong J J,Sohn H,Lee S I,et al.Visual importance-and discomfort region-selective lowpass filtering for reducing visual discomfort in stereoscopic displays[J].IEEE Transactions on Circuits&Systems for Video Technology,2013,23(8)：1408-1421.

[41]Yang Y,Xu T,Lu C,et al.Effects of spatial anti-aliasing methods for stereoscopic 3D image on visual comfort[C]//2015 8th International Congress on Image and Signal Processing(CISP). 2015：914-918.

[42]Carnegie K,Rhee T.Reducing visual discomfort with HMDs using dynamic depth of field[J]. IEEE Computer Graphics and Applications,2015,35(5)：34-41.

[43]Kramida G.Resolving the vergence-accommodation conflict in head-mounted displays[J].IEEE Transactions on Visualization&Computer Graphics,2016,22(7)：1912-1931.

本文彩色版可登陸本刊網站查詢：http：//www.journal.shu.edu.cn

Survey on visual comfort of 3D movies

DAI Shuaifan1,TIAN Feng1,2,HUANG Chao1,TANG Haifeng3,Lü Wei4
(1.Shanghai Film Academy,Shanghai University,Shanghai 200072,China; 2.Shanghai Engineering Research Center of Motion Picture Special Effects,Shanghai University, Shanghai 200072,China; 3.State Grid Shanghai Shibei Electric Power Supply Company,Shanghai 200072,China; 4.Shanghai Institute of Spaceflight Information,Shanghai 201109,China)

Visual comfort is important in stereoscopic 3D experience.The influence of visual comfort can be categorized into psychological and physiological factors.Existing work focuses on visual fatigue factor analysis,comfort evaluation and comfort enhancement of 3D movies.Based on the related research,this paper summarizes the factors of visual fatigue,reviews various measurement methods proposed to evaluate visual comfort,and provides an overview of recent advances in improving 3D image quality.Finally,this paper previews the future work for visual comfort of 3D movies.

stereoscopic video;visual comfort;comfort evaluation;comfort improvement

TP 391.41

A

1007-2861(2017)03-0364-14

10.12066/j.issn.1007-2861.1941

2017-04-12

上海市科委“科技創新行動計劃”高新技術領域資助項目(15511105002);上海大學電影學高峰學科和上海電影特效工程技術研究中心資助項目(16dz2251300)

田豐(1976—),男,博士,研究方向為電影技術.E-mail：ouman888@126.com