3D電視主觀評價方法研究

阮衛泓，溫 娜，武曉光，潘 榕，吳蔚華，謝于迪，李 強

（1.國家廣播電視質量監督檢驗中心，北京 100015；2.北京牡丹視源電子有限責任公司，北京 100083）

3D電視主觀評價方法研究

阮衛泓1，溫 娜1，武曉光2，潘 榕1，吳蔚華1，謝于迪1，李 強1

（1.國家廣播電視質量監督檢驗中心，北京 100015；2.北京牡丹視源電子有限責任公司，北京 100083）

通過對國際3D電視主觀評價標準的分析，介紹了依據國際標準開展的3D電視主觀評價測試過程。并針對評價方法的選擇、評價素材的制作、評價對象和目的的確定等方面等提出了建設性意見，通過實踐得出了有益的結論和經驗，希望為3D電視研發和生產的相關人員提供參考。

3D電視；主觀評價；單刺激法

近幾年，立體顯示技術發展迅猛，電視機配備3D顯示功能已經成為普遍現象。然而，普通消費者真正使用電視3D功能的并不多，3D電視技術的發展還有很多問題亟待解決，3D電視的顯示質量評價就是問題之一。針對傳統的2D電視主觀評價方法已經不完全適用于3D電視，結合3D電視實際使用場景，并考慮人眼立體視覺感受，開展3D電視的主觀評價測試研究有助于加深業內技術人員對3D電視顯示特性的了解，積累相關經驗，盡快建立我國統一的3D電視顯示質量主觀評價標準。

本文圍繞3D電視主觀評價方法[1]，首先分析了3D電視主觀評價標準，詳細闡述了4種評價方法的差異。應用單刺激法開展了3D主觀評價實驗，包括評價素材的選擇和節目制作、主觀評價的實施、數據處理和統計分析，最后進行實驗結果分析，總結并提出了開展3D電視主觀評價工作的經驗教訓，具有實際指導意義。

1 3D電視主觀評價標準分析

目前，國內還沒有3D電視主觀評價標準。國外ITU組織開展了相關研究，制定了標準，包括3D電視圖像主觀評價標準ITU-R BT.1438[2]和3D電視系統的主觀評價標準ITU-R BT.2021[3]。兩個標準都基于2D主觀評價標準ITU-R BT.500[4]，規定了主觀評價的要素、觀看條件等內容。

通常，評估3D電視的顯示質量采用ITU-R BT.2021建議書。該建議書提出了單刺激（SS）法、雙刺激連續質量量表（DSCQS）法、刺激比較法、單刺激連續質量評價（SSCQE）法等4種評價方法。下面通過分析，研究上述4種方法的區別及主要應用場景。

1.1 單刺激（SS）法

單刺激（SS）法主要用于得出某一條件的某種數值分布，分析要判斷的類別和所需的信息（例如等級、主要趨勢、心理“距離”）。評價時顯示單一的圖像或一個圖像序列，并為評價者提供一份整個演示的索引，圖1為典型SS法試驗結構。

對于圖像質量評估和深度質量評估可使用兩種有質量標示的量表，即非連續五級量表和國際電聯標準的連續質量量表。質量標示為“優”、“良”、“中”、“差”、“劣”。在這種情況下，對于視覺舒適度的評估，可使用兩種舒適度標示的量表，即非連續五級量表和連續舒適度量表。舒適度標示包括：“非常舒適”、“舒適”、“輕度不舒適”、“不舒適”和“非常不舒適”。

圖1 典型SS法試驗結構

評價員對每個序列的評分稱為“意見分”。通常針對每個被研究系統計算這些分數的平均值，稱為平均意見分（MOS）。“參考”視頻序列是測試序列未經任何處理的版本，可包含在序列集中。將“參考”視頻序列納入序列集，就可計算“意見分差值”，即研究中每個序列的“測試”和“參考”版所得評分之間的算數差。針對每個被測試系統得到的意見分差值平均數稱為平均意見分差值（DMOS）。

1.2 雙刺激連續質量量表（DSCQS）法

雙刺激連續質量量表（DSCQS）法（圖2）主要用于測量系統相對于某一基準的質量和測量立體圖像編碼的質量。評價員觀看來自同一信號源的一對圖像，一個經過要評價的系統，另一個是原始信號。要求評價者評價二者的質量，對于圖像質量和深度質量評估，可使用國際電聯標準的連續質量量表。對于視覺舒適度評估，應使用舒適度標示為“非常舒適”、“舒適”、“輕度不舒適”、“不舒適”和“非常不舒適”的連續舒適度量表。

圖2 DSCQS法測試系統的一般性安排

1）方法I：評價員是單獨一個人，可以在A和B兩種條件之間切換，直到對每一種條件的評分都感到滿意為止。A線路和B線路都提供了直達參考圖像，或通過被測系統提供圖像。但哪條線路得到哪個圖像在一個測試條件和下一個測試條件之間是隨機變化的，它們由實驗者注明，但不公布。

2）方法II：來自A線路和B線路的圖像連續顯示給評價員，供評價員對每一圖像進行打分，見圖3。

圖3 雙刺激連續質量量表法試驗結構

用每個序列“測試”和“參考”版的評分計算意見分差值，再計算每個被研究系統的平均意見分差值（DMOS）。

1.3 刺激比較法

刺激比較法（圖4）主要用于比較兩個系統的性能，要求評價員對經不同系統（如不同的比特率、不同的算法等）處理過的序列進行比較，以判斷兩個系統質量的優劣。

圖4 刺激比較法試驗結構

評價實驗使用1個監視器或2個匹配良好的監視器，如果使用1個監視器，一對中的兩個組成部分在第一個位置和第二個位置上出現的頻度相同。如果使用2個監視器，則激勵場要同時顯示。評價員用一個二進制量表（如A是首選）提供一個簡單的偏好判斷，或提供一個分級偏好。圖像質量、深度質量和視覺舒適度可使用相同的量表。

1.4 單刺激連續質量評價（SSCQE）法

刺激連續質量評價（SSCQE）法主要用于連續衡量數字編碼視頻的主觀質量。在3D節目播放過程中，圖像質量、深度質量和視覺舒適度也會隨時間出現很大變化，這種波動可能取決于場景內容和影響上述3個基本角度的偽影的持續時間（如短期或長期）。SSCQE法的目的就是分析這些動態變化的影響。在SSCQE法中，對立體視頻序列的圖像質量、深度質量和視覺舒適度進行連續評估（即按照評價指標隨時間的變化進行評估）。這種方法被廣泛認為更能體現實際的家庭觀看模式。

在SSCQE法應使用連接至計算機的電子記錄手持設備來記錄被試得出的質量評價。這種設備應是不帶彈簧復位的滑塊機構，具有10 cm的直線移動范圍，位置固定或能安裝在桌面上，且每秒可記錄兩個樣本。打分原則與單刺激法相同，實驗結束后收集整理所有測試階段的數據，計算平均質量評分，作為時間的函數q（t）。結果可以每個節目段、視頻內容或測試階段所有觀察者的質量評分的平均值表示，圖5所示為SSCQE法的典型測試階段輸出結果。

圖5 SSCQE法典型測試階段輸出結果

因為單刺激連續質量評價（SSCQE）法由每個評價員單獨進行，所以允許評價員控制節目源的播放，可根據自己的需求對節目進行反復觀看。觀看時根據觀感實時用滑塊打分，真實反應評價員每個時刻的感受。這種評價方法的評價結果信息真實、直觀，難度在于打分系統成本較高、對評價員的培訓要求較高、節目時間軸上的要素要清晰。

1.5 標準分析

上述4種評價方法，可用于3D電視節目源的制作、傳輸和顯示等全方位主觀評價，所有方法都是進行一系列的評判試驗，評價員評估研究對象顯示視頻序列集時的立體效果。在每次試驗中，評價員被要求用規定的量表評估視頻序列的特性（如圖像質量）。這些方法各不相同，主要差異在于演示模式（即向觀看者播放視頻序列的方式）和評價員用來對這些序列進行評分的量表不同，評價方法的選擇見表1。

評價員針對圖像質量、深度質量和視覺舒適度這3個參數對測試圖像進行處理的系統以及顯示器進行評估。主觀評價涉及因素多、耗時長、費用高、不確定性強，因此要明確評價試驗的目的和對象，選擇合適的方法。

表1 評價方法選擇

2 3D主觀評價實驗

為探索了解3D顯示主觀評價的一些特性，國家廣播電視產品質量監督檢驗中心組織開展了3D電視主觀評價實驗。研究人員選擇長安街和奧林匹克森林公園進行了實景拍攝，依據ITU-R BT.1438和ITU-R BT.2021的標準要求制作用于主觀評價的素材，并聘請有關專家進行了3D主觀評價打分。主觀評價方法系統搭建上，考慮到觀看距離、觀看角度、樣機與眼鏡的配對關系等因素，合理的方法是對單臺電視進行觀看。由于目前評價人員對3D電視的評價經驗偏少，評價結果信息量是否適中和對同一3D節目主觀感受的差異等問題尚不明確，因此，單刺激（SS）法成為優選。

2.1 評價素材選擇和節目制作

評價素材包括視力檢查素材和主觀評價素材。實驗組依據ITU-R BT.1438和ITU-R BT.2021的標準要求制作視力檢查素材，包括同時視、雙眼融像、粗略立體視、精確立體視和雙目銳度。而主觀評價素材制作主要圍繞感知角度的3個方面：圖像質量、深度質量和舒適度，可分為靜態圖片和活動序列兩類。

靜態圖片采用單機雙機位拍攝方法，對靜物分別拍攝左眼通道和右眼通道圖片，經過后期加工后，將素材圖片制作成左右拼接格式（SBS），其圖片像素分辨率為1 920×1 080。主要考察電視顯示的畫面，在不同亮度背景下物體的立體感、物體的質感以及深度細膩、清晰程度等。活動序列的拍攝設備為松下AG-3DA1MC廣播級集成式3D數字攝錄一體機。采用雙路HD-SDI無壓縮采集設備錄制，攝錄一體機的雙通道HD-SDI輸出，從而生成無壓縮左通道和右通道的AVI活動序列作為基礎素材。測試素材序列采用左右拼接格式（SBS），視頻格式為1 920×1 080/50i，拍攝時選取光圈值基本定為5.6。部分測試序列的簡要說明如下：

1）聚焦面和匯聚面在岸邊蘆葦處；畫面上部邊緣的樹葉略微帶有邊框效應；游船勻速緩慢的由畫面左側運動到右側，之后改變方向向遠處行駛。素材側重于考察立體顯示器深度運動連續性，深度層次的展現，以及邊框效應帶來的舒適度影響，見圖6a。

2）街道上車輛、行人由遠及近地快速運動，考察顯示快速深度運動中現實的連續性，以及舒適度影響，見圖6b。

3）用于評價焦平面與匯聚面不重合時對舒適度影響的素材。焦平面固定在第3輛車處，匯聚面由第1輛車至第5輛車變化，調節深度范圍約為10 m，見圖6c。

4）用于評價焦平面與匯聚面不重合時對舒適度影響的素材。該素材匯聚面固定而焦平面變化，其匯聚面位于近處樹葉，距離約為2m，焦平面由2～20m緩慢變化，見圖6d。

圖6 測試序列的素材圖示

本次評價共計11段節目，每段節目均對應不同的評價要素，如表3所示。

2.2 主觀評價實施

本次試驗共計3臺樣機，包括2臺液晶電視和1臺等離子電視。3D實現方式分別為偏光式和偏振式。每個評價員每次只觀看1臺樣機。節目播放環節選用靜態節目2段、動態節目9段，節目間用灰場隔開。節目可重復播放，每段節目的觀看次數由評價員在觀看時自行決定。評價員認為結果確定后進行打分，并簡要總結該段節目的觀看感受，再進行下一段節目的觀看。

表3 評價要素

評估人員使用非連續五級量表分別進行圖像質量、深度質量和視覺舒適度打分。質量標示為“優”、“良”、“中”、“差”、“劣”。舒適度標示包括：“非常舒適”，“舒適”，“輕度不舒適”，“不舒適”和“非常不舒適”。

2.3 數據處理和統計

針對每臺樣機的評價結果按“圖像質量”、“深度質量”和“舒適度”分別進行統計，計算每臺樣機每個節目的平均分、標準偏差及95%置信區間。圖像質量平均分、深度質量平均分和舒適度平均分分別見表4、表5和表6。

表4 圖像質量平均分

表5 深度質量平均分

表6 舒適度平均分

2.4 結果分析

從評價結果可以看出，樣機1和樣機2的圖像質量基本相當，樣機3的圖像質量較差。因此，采用適當的評價方法可以比較出不同樣機3D圖像質量的差異。

在制作評價節目時，對評價要素進行了充分考慮，不同節目的評價要素分配有所側重，試驗中針對深度質量、舒適度和圖像質量分別進行打分。評價結果表明圖像質量結果與深度質量及舒適度結果有很強相關性。

評價員對3D圖像評價的經驗偏少，對同一節目中同一要素的反應有較大差別，打分差別較明顯，95%置信區間較寬。樣機的顯示質量對評價員的影響很大，顯示質量差的樣機打分偏差更明顯。“對焦點變化”主要用于評價舒適度，3臺樣機該節目平均分數均最低，分數離散度也最大，說明評價員對焦點變化最敏感，但個體感覺上的差別很大。

15，16，17號評價員年齡均在70歲以上，有多年從事電視產品主觀評價的經驗，但他們對3臺3D電視不同節目的打分幾乎無差別，表明年齡越大對3D圖像的差別越不敏感。

3 結論與展望

根據此次主觀評價實驗結果分析可以得到一些有意義的結論：

1）盡管當前我國還沒有正式頒布的3D主觀評價標準作為測試依據，相關人員仍可采用科學的評價標準，針對各種立體顯示設備開展主觀評價，從而得到其顯示質量優劣的結論。

2）圖像顯示深度的質量和人眼舒適度感受對總體評價結果有決定性影響，電視機生產企業應從這兩方面入手改善顯示質量，提高消費者滿意度。

3）為確保3D主觀評價工作科學、公平、公正地開展，檢測機構應先通過大量實驗，嚴格篩選符合個人視力、年齡、健康等條件的評價員參與測試，提高評價員的技術水平，降低由于個人經驗不足導致的結果偏差。

3D電視雖然經過多年發展，真正大量觀賞3D電視節目的消費者并不多，廣大觀眾對3D圖像質量的認識并不完整，用于3D電視主觀評價用的節目源有限，目前國內依據標準開展的3D電視主觀評價還不多，評價員經驗偏少，評價結果的準確性受到多方面影響。因此，雖然經過實踐發現應用適當的方法可以對3D電視產品的圖像質量進行比較，但是實驗室間進行數據交換為時尚早。

[1] 杜祥坤，姜秀華，王彩虹.立體電視視頻質量主觀評價方法研究[J].電視技術，2013，37（23）:241-245.

[2] Recommendation ITU-R BT.1438，Subjective assessment of ste?reoscopic television pictures[S].2000.

[3] Recommendation ITU-R BT.2021，Subjective methods for the as?sessment of stereoscopic 3DTV systems[S].2012.

[4] Recommendation ITU-R BT.500-13，Methodology for the subjec?tive assessment of the quality of television pictures[S].2012

Research on Subjective Evaluation of 3D TV

RUAN Weihong1,WEN Na1,WU Xiaoguang2,PAN Rong1,WU Weihua1,XIE Yudi1,LI Qiang1
（1.National Testing and Inspection Center for Radio and TV Products,Beijing 100015,China; 2.Beijing Peony Digital Video Electronics Co.,Ltd.,Beijing 100083,China）

Analysis of the international 3D TV subjective assessment standards is given.A subjective evaluation process is introduced based on those international standards,and constructive ideas are put forward for selecting evaluation methods, producing evaluation material,and determining evaluation objects and purposes.Useful conclusions and experiences that can be referenced by 3D TV development and production researchers are drawn through practices.

3D TV;subjective assessment;single-stimulus method

TN949.61；TN949.13

A

?? 薇

2014-10-22

【本文獻信息】阮衛泓，溫娜，武曉光，等.3D電視主觀評價方法研究[J].電視技術，2014，38（24）.

國家自然科學基金青年基金項目（61101059）