移動互聯網下視頻時延的用戶體驗質量研究

譚 浩，孫家豪

移動互聯網下視頻時延的用戶體驗質量研究

譚 浩1，孫家豪2

(1. 湖南大學汽車車身先進設計制造國家重點實驗室，湖南 長沙 410082； 2. 湖南大學設計藝術學院，湖南 長沙 410082)

隨著移動互聯網的發展，移動視頻業務的迅速爆發，良好的用戶體驗質量(QoE)成為運營商挽留用戶的關鍵因素。從用戶體驗角度，建立不同時延下移動視頻業務的評價量化標準。通過情景實驗模擬的方法，以平均主觀意見分(mean opinion score，MOS)量表建立用戶視頻體驗質量的實數映射關系。針對用戶對視頻觀看時延的有效反應進行分級研究，得到以下結果：單次和多次的初始緩沖時延和卡頓時延對用戶觀看移動視頻的影響并建立用戶體驗質量評價等級。在短視頻中出現單次時延在4 s以上，用戶會出現負面情緒；在相同延遲時長下，單次的初始緩沖時延的用戶體驗質量略優于卡頓時延；對于在一定播放時長的移動視頻業務中出現多次卡頓，卡頓時延短但是間隔頻繁的體驗質量比卡頓時延長但是間隔時間長的體驗質量要更差。

移動互聯網；體驗質量；緩沖時延；卡頓時延；平均主觀意見分量表

等待對于用戶來說是一種經常不可避免的體驗，并且是對服務滿意度和客戶忠誠度的決定因素[1]。移動視頻業務出現的時間延遲則是影響用戶體驗最重要的因素之一[2]，其通常被定義為系統延遲[3]或系統響應時間[4]。不同時延會直接影響用戶對移動視頻服務提供商的選擇。隨著基于IP的語音傳輸(voice over internet protocol，VoIP)以及支持視頻顯示的移動設備和無線網絡(WLANS和3G/4G)的廣泛應用，導致視頻流量的使用有了迅速增加的趨勢，不久，通過網絡傳輸的視頻內容將達到90%[5-6]。但是移動視頻飛速發展的同時也遇到問題，相對于桌面端的視頻業務擁有穩定的網絡環境，移動端的視頻業務面臨更復雜的網絡環境和應用場景，用戶對時延的體驗要求更高。然而業界關于移動視頻時延體驗質量的好壞并無統一標準；傳統網絡以容量和覆蓋為核心的建設模式也遭遇挑戰，出現了網絡關鍵性能指標(key performance indication，KPI)很好但用戶體驗不佳的問題。因此，確定統一的用戶移動視頻業務體驗質量指標(quality of experience，QoE)，從而為網絡故障定位和網絡質量優化提供基礎和依據成為一個迫切解決的問題，本文提煉出導致視頻時延中的關鍵因素，通過實證實驗的量化方法，分析用戶視頻體驗質量，提出體驗質量評價標準。

1 用戶體驗質量與時延

1.1 用戶體驗質量(QoE)

QoE的研究，在各種移動視頻服務中發揮重要的作用，其通常是描述用戶整體滿意度，反映用戶使用(多媒體)系統、服務或應用程序的滿意或厭煩的程度[7]。還有其他解釋，如QoE是評估用戶對不同設備上顯示內容的滿意度[8]；國際電信聯盟定義QoE為：終端用戶對整個應用或者服務整體的主觀可接受程度[9]；在文獻[10]中，QoE被定義為：用戶體驗一個系統的整體性能。QoE測量系統涉及不同類型的技術和非技術的因素，與服務準備、交付和呈現有關，面對移動視頻業務日益增加的需求，QoE維持在可接受的水平上具有巨大的挑戰。分析上述幾個定義，可以總結出QoE是用戶和服務或者應用交互的過程中產生的一種主觀感受。因此，確定時間延遲的維度，建立移動視頻業務的時延體驗質量評價標準，具有重要的理論和實踐意義。

1.2 時延

由于系統延遲是由系統本身和瞬態因素造成的[3]，用戶受其影響，導致體驗不佳[11-12]。近些年來，許多研究發現有2個因素可以影響用戶在延遲期間的體驗和表現：①是延遲長度；②是延遲變化[13-14]。漫長的等待時間對用戶的性能和體驗是有害的，對用戶的整體滿意度產生不良影響[15-16]。視頻加載時間和卡頓次數是影響用戶視頻業務體驗質量的2個關鍵因素[17]，二者的用戶體驗往往來源于用戶感知到的時間長短。用戶所感知的時間即為時間知覺，是人們對時長的主觀感受和心理體驗[18]，而移動視頻播放中出現的時延就是用戶時間知覺中時距的一種體現。方浩等[18]研究發現，移動端加載動效均對降低等待焦躁感產生正向影響并且加速條件下用戶時距知覺最短；劉江波和袁徐慶[19]提出AR的APP加載頁面提前進入互動體驗，能夠很好地掩護加載狀態，減少用戶對時間的感知。譚浩等[20]基于用戶電生理信號變化對不同卡頓占視頻時間比進行用戶體驗研究，發現15%的卡頓占比體驗較好，到達23%以上用戶不能忍受。但是，上述研究中多數只考慮了單次時延或短時間時延對用戶的影響及相關設計策略，并沒有考慮多次時延的對用戶影響并用戶體驗質量質模型。因此，在移動視頻業務構建各種延遲的體驗質量模型，對于用戶體驗至關重要。本文將移動視頻業務中時延的因素分為初始緩沖時延(用戶點擊播放按鈕到視頻開始播放前的一段時間)和卡頓時延(在視頻播放中出現的停滯的次數與時長)，并針對2個指標進行實驗配比設計。

1.3 QoE量化方法

為了更好地研究QoE與時間延遲因素之間的關系，需要將其量化，建立QoE到實數的映射關系，更準確地反映QoE與時間延遲因素的關系。STEVENS和VOLKMANN[21]將測量(或者量化)的水平分為４個等級，即類別量表、順序量表、等比量表及等距量表，而前三者測量方法更加適合QoE的特征。文獻[22]采用類型量表的方法，將QoE分為可接受和不可接受2個級別；文獻[23]提出了成對比較法，對測試樣本進行兩兩比對后再對QoE進行量化，屬于等距量表法，二者皆有一些缺陷。本文量化方法采用的是基于是國際電信聯盟(International Telecommunication Union，ITU)建議的平均主觀意見分(mean opinion score，MOS)[24]，將QoE的主觀感受分為5個層次，細致地描述了用戶的主觀感受，是一種順序量表法，是評估視頻體驗質量最常用的方法。MOS方法使用包括“壞”、“差”、“中”、“好”和“優”的評價質量等級，并將其轉換為數值1，2，3，4和5來進行實數的映射(表1)，不僅相比兩類法對用戶的主觀感受描述的更加細致，而且相較于成對比較法所準備的實驗素材更加適中。

表1 平均主觀意見分量表

2 實驗設計

2.1 實驗素材與被試

本文實驗中2兩個任務研究視頻QoE和時延之間的關系：任務1是比較不同時間長度下，在視頻播放中出現單次初始緩沖時延和卡頓時延對用戶體驗質量的影響；任務2是比較在單次卡頓時長、卡頓次數和卡頓后視頻流暢播放時長三者不同配比的情況下，多次卡頓時延對用戶體驗質量的影響。

影響視頻QoE的因素有很多，有研究劃分為技術性能、可用性、主觀評估、期望和背景5個類別。文獻[25]指出，影響用戶感知的因素還包括主觀質量指標和客觀質量指標，主觀質量指標包括移動設備的屬性(網絡連接質量、屏幕尺寸、設備性能)、用戶的目的與興趣、視頻播放的內容、時長以及環境的影響(照度、溫度、觀看距離)。因此本文實驗在實驗室環境中進行，保證光線柔和(100 LUX左右)溫度舒適(18~25℃)，噪聲恒定為50 Hz左右，實驗設備選取iPhone 6 Plus手機(5.5 in，400 ppi)用于播放實驗視頻片段；視頻素材利用視頻編輯軟件模擬在移動網絡中的緩沖時延和卡頓時延。采用1080 P分辨率并覆蓋新聞、綜藝與娛樂、原創、動畫、體育和紀錄片6種視頻類型供用戶自主選擇，視頻時長在單次時延體驗中為20 s，多次時延體驗為6 min，綜上設置主要為減少主觀質量指標對用戶體驗的影響。客觀質量指標包括初始緩沖時延、卡頓時延和卡頓次數。用戶在完成實驗后，利用MOS主觀測評表對每段實驗視頻片段進行評分。

本文研究中有38名參與者(21名男性、17名女性)，年齡介于18~55歲(男=21，SD=10)均是有經驗的移動設備用戶，平均每人使用網絡6年。所有參與者接受視覺疲勞測試并填寫個人基本信息表之后，其中30名(15名男性、15名女性)有資格參加本文研究，80%的參與者經常使用移動設備觀看視頻。

2.2 實驗流程

任務1.單次初始緩沖時延和卡頓時延實驗。

首先請用戶調整最舒適的位置并將手機擺放到最合適用戶的距離，用戶被告知實驗測試過程和實驗的目的；如圖1(a)所示，用戶選擇一個長度為20 s最感興趣類型的視頻并點擊播放按鈕開始觀看。每個視頻素材最開始都有一個秒的初始緩沖時間(時延配比見表2)。參與者需要根據對不同素材的體驗對其進行5分到1分的MOS評估。當MOS得分達到1分時，實驗結束。

圖1 任務1流程圖

表2 任務1時延配比(s)

同樣如圖1(b)所示，用戶選擇一個長度為20 s最感興趣內容的視頻并點擊屏幕播放按鈕。視頻開始播放5 s流暢的畫面后出現秒的卡頓時延(時延配比見表2)，最后直到視頻繼續播放完成。參與者根據對不同素材的體驗進行5分到1分的MOS評估。

任務2.多次卡頓時延實驗

如圖2所示，用戶首先調整最舒適的位置并將手機擺放到最合適的距離，告知用戶實驗測試過程和實驗的目的。用戶選擇一個長度為6 min的最感興趣類型的視頻并點擊播放按鈕觀看視頻。視頻播放秒后，出現秒的卡頓時延。視頻繼續播放秒直到發生下一次卡頓時延，以此循環。參與者需要根據自身體驗對時延進行5分到1分的MOS評估，當被試MOS評分為1分時，實驗結束。的時長為任務1的單次卡頓時延的MOS分數為5，4和3所對應的時間；的時長為2 s，4 s，8 s，16 s，32 s，64 s和128 s，卡頓次數為1~20次。

圖2 任務2流程圖

3 結果與分析

如圖3所示，將任務1中的初始緩沖時延和卡頓時延在移動網絡環境下的用戶體驗MOS分進行了平均處理后，發現緩沖時延和卡頓時延的總體趨勢幾乎相同，但是在時延時間相同的情況下，緩沖時延的MOS分普遍高于卡頓時延，表明用戶在模擬移動互聯網環境中觀看視頻時，緩沖時延的容忍度比卡頓時延的更高。在對緩沖時延和卡頓時延進行了單因素方差分析，并將12個等待時間長度作為因子水平后，發現其對用戶體驗質量有顯著的主要影響((2, 30)=11.105；=0.001；partial2=0.425)。當延遲時間1=0.1 s時用戶有最好的體驗，被試的MOS評分最高。當初始延遲時間不超過0.5 s時，用戶擁有較好的用戶體驗，所有評分均高于4.5；當卡頓時延2=1 s時，MOS分數降至4；當卡頓時延3=3 s時，MOS分數降至3。當平均時延時間超過4 s時，MOS分數用戶大多數反映為負面情緒。如果時延超過10 s，實驗中用戶都表現出對視頻播放情況的零容忍并擁有了糟糕的用戶體驗。

針對任務2中多次卡頓時延對用戶體驗質量的影響，單次卡頓時延為任務1對應的MOS分數(1=0.1 s，2=1 s和3=3 s)，為了測試在移動網絡環境下多次卡頓時延對觀看體驗產生影響，對7種不同的視頻流暢播放的時長(2 s，4 s， 8 s，16 s，32 s，64 s和128 s)和卡頓次數(1~20次)進行了雙因素的方差分析，當單次卡頓時延為0.1 s時，視頻流暢播放時長和卡頓次數對MOS分數有顯著的影響且其間有相互作用[(1,29)=8.114，<0.001，2=0.727]。當單次卡頓時延為1 s時，視頻播放時長(<0.001)和卡頓次數(<0.001)之間對MOS分數有顯著的影響[(1,29)=7.145，=0.000，2=0.684]。從3 s單次卡頓時延數據分析[(1,29)=8.024，=0.000，2=0.519]也具有顯著的影響。

圖3 任務1實驗結果

如圖4所示，在卡頓次數和視頻流暢播放時長相同的情況下，單次卡頓時延越長，用戶MOS評分就越快到達1分并且對卡頓忍耐的次數會降低，對用戶體驗質量影響就越大。例如，當視頻流暢播放時長都為32 s時，圖4(a)中單次卡頓時延為0.1 s，用戶忍耐卡頓次數的數量為10次并且MOS分為2.87分；圖4(b)中單次卡頓時延為1 s，用戶忍耐卡頓次數的數量為10次并且MOS分為2.1分；圖4(c)中單次卡頓時延為3 s，用戶忍耐的卡頓次數的數量為8次，用戶的MOS評價到達了1分。

圖4 任務2實驗結果

在其他條件相同的情況下，視頻流暢播放時長變短或卡頓次數的增多都會對用戶的行為和心理產生不利的影響；并且卡頓時延的一定的情況下，視頻播放中卡頓時延短，且間隔頻繁的體驗質量比卡頓時延長但是間隔時間也長的視頻體驗質量要更差。如圖4所示，在視頻播放流暢的時長從2 s到16 s的范圍內，隨著時間長度變短，卡頓的次數的增多，用戶的MOS分評價會迅速降低。例如，在圖4(a)中，當視頻播放流暢時間為4 s、單次卡頓時延為0. 1 s、用戶的MOS分為1分的時候，卡頓的次數為10次；但是當視頻播放流暢得時間延長至16 s時，用戶的卡頓的忍耐次數增加到15個。在圖4(b)中，當視頻播放流暢時間為4 s、單次卡頓時延為1 s、用戶的MOS分為1分的時候，卡頓的次數為8次，當視頻播放流暢得時間延長至16 s時，用戶的卡頓的忍耐次數僅為11個；圖4(c)中也是相同趨勢變化。但是當視頻流暢播放時間超過16 s，延長到32 s以上時，用戶的MOS分數不會隨著卡頓次數的增加而迅速下降；如圖4(a)所示，當視頻流暢播放時間為2 s時，卡頓次數從1次增加到3次，MOS分數下降0.64分，而在128 s的視頻流暢播放的素材中，分數僅下降0.1分，MOS分數相差不大。如圖4(b)所示，當視頻流暢播放時間為2 s時，卡頓次數從1次增加到3次，MOS分數下降0.87分，而在128 s的視頻流暢播放的素材中，分數也僅下降0.1分。如圖4(c)所示，當視頻流暢播放時間為2 s時，卡頓次數從1次增加到3次，MOS分數下降1.07分，而在128 s的視頻流暢播放的素材中，分數僅下降0.43分。

4 結束語

本文研究分析了在移動網絡環境下影響觀看視頻體驗的最重要的兩個因素：初始緩沖時延和卡頓時延。通過對視頻播放中出現的單次和多次的時延實驗設計，得到了移動視頻業務下，時延的單次和多次的用戶體驗質量的MOS分評價標準，單次時延在4 s以上，用戶會體驗質量變差；在相同延遲下，單次的初始緩沖時延的用戶體驗質量略優于卡頓時延；在一定播放時長的移動視頻業務中出現多次卡頓，卡頓時延短但是間隔頻繁的體驗質量比卡頓時延長但是間隔時間長的體驗質量要更差。移動視頻業務的用戶體驗質量標準使運營商直觀的對業務進行評價，為優化網絡結構、合理分配網絡資源，定向輸出網絡優化套餐的服務與優化提供了數據支持，并且提升用戶業務體驗質量并增加用戶忠誠度。

本文研究也存在一定的局限性：①本次實驗用戶均選擇有多年移動視頻使用大學以上的青年，沒有考慮個體的認知因素和人格因素，而是用移動視頻的用戶非單一群體；②本次實驗研究并未考慮視頻播放的總時長對用戶體驗質量的影響，不同時間長短的視頻可能對用戶時延體驗有影響，將在后續的研究中進一步討論。

[1] PRUYN A, SMIDTS A. Effects of waiting on the satisfaction with the service: Beyond objective time measures[J]. International Journal of Research in Marketing, 1998, 15(4): 321-334.

[2] LEE D, MOON J, KIM Y J, et al. Antecedents and consequences of mobile phone usability: linking simplicity and interactivity to satisfaction, trust, and brand loyalty[J]. Information & Management, 2015, 52(3): 295-304.

[3] SZAMEITAT A J, RUMMEL J, SZAMEITAT D P, et al. Behavioral and emotional consequences of brief delays in human–computer interaction[J]. International Journal of Human-Computer Studies, 2009, 67(7): 561-570.

[4] DABROWSKI J, MUNSON E V. 40 years of searching for the best computer system response time[J]. Interacting with Computers, 2011, 23(5): 555-564.

[5] BEGEN A, AKGUL T, BAUGHER M. Watching video over the web: part 1: streaming protocols[J]. IEEE Internet Computing, 2011, 15(2): 54-63.

[6] Index C V N. Forecast and methodology[EB/OL]. (2013-10-08) [2019-07-15]. https://d2sr9p9v571tfz. cloudfront.net/upload/images/10_2013/131028130134.pdf.

[7] BRUNNSTR?M K, BEKER S A, DE MOOR K, et al. Qualinet white paper on definitions of quality of experience output from the fifth qualinet meeting[EB/OL]. (2013-03-12) [2019-07-15]. http://www.qualinet.eu/images/stories/QoE_whitepaper_v1.2.pdf.

[8] M?LLER S, EDITORS R A. Quality of experience: advanced concepts, applications and methods[M]. Berlin: Springer, 2014: 11-12.

[9] International Telecommunication Union. Definition of quality of experience (QoE)[EB/OL]. (2007-02-06) [2019-11-01]. https://www.itu.int/md/T05-FG.IPTV-IL- 0050/en.

[10] GARCIA M, CANOVAS A, EDO M, et al. A QoE management system for ubiquitous IPTV devices[C]// 2009 3rd International Conference on Mobile Ubiquitous Computing, Systems, Services and Technologies. New York: IEEE Press, 2009: 147-152.

[11] CEAPARU I, LAZAR J, BESSIERE K, et al. Determining causes and severity of end-user frustration[J]. International Journal of Human-Computer in Studies, 2004, 17(3): 333-356.

[12] NAH F F H. A study on tolerable waiting time: how long are web users willing to wait?[J]. Behaviour & Information Technology, 2004, 23(3): 153-163.

[13] KUHMANN W. Experimental investigation of stress-inducing properties of system response times[J]. Ergonomics, 1989, 32(3): 271-280.

[14] KUHMANN W, BOUCSEIN W, SCHAEFER F, et al. Experimental investigation of psychophysiological stress-reactions induced by different system response times in human-computer interaction[J]. Ergonomics, 1987, 30(6): 933-943.

[15] SEOW S C. Designing and engineering time: the psychology of time perception in software (adobe reader)[M]. Hoboken: Addison-Wesley Professional, 2008: 16-20.

[16] SIMOENS P, VANKEIRSBILCK B, DEBOOSERE L, et al. Upstream bandwidth optimization of thin client protocols through latency‐aware adaptive user event buffering [J]. International Journal of Communication Systems, 2011, 24(5): 666-690.

[17] KHAN A, SUN L, JAMMEH E, et al. Quality of experience-driven adaptation scheme for video applications over wireless networks[J]. IET Communications, 2010, 4(11): 1337-1347.

[18] 方浩, 李夢凡, 王中, 等. 移動端加載動效時距知覺影響機制研究[J]. 圖學學報, 2019, 40(4): 746-750. FANG H, LI M F, WANG Z, et al. Study on effect mechanism of time-distance perception on motion loading of mobile terminal[J]. Journal of Graphics, 2019, 40(4): 746-750 (in Chinese).

[19] 劉江波, 袁徐慶. 移動端增強現實產品的加載設計研究[J]. 工業設計, 2019, 150(1): 131-133. LIU J B, YUAN X Q. Study on loading design strategy for mobile augmented reality products[J]. Industrial Design, 2019, 150(1): 131-133 (in Chinese).

[20] 譚浩, 梁晨曦, 孫家豪, 等. 基于生理電的移動視頻卡頓占比體驗的研究[J]. 包裝工程, 2017, 38(2): 120-126.TAN H, LIANG C X, SUN J H, et al. Mobile video lag-time proportion experience based on physiological signal[J]. Packaging Engineering, 2017, 38(2): 120-126 (in Chinese).

[21] STEVENS S S, VOLKMANN J. The relation of pitch to frequency: a revised scale[J]. The American Journal of Psychology, 1940, 53(3): 329-353.

[22] MENKOVSKI V, OREDOPE A, LIOTTA A, et al. Predicting quality of experience in multimedia streaming[C]//Proceedings of the 7th International Conference on Advances in Mobile Computing and Multimedia. New York: ACM Press, 2009: 52-59.

[23] CHEN K T, WU C C, CHANG Y C, et al. A crowdsourceable QoE evaluation framework for multimedia content[C]//Proceedings of the 17th ACM International Conference on Multimedia. New York: ACM Press, 2009: 491-500.

[24] ITU-T. P.800: Methods for subjective determination of transmission quality[EB/OL]. (1996-03-12) [2019-07-15]. https://www.itu.int/rec/dologin_pub.asp?lang =e&id=T- REC-P.800-199608-I!!PDF-E&type=items.

[25] 王澤朋. 面向網絡視頻的體驗質量測量方法研究與應用[D]. 長沙: 湖南大學, 2018. WANG Z P. Research and application of quality of experience measurement method for network video [D]. Hunan: Hunan University, 2018 (in Chinese).

Research on user experience quality about the time delay of videos on mobile internet

TAN Hao1, SUN Jia-hao2

(1. State Key Laboratory of Advanced Design and Manufacture for Vehicle Body, Hunan University ,Changsha Hunan 410082, China; 2. School of Design, Hunan University, Changsha Hunan 410082, China)

With the development of mobile Internet and the rapid growth of mobile video services, satisfactory quality of experience (QoE) has become a key factor for operators to retain users. Quantitative evaluation criteria was established for mobile video services with different kinds of time delay from the perspective of user experience. According to the method of scenario simulation, a real mapping relationship of the user experience quality was proposed in the subjective scale form of the mean opinion score (MOS). Then a hierarchical study was taken on users’ effective response to delayed videos. The effect of single and multiple initial buffer time and stalling time on user experience quality was obtained. Besides, the evaluation level system of user experience quality was created. In a short video, negative user experience occurs when there is a single delay longer than four seconds. Under the circumstance of the same delay duration, the user experience quality of the initial buffer time is slightly better than that of the stalling time. If many delays occur in a certain mobile video service, compared with a lower frequency of long delays, the short but frequent delays will bring more negative experience to users.

mobile internet; user quality of experience; initial buffer time; stalling time; mean opinion score subjective scale form

TP 391

10.11996/JG.j.2095-302X.2020030350

A

2095-302X(2020)03-0350-06

2019-11-04；

2019-12-02

湖南省社會科學基金項目(2010YBA054)；湖南省研究生科研創新項目(CX2016B111)；湖南大學青年教師成長計劃項目資助

譚 浩(1977-)，男，四川宜賓人，教授，博士，博士生導師。主要研究方向為汽車設計、人機交互等。E-mail：htan@hnu.edu.cn