基于QoS量化用戶體驗質量的評價模型①

朱連章,李然然,張紅霞,郭加樹,張 泉

(中國石油大學(華東)計算機與通信工程學院,青島 266580)

基于QoS量化用戶體驗質量的評價模型①

朱連章,李然然,張紅霞,郭加樹,張 泉

(中國石油大學(華東)計算機與通信工程學院,青島 266580)

針對網絡環境中業務供應商提供的業務不能很好的滿足用戶需求的問題,引入用戶體驗質量(QoE)并結合服務質量(QoS)參數,通過仿真網絡得到相應數據,使用matlab工具分別建立用戶體驗質量與比特率、用戶體驗質量與丟包率的評價模型.運用統計分析方法對評價模型進行數據分析,并與史蒂文斯冪定律、韋伯-費希納定律等模型進行對比驗證.結果表明,構建的評價模型能更精確的體現用戶體驗質量與服務質量的關系,為供應商提供了重要的參考依據,并指明了服務方向.

體驗質量;服務質量;評價模型;史蒂文斯冪定律;韋伯-費希納定律

隨著信息時代的快速發展,互聯網中多媒體數量也在快速增加,在這種環境下吸引了越來越多的用戶,同時造成多媒體業務提供商之間的競爭日益激烈,為了能在激烈的競爭中占得先機,提供商必須確保自己提供的業務得到用戶的認可.由于互聯網是一種盡力而為的(Best-effort)傳輸網絡,在流媒體的傳輸過程中會丟包率、比特率的變化時有發生,這會使用戶對業務的感知產生不利的影響[1].因此,提供商迫切的需要一種以用戶認可程度為標準的業務的評價方法.

目前,采用最廣泛的業務度量標準是服務質量(Quality of Service,QoS),這個標準也是最直接反映業務性能的指標,但人們逐漸發現這個標準僅僅反映了業務技術層面的性能,而且最終衡量業務品質的標準在于用戶對業務的體驗質量(Quality of Experience, QoE).QoE是用戶對一個應用或業務整體可接受性的主觀感受,包含整個端到端系統的影響和受用戶主觀期望值及所處環境影響的業務整體可接受性[2],它綜合了業務層面、用戶層面、環境層面的影響因素.直接反映了用戶對業務的認可程度[3].由于用戶是業務的支付者,所以他們對業務的滿意度對每一位提供商都是至關重要的.QoE的本質就是關注用戶使用業務的感受,目的是實現以用戶為中心的管理[4],并且QoE的評價標準可以用五個級別進行劃分,即優秀(excellent)、好(good)、一般(average)、差(bad)、極差(terrible).例如當用戶看某新聞視頻時,感到畫面不清晰,則認為視頻業務的QoE一般.

為了能夠控制并促進用戶對業務的滿意度,必須找到一種可以用客觀參數表示用戶感知的關系.Hyun Jong Kim等人提出了一種在IPTV服務上提高QoE的解決方法[5],這種方法使用了網絡層上的不同QoS參數.通過不同的QoS對QoE的影響把不同的權重分配給相對應的QoS參數,實驗最后表明方法是非常有效的.例如:在視頻流業務中丟包率和帶寬扮演非常重要的角色,而VoIP確對延遲和抖動非常敏感.

目前針對QoE的研究多體現在QoS層面,較少考慮用戶的主觀感受.本文以視頻流為例,綜合考慮影響用戶體驗的技術因素與非技術因素,建立用戶體驗質量評價模型,將用戶的主觀感受與客觀的網絡因素(丟包率、比特率)進行聯接,同時結合全參考的PSNR(Peak Signal to Noise Ratio,峰值信噪比)方法以及統計分析方法對視頻質量及實驗數據評估、擬合.業務提供者可以根據論文所提模型向用戶提供高質量的業務,并且可以防止不必要的投資,增大提供商的效益.

1 相關工作

建立用戶體驗質量與服務質量模型的目的是為了用戶能在業務提供者提供的海量業務中選擇滿足自身需求的業務.隨著視頻業務的多樣化發展,網絡業務種類不斷增多,業務模式也日趨多樣化,這就會影響用戶對業務的QoE體驗,同時會影響用戶對互聯網中業務的使用.影響QoE的因素有多種,大致可以分為主觀因素和客觀因素兩個方面,如圖1所示.根據不同的影響因素可以選擇不同的評價方法.

圖1 影響QoE的因素

近年來,針對QoE的研究頗受工業及學術界的關注同時也提出許多不同的評價方法.Andrew Perkis等人在測試用戶對多媒體業務的體驗時提出了QoE模型[6],這個模型對基于可測試及不可測試參數的QoE、QoS和業務方面提出了分類.論文將可測量的技術參數以及不可測量的主觀用戶參數(如用戶對業務的滿意度和態度)考慮在內,主觀參數雖然不能測試但可以根據以往的經驗方法進行量化.

Mok,Chan和Chang在HTTP視頻流中對網絡層QoS,應用層QoS和用戶層QoS之間的關系以及這種關系如何影響QoE進行了研究[7].作者使用分析模型和經驗評估確定了應用層QoS和網絡層QoS的關系,然后執行主觀評估,最后對QoS和QoE關聯.分析的結果顯示影響QoE主要因素是消除再緩沖的頻率.

Hyun Jong Kim等人在論文中首先提出了計算QoS并能反映網絡條件的公式[8],并根據這個公式建立QoE-QoS模型,計算IPTV中視頻的QoE.論文實驗部分選擇使用全參方法(SSIM)測試視頻質量,并與丟包率、抖動的關系表示出來.通過論文提出的模型,網絡運營商可以防止不必要的投資以及網絡的維護和修理.

互聯網中業務質量的評價一方面受用戶的主觀影響,另一方面受QoS的影響.QoE是指用戶對于業務質量的主觀感受,并且以用戶主觀評價給出諸如“優秀、一般、差”等模糊語言值表達出來.QoS包含多種參數如丟包率、比特率等,論文選擇這兩種參數分別與QoE建立模型,同時用戶參與仿真實驗測試提高評價結果的可信度.

2 QoE-QoS評價模型

QoE是用戶直接參與,對業務進行主觀評價的方法,論文使用MOS(Mean Opinion Score)表示用戶對業務的認可程度,根據用戶對業務的不同感受分為五個層次,如用戶觀看足球比賽時,畫面清晰,聲音也沒有延遲,則認為該業務良好,具體劃分如表1所示.此量化方法較為細致的描述了用戶的主觀感受,是一種順序量表法[3].但是只考慮主觀的因素的評價方法需要的測試條件比較苛刻,并且測試的結果不具有實時性.QoS是服務的客觀評價方法,包含多種參數,如丟包率、比特率、抖動、帶寬等,但這種方法不能直觀的反映用戶對服務的滿意程度.為了彌補兩種方法的不足,論文將主觀因素與客觀因素結合,提出新的評價模型,提高用戶的滿意度以及業務的使用率,降低業務提供者的成本.

論文以視頻的丟包率和比特率為例,根據實際生活經驗對QoE和這兩個QoS參數的關系提出兩種評價模型,進一步對QoE量化.在同一實驗環境中,用戶的主觀感受會隨著QoS參數的變化而變化,如當視頻在傳輸過程中的丟包率變大時,視頻的質量相應就會變差,與此同時,用戶觀看視頻的心情受到影響,給出的主觀感受分數(MOS)相應變小.

表1 MOS評分等級

2.1 QoE與比特率

對于視頻中比特率的原理與聲音中的相同,都是指由模擬信號轉換為數字信號后,單位時間內的二進制數據量,是衡量視頻質量的一個重要指標.當比特率增大時,傳送數據的速度越快,用戶對視頻感知質量越好,在這種背景下,我們假設當QoE比較小時,比特率增加一點,也會造成QoE(MOS取值)大幅度的增加.當QoE達到一定的值時,即使有很大的變化, QoE受到的影響也很微小.通過假設我們知道比特率與QoE的關系具有一定的正相關性,由此我們預測比特率與QoE的關系模型如公式(1)所示.

2.2 QoE與丟包率

目前應用的視頻圖像標準(如MPEG等)采用壓縮編碼的方式,由于編碼中去掉了視頻信息中的大量冗余信息,數據幀之間的相關性很大,關鍵幀(如MPEG中的I幀)數據包的丟失不僅導致本幀無法解碼,而且會導致其它依賴幀(如MPEG中的P、B幀)也不能解碼,即發生錯誤傳遞,從而嚴重影響視頻圖像的傳輸質量[9].根據經驗當QoE比較高時,很小的丟包率都會對用戶的感知造成明顯地影響,降低MOS的取值.反之,當QoE比較低時,用戶感知對丟包率的改變沒有比較明顯變化,MOS值基本不變,即兩者的關系呈負相關性.由此我們預測丟包率與QoE的關系模型如公式(2)所示.

3 模型實現與驗證

實驗旨在評估視頻流業務中不同QoS參數對用戶體驗質量的影響,提高用戶對業務的滿意度.通過實驗得到的數據,對兩種評價模型進行驗證并在實驗中選擇最普遍、最廣泛使用評鑒畫質的PSNR對視頻的質量客觀評估,最后PSNR的結果再轉化為MOS[10].

3.1 實驗環境

本文實驗環境根據ITUP.910[11]標準設置,測試環境包括客戶端、視頻流業務器和網絡仿真器,如圖2所示.實驗運行在i5 2.4Ghz處理器,4GByte內存的Windows 7環境下,并且統一使用火狐瀏覽器.測試者依據ITU-R BT.500-11[12]制定的條件進行選擇,并且測試者不能對圖像或視頻質量這方面領域非常了解,因此選擇非專業人士作為測試者[13],選擇的測試者包含10個女生和15個男生,平均年齡在22-30歲之間并且都是學生.

圖2 實驗設置

實驗的主要目的是驗證上節提出的QoS參數(比特率,丟包率)與QoE預測模型.其中參數對用戶主觀感受的影響用MOS表示.QoS參數的取值分別為:比特 率 (100,300,400,600,700,800(kbps))、 丟 包 率(0,1,3,7,10,15(%)).

3.2 驗證評價模型

3.2.1 驗證QoE與比特率的模型

首先,對不同的比特率進行測試,25位測試者觀看相同比特率的視頻,他們根據主觀感受和對視頻的容忍度給出相應的分數(分數取值為1-5,如表1所示),我們把得到的分數相加再取平均數,得到某一比特率下相應的MOS值,同時計算出相同比特率的PSNR.根據不同比特率取值得到測試者的平均MOS及PSNR,在matlab中把得到的MOS與比特率進行擬合,結果如圖3所示.

圖3 QoE與比特率擬合曲線

實驗中我們對數據在置信區間為95%的前提下分別進行了冪函數和對數擬合,得到回歸方程以及方程所對應的擬合優度誤差平方和SSE、均方根誤差如表2所示.

3.2.2 驗證QoE與丟包率的模型

由上節對視頻丟包率的介紹可知,丟包率是衡量一個頻質量的重要指標.丟包率的測試條件以及計算過程和比特率相同,把得到的數據在matlab中進行擬合,結果如圖4所示.

表2 QoE與比特率擬合所得回歸方程及各參數

圖4 QoE與丟包率擬合曲線

根據數據在matlab中對QoE和丟包率進行擬合,得到回歸方程以及方程所對應的擬合優度、誤差平方和SSE以及均方根誤差RMSE(置信區間為95%)如表3所示,同時對兩個參數所得MOS與PSNR對應的值在matlab中連接并擬合,結果如圖5所示.說明客觀評價方法PSNR與主觀感知的關系呈正相關性.由表3數據比較可得,指數回歸更適合QoE與丟包率的關系.對數據擬合過程中,一元多項式得到的擬合優度會大于指數的擬合優度,但當大量的數據出現時,丟包率增加到一定的程度,MOS的值只會無限接近于1或者等于1,在這種情況下一元多項式并不適合,所以最終選擇指數回歸模型作為QoE與丟包率的關系模型并初步驗證了公式(2)模型的有效性.

表3 QoE與丟包率擬合所得回歸方程及各參數

3.2.3 與現存模型比較

Khalil ur Rehman Laghari等人用視頻感知質量(PVQ)表示測試人員對測試視頻的主觀評價[14].根據實驗數據針對QoE與比特率的關系得出對數模型,把該模型與本文的冪函數模型進行比較如表4所示.

表4 冪函數模型與對數模型比較

由表4可知本文針對比特率提出的評價模型的擬合優度大于文獻[14]對數的擬合優度,說明冪函數模型更適合描述QoE與比特率的關系.

Sajad Khorsandroo等人[15]根據心理學規律對QoE和QoS(丟包率)的關系進行量化,同時解釋了兩者的相關性.論文針對視頻流的丟包率分別選擇了兩種模型:史蒂文斯冪定律和韋伯-費希納定律,如公式(3)和(4)所示.

文獻[15]根據實驗數據得到QoE與QoS(丟包率)的回歸方程,以及擬合優度2R.將兩種回歸模型與本論文針對丟包率得到的指數模型進行比較如表5所示.

表5 指數模型與對數、冪函數模型比較

由表5可知,論文針對丟包率提出的指數評價模型的擬合優度高于史蒂文斯冪定律和韋伯·費希納定律的擬合優度,說明本文所提模型更適合描述QoE與丟包率關系.以上兩種比較證明了本文所提評價模型的有效性.業務提供商可以根據這種模型向用戶提供更優質的服務,同時減少了服務維護的費用.

論文結合了主觀QoE和客觀QoS建立評價模型,充分考慮用戶的主觀體驗,從用戶角度分析不同因素對業務使用頻率的影響.客觀QoS雖然能直接反映業務性能,但這個標準僅僅反映了業務技術層面的性能忽略了業務的品質要求.通過對QoE與QoS建立模型同時解決了業務技術層面和品質的要求,并且很好的從用戶角度分析業務的使用情況,為業務提供商提供了明確方向.

4 結語

隨著網絡環境中多媒體數量的增加,業務使用者即用戶的數量也急劇增加,在這種背景下,用戶對多媒體的主觀感受被凸顯出來.業務提供者以及供應商想要自己提供的業務能大量的使用,就需要了解用戶主觀感受與網絡環境存在的關系.

論文分別對網絡層QoS的兩個參數(丟包率和比特率)提出兩個量化QoE的評價模型:指數回歸方程和冪函數回歸方程,通過仿真實驗平臺得到的數據對用戶主觀感受(MOS)和QoS參數進行擬合回歸,在置信區間為95%的前提下分別得到兩個模型的擬合優度0.982、0.999,最后分別與現存的模型比較,解釋了QoE與丟包率、QoE與比特率的關系并驗證了兩個預測模型的有效性.論文模型結合了主客觀因素,提高了模型的評價結果質量,但相應的增加模型實現的成本及運算速度等,未來的工作是在大量的數據下尋找新的通用的回歸方程,在多個QoS參數的情況下更全面的解釋QoE與QoS的關系,同時尋找一個更高效的評價模型,提高用戶的滿意度以及業務的使用率同時能減少模型實現的成本.

1張大陸,祝嘉麒.網絡傳輸中IPTV的QoE評估模型的研究.計算機工程與應用,2013,49(20):71–76.

2金渝,李校林,李雪松.用戶體驗質量評估模型及KQI權重計算方法.計算機工程,2013,39(2):311–316.

3林闖,胡杰,孔祥震.用戶體驗質量(QoE)的模型與評價方法綜述.計算機學報,2012,35(1):1–15.

4陸蕓婷,李振軍.基于用戶滿意度模型的云計算QoE評價方法.計算機與數字工程,2014,(4):551–554,600.

5 Kim HL,Choi SG.A study on a QoS/QoE correlation model for QoE evaluation on IPTV service.2010 The 12th InternationalConference on Advanced CommunicationTechnology(ICACT).IEEE.2010,2.1377–1382.

6 Perkis A,Munkeby S,Hillestad O I.A model for measuring quality of experience.Signal Processing Symposium,2006. NORSIG2006.Proc.ofthe7thNordic.IEEE.2006.198–201.

7 Mok RKP,Chan EWW,Chang RKC.Measuring the quality of experience of HTTP video streaming.2011 IFIP/IEEE International Symposium on Integrated Network Management(IM).IEEE.2011.485–492.

8 Kim HJ,Choi SG.QoE assessment model for multimedia streaming services using QoS parameters.Multimedia Tools andApplications,2014,72(3):2163–2175.

9楊宗凱,彭杰,余江.實時視頻通信中的自適應前向糾錯方案設計.計算機工程與科學,2007,29(8):43–45.

10 ITU-T.P800.1.Mean Opinion Score(MOS)terminology, Geneva.2006,7.

11 ITU-T P.910.Subjective video quality assessment methods for multimedia applications.1999,9.

12 ITU-R BT.500-11.Methodology forthe subjective assessment of the quality of television pictures.2002,10.

13 Mushtaq MS,Augustin B,Mellouk A.Empirical study based on machine learning approach to assess the QoS/QoE correlation.2012 17th European Conference on Networks and Optical Communications(NOC).IEEE.2012.1–7.

14 Issa O,Speranza F,Falk TH.Quality-of-experience perception forvideo streaming services:Preliminary subjective and objective results.Signal&Information Processing Association Annual Summit and Conference (APSIPAASC),2012Asia-Pacific.IEEE.2012.1–9.

15 Khorsandroo S,Noor RM,Khorsandroo S.The role of psychophysics laws in quality of experience assessment:a video streaming case study.Proc.of the International Conference on Advances in Computing,Communications and Informatics.ACM.2012.446–452.

Evaluation Model of Quantitative QoE Based on QoS

ZHU Lian-Zhang,LI Ran-Ran,ZHANG Hong-Xia,GUO Jia-Shu,ZHANG Quan

(College of Computer&Communication Engineering,China University of Petroleum,Qingdao 266580,China)

In view of the problem that service from provider cannot meet the needs of the users in the network environment,this paper introduces the Quality of Experience(QoE)and Quality of Service(QoS)parameters.Through simulation network,the corresponding data are obtained.And two evaluation models(QoE with bit rate and QoE with packet loss rate)are established by using MATLAB tools.Analyzing the data of evaluation models with statistical analysis method,the model is verified by comparing with Stevens’Power Law model and Weber-Fechner Law model. The result shows that the evaluation models can precisely express the relationship between QoE and QoS,and it can provide the direction of service and an important reference for the service providers.

QoE;QoS;evaluation model;Stevens’power law;Weber-Fechner law

山東省優秀中青年科學家科研獎勵基金計劃(BS2014DX021)

2016-08-31;收到修改稿時間:2016-10-10

10.15888/j.cnki.csa.005752