面向用戶感知的LTE網絡評估模型的設計與實現

鄧炳光，劉 兵，張治中

(重慶郵電大學 通信網測試工程研究中心，重慶 400065)

面向用戶感知的LTE網絡評估模型的設計與實現

鄧炳光，劉 兵，張治中

(重慶郵電大學 通信網測試工程研究中心，重慶 400065)

隨著數據業務的飛速發展以及智能終端的快速普及，如何評價并提高用戶體驗已成為當前網絡優化、未來網絡設計的重點。基于此，提出了一套面向用戶感知的LTE網絡評估指標體系，并采用層次分析法、變異系數法，建立了以用戶感知為核心的LTE網絡評估模型。最后，以重慶某小區實測數據為例，對該小區數據業務性能進行評估，并給出了直觀的分析評估結果。

LTE網絡；用戶感知；感知指標體系；層次分析法；變異系數法

隨著OTT(Over the top)應用的爆發式發展，從電信運營商的角度，三大運營面臨越來越大的管道壓力，并逐步從語音業務轉向流量經營。從用戶的角度，層出不窮的業務，讓用戶越來越注重對網絡性能的個人體驗。而第四代LTE(Long Term Evolution)以及未來的5G(the fifth Generation Mobile Communication Network)移動寬帶系統的目標是為全面提升用戶體驗[1]。基于此，建立一套基于用戶感知的LTE網絡評估系統已成為現階段電信運營商的迫切需求。

傳統的網絡評估方法采用基于網元層面的客觀評估方法和基于用戶調查的主觀數學樣本統計來進行。在具體的評價過程中，主觀方法由于用戶選擇的主觀性以及所調查人群的限制性，得到的評估結果往往不具有穩定性和科學的指導性；而客觀方法卻往往基于網絡側，并沒有充分考慮用戶的體驗和與用戶體驗的相關QOS參數，也無法全面指導網絡運維。因此目前并沒有一套完整的評估方法能夠將用戶體驗信息的主觀性和網絡狀態的客觀性綜合分析計算的方法[2-3]。

本文重點研究基于用戶感知的LTE網絡指標，在傳統網絡評估的方法上運用層次分析、變異系數法，以明確的結果實現了用戶對LTE網絡感知情況的評估。

1 LTE網絡架構

LTE網絡采用全IP化、扁平化的網絡架構，主要包含3大部分，分別是用戶終端(UE)、演進的全新接入網(E-UTRAN)和演進的分組核心網(EPC)。其中，E-UTRAN僅由基站(e Node B)組成，EPC包含移動管理實體(Mobile Management Entity)、服務網關(Service Gateway)和分組數據網關(Packet Data Network Gateway)等子組件[4]。網絡架構如圖1所示。

圖1 LTE網絡架構

LTE適用于網絡質量評估及網絡優化的接口眾多，例如Uu，X2，S1-MME，S1-U，S6a，SGs等接口。其中，S1接口是LTE網絡中最為核心的接口，是接入網(E-UTRAN)和分組核心網(EPC)之間的唯一通道，承載了兩個實體間所有的信令和數據[5]。因此，對S1接口進行分析可以全面地獲取LTE網絡的運行狀況，本文的分析數據主要也是從S1-MME和 S1-U 這兩個接口采集。

2 用戶感知評價體系

要對LTE網絡性能進行評估，首先要建立LTE網絡的評

價體系。整個評價體系從數學建模的角度，可分為數據采集、數據聚合、建模分析、感知呈現4個層面。其中分析數據主要包括S1接口采集的數據和用戶投訴數據；數據聚合則是對網元層面各類指標的數學統計，例如統計求取無線接通率，E_RAB建立成功率等語音業務指標；建模分析是整個評估算法的核心，主要用于將用戶感知、業務質量和網元性能通過一定的數學表達式進行關聯映射，從而完整地表征用戶和網絡的交互過程。最后感知呈現則以明確結果實現用戶對LTE網絡感知情況的定量分析[6]。

基于上面的分析，整個LTE網絡評估體系如圖2所示。

圖2 用戶感知評價體系

3 用戶感知評價模型

3.1 體系構建

3.1.1 選取原則

LTE指標的選取決定了最后用戶對網絡感知情況的準確性和全面性。如果評價指標過少則會造成對LTE網絡的評估顯得分析片面；如果過多，則容易造成對LTE網絡某一特性的重復表征，徒增復雜度。本文以面向客戶感知為核心，在LTE網絡指標的篩選上遵循以下原則[7]：

1)以用戶感知為導向原則：所選取的指標無論從信令面還是業務面，均應該從用戶的角度出發，選取能充分表征用戶實際感受的指標。

2)全面性原則：選取的指標能夠較為全面地反映LTE網絡各方面的性能，不能過于片面。

3)可操作性原則：即需要將LTE網絡評估問題進行必要的層次分解，并且選取的指標應該具有可測性、可控性和可操作性。

4)獨立和重要性原則：選取的指標集應該具有獨立性，避免對LTE網絡某一特性的重復表征；并且還能夠對最后LTE網絡性能的評估產生顯著影響。

3.1.2 指標建立

LTE用戶感知情況，即用戶對LTE網絡的總體滿意程度，表征了用戶對LTE網絡總體可接受程度，反映了用戶期望的質量與LTE網絡提供質量的差距程度?；趫D1建立的LTE網絡評價體系，LTE網絡的指標建立則是對具體QoE、KQI、KPI指標的選取。針對LTE網絡性能的評估，總共涉及三類業務，語音業務、短信業務和數據業務。每類業務具體的KQI和KPI定義如下。

在語音業務方面[8-9]，LTE網絡基于用戶感知的角度可分為接入性指標、保持性指標和移動性指標，它們具體對應的KPI指標如圖3所示。

圖3 語音業務體系

在數據業務方面[10]，LTE業務指標主要是針對TCP/UDP，HTTP，DNS，MMS，FTP等協議的分析。本文基于用戶角度，可分為可接入性、舒適性、可靠性3個指標。對應具體的業務，可再細分為網頁瀏覽、視頻業務、即時通信、微博業務、下載業務、游戲業務6類，它們對應的具體KPI如圖4所示。

圖4 數據業務體系

在短信業務方面，由于移動通信的快速發展和移動互聯網OTT業務(如微信、米聊、QQ)的快速發展，短信業務也基本被數據業務所替代，因此在此不作具體分析。

基于以上分析，整個LTE網絡指標體系如圖5所示。

圖5 LTE網絡指標體系

3.2 模型建立

LTE網絡評估體系最終是要以明確的結果實現用戶對網絡感知情況的定量分析。整個模型建立步驟分為以下4步：

步驟1，選定LTE網絡評估指標；

步驟2，構造綜合評估函數；

步驟3，確定映射關系和指標權值；

步驟4，綜合評判。

指標選取已經在上節中分析介紹，因此，基于圖5建立的LTE網絡指標體系，整個模型具體建立過程如下。

3.2.1 構造綜合評估函數

定義用戶感知指數CSI(Customer Satisfaction Index)用于表征用戶對LTE網絡的感知情況。基于前面的分析，LTE網絡共涉及語言業務、數據業務和短信業務。每一項又可細分為具體的KQI和KPI指標。因此，LTE網絡的綜合評價表達式CSI可量化為

CSI=α1U1+α2U2+α3U3

(1)

Ui=β1Q(y1)+β2Q(y2)+…+βn(yn)，i=1,2,3

(2)

Q(yn)=λ1H(x1)+λ2H(x2)+…+λmH(xm)

(3)

式中：CSI是語音業務、數據業務、短信業務的加權和；U1是LTE網絡語言業務的評分；U2對應數據業務；U3對應短信業務；α1,α2,α3分別對應三者的權值。

Ui是各業務具體KQI分值的加權和，如語音業務對應的接入性、保持性和移動性3類KQI指標。其中，β1,β2,…,βn是各KQI對應的權值。

Q(yn)是網元層面各具體KPI分值的加權和，如無線掉話率、業務平均速率。H(xm)是各KPI的評分值。其中，λ1,λ2,…,λn是各KPI對應的權值。

3.2.2 確定映射關系和指標權值

用戶感知指數是從最底層的H(xm)映射到Q(yn)，再通過Q(yn)映射到Ui得到。因此要求解CSI，則必須分別求出各層權值α,β,λ和最底層KPI的分值H(xm)。

由于α對應語言業務、數據業務、短信業務的權值；β對應移動性、保持性、用戶使用舒適性等KQI指標的權值，它們均是用戶的主觀感受，因此，本文對α,β權值的求取采用層次分析法(Analytic Hierarchy Process)中的單層次排序法[11]求取。λ是網元層面各KPI指標的權值，由于各指標存在具體的數值，并且量綱不一致，為科學的確定權值，避免人為主觀性，本文采用變異系數法[12]求取各λ的權值。

1)α,β權值的確定

基于AHP的原理，α,β權值確定步驟如下：

(1)構造判斷矩陣

將CSI和Ui每一層中各指標進行兩兩比較，數學家Saaty建議采用數值1～9進行度量[13]。如A和B相比較時，定義1、3、5、7、9分別表示A比B相同重要、稍重要、明顯重要、強烈重要、極端重要。2、4、6、8則表示取前面重要性度量判斷的中間值[14]。

結合用戶的主觀感受和Saaty建議的度量標準，本文針對U1、U2、U3建立判斷矩陣CSI-U=(uij)n×n，表示為

U1U2U3U1u11u12u13U2u21u22u23U3u31u32u33

(2)一致性檢驗

為了確定構造的判斷矩陣是否合理，需要對CSI-U進行一致性檢驗，檢驗步驟如下：

① 計算一致性指標CI

(4)

② 根據CSI-U的維度n的大小確定一致性指標RI。對n=1,2,…,9，Saaty給出了RI的值，如表1所示。

表1 一致性檢驗表

③ 計算一致性比例CR

(5)

當CR<0.10時，則認為構造的判斷矩陣合理，可用于權值的確定，否則應重新構造或是修改判斷矩陣，并再次進行一致性檢驗[15]。

(3)求取權值

求取矩陣CSI-U的最大特征值λmax和對應特征向量W=(w1,w2,w3)，將W=(w1,w2,w3)歸一化即得到權值α=(α1，α2，α3)，β的權值確定方法和α的求取方法一樣。

2)λ權值的確定

本文采用變異系數法求取KPI的權值λ，假設選定的KPI評估指標為{x1,x2,…,xN}，共計N類指標，每類指標包含m個數據，則N類評估指標每類m個測試數據可以表示為如下矩陣

(6)

基于上面的矩陣，KPI的權值λ的求解步驟[16]如下：

(1)計算各指標的平均值

(7)

(2)計算標準差

(8)

式中：σj表征了第j類KPI的絕對變異程度。

(3)計算各指標的變異系數

(9)

式中：vj表征第j類KPI相對變異程度。

3.2.3 綜合評判

要評判用戶對LTE網絡的感知情況，基于3.2.1小節構造的綜合評估函數，需要確定各層指標的權重α,β,γ以及網元層面KPI的分值H(xm)。α,β,γ的求取方法已在上節中介紹，因此，用戶對LTE網絡的感知情況的綜合評判可分為以下步驟：

步驟1，求取KPI的分值H(xm)；

步驟2，確定CSI評判等級；

步驟3，求取CSI分值，判定等級。

1)KPI分值的確定

現將網元層面KPI的分值H(xm)的求取方法介紹如下：

(1)確定評估門限值，Thmax是實測數據中的上限值，Thmin是實測數據中的下限值，Thmax>Thmin。

確定門限的方法是將某類KPI的所有實測數據由小到大進行線性排列(去掉相同的數值)，并按CSI等級劃分為5個部分，第四部分對應的數值為上限值Thmax，第一部分對應的數值為下限值Thmin，示意圖如圖6所示。

圖6 KPI門限確定示意圖(區間內遞增)

(2)將實際數值T按線性比例映射[17]到[0,N]之間，其中N是該項指標的滿分，本文基于CSI等級，滿分N為5分。

基于選取的KPI，各類KPI的評分又可細分為以下兩種情況：

針對情況1，數值越大越好的KPI，諸如業務建立成功率和業務平均速率，H(xm)分值的求取方法如下：

KPI數值T大于上限值Thmax的為N分，小于下限值Thmin的為0分；KPI數值T介于Thmin和Thmax之間時，則按線性比例映射到[0，N]之間。

函數公式表示為

(10)

函數圖像如圖7所示。

圖7 KPI評分圖(區間內遞增)

針對情況2，數值越小越好的KPI，諸如平均單向時延和業務掉線率，H(xm)的求取方法如下：

KPI數值T大于Thmax的為0分，小于下限值Thmin的為N分；KPI數值T介于Thmin和Thmax之間時，則按線性比例映射到[0,N]之間。

函數公式如下所示

(11)

函數圖像如圖8所示。

圖8 KPI評分圖(區間內遞減)

但是實際情況可能存在某項指標極度惡化的情況，卻對整體用戶感知的評分影響較小。為避免這種情況，本文通過對H(xm) 評分修正如下

針對情況1，數值越大越好的KPI，當指標極度惡化時，H(xm) 的求取方法如下

(12)

當實測值T遠遠低于下限值Thmin時，即Thmin≥kT,k=1,2,3,…,N，H(xm)得分為-k。

針對情況2，數值越小越好的KPI，當指標極度惡化時，H(xm)的得分定義如下

(13)

當實測值T遠遠高于下上限值Thmax時，即T≥kThmax,k=1,2,3,…,N，H(xm)得分為-k。

通過這樣的修正，可以突出惡化的指標對于用戶整體感知得分的影響，以有利于網絡的維護。

2)CSI等級的確定

在求出具體分值的基礎上，要實現用戶對LTE網絡感知情況的定量分析，需要對用戶感知指數CSI進行等級確定。本文針對用戶滿意指數CSI等級的確定，參考ITU對QoE等級的劃分方法[13，18]，同樣將用戶感知指數劃分為5個等級，分別為優、良、中、差、極差，對應分值為5、4、3、2、1，如表2所示。

表2 CSI評估等級

3)CSI綜合評判

將α,β,λ權值和網元層面的KPI評分H(xm)帶入綜合評估函數，求出最終的CSI分值?；贑SI的評判等級，最終實現用戶對LTE網絡的感知情況的評估。

4 仿真驗證

基于用戶的角度，LTE網絡提供的語言業務已滿足絕大多數用戶的通信需求，本文以數據業務為例，對LTE網絡評估模型進行驗證。

基于圖5所示LTE網絡評估體系，用戶對數據業務最關心該業務的可用性、舒適性和可靠性。根據用戶的調查和流量的統計，網頁瀏覽業務占用戶移動互聯網業務流量70%以上[19]，本文以HTTP業務質量對模型進行驗證。

定義HTTP業務的用戶實際體驗指數為CSI-HTTP，則綜合評估函數為

CSI-HTTP=β1Q(y1)+β2Q(y2)+β3(y3)

(14)

各KQI得分為

(15)

各KPI得分，基于CSI等級，本文N取5，所以KPI評分表達式如下

(16)

或表達式

(17)

基于上面構建的模型，要評估HTTP業務質量，首先要確定β和λ的權值，運用層次分析法求解β的權值步驟如下：

步驟1：通過分析調研，對HTTP數據業務的可接入性、舒適性、可靠性三大KQI指標構造判斷矩陣,表示為

(18)

求取λmax、CI、RI，其中λmax=3.009 2，CI=0.004 6，RI=0.58。經過計算

(19)

滿足一致性檢驗，求得HTTP數據業務可接入性、舒適性、可靠性三類KQI的權值為β=(0.07,0.72,0.21)，權值分配如表3所示。

表3 KQI的權值

步驟2：變異系數法求取λ權值

由于業務可接入性只選取了業務建立成功率，業務可靠性只選取了業務掉線率，因此可接入性和可靠性的權值λ均等于1。舒適性涉及業務平均單向時延和業務平均速率兩個指標，本文將重慶渝北區各小區業務平均單向時延、業務平均速率的實測數據帶入模型中的變異系數法求得業務平均單向時延和業務平均速率的權值λ1=0.59，λ2=0.41。

在確定KQI和KPI權值的基礎上，以重慶渝北區某小區HTTP數據業務為例，HTTP業務的CSI-HTTP評分的過程，通過下列步驟演算，具體數值見表4和表5。

1)采集某月該小區HTTP數據業務數值，并計算KPI分值，如表4所示。

2)計算每一項KPI對應的得分H(xm)，KPI的上/下限值由樣本數據按門限規則確定。

3)計算KQI分值Ui，它是KPI得分的加權和。

4)計算HTTP業務的用戶感知指數CSI-HTTP。

5)將得到的CSI-HTTP評分與CSI評分規則進行比較，確定用戶最后的CSI-HTTP等級。

表4 HTTP業務KPI計算過程

表5 HTTP業務分CSI計算過程

基于前面的計算，得出該小區基于用戶感知的HTTP業務質量介于良好和優秀之間，將其他數據業務或語言業務的實測參數帶入模型，也將求出相應的CSI等級，從而完成整個LTE網絡的評估。

5 結束語

未來移動通信將迎來數據時代，用戶的主觀感受也將成為未來網絡設計的重點?；诖?，本文對LTE網絡架構進行了分析，選取了LTE網絡評估指標，并運用層次分析法和變異系數法，對各層指標集合進行了分值和權值的求取，建立了基于用戶實際體驗的LTE網絡評估模型。該模型以用戶感知為核心，彌補了傳統移動網絡評估方法只是基于網絡側的不足，對三大運營商在網絡優化和提升用戶體驗方面具有重要意義。

[1] 張海峰，張杰. TD-LTE數據業務發展趨勢[J].互聯網天地，2013(4)： 12-14.

[2] PINSON M，WOLF S. A new standardized method for objectively measuring video quality[J]. IEEE Trans. Broadcasting，2004，50(3)：312-32.

[3] 郭紅麗. 客戶體驗管理的理論與方法研究[D]. 上海：同濟大學，2006.

[4] 3GPP. TS 36.414 V.11.0.0. Evolved universal terrestrial radio access network (E-UTRAN)； S1 data transport(Rel-11)[S]. 2012.

[5] 楊葉. LTE網絡測試儀S1接口信令監測技術的研究與開發[D]. 重慶：重慶郵電大學，2012.

[6] 曾亮. 淺談客戶滿意度指標體系的構建[J]. 中國新通信，2007(11) ：78-81.

[7] 楊豐瑞， 吳在學. 電信企業服務質量感知的評價指標體系和方法[J]. 北京郵電大學學報：社會科學版，2012，14(5)：53-57.

[8] 3GPP. TS 36.412 V.11.0.0. Evolved universal terrestrial radio access network (E-UTRAN)； S1 signaling transport(Rel-11)[S]. 2012.

[9] TMF，GB917，SLA management handbook[S].2004.

[10] 郭希蕊， 馮建民. 基于3G移動業務的用戶體驗映射體系研究[J]. 移動通信，2011(3)：82-86.

[11] 鄧雪，李家銘，曾浩健. 層次分析法權重計算方法分析及其應用研究[J]. 數學的實踐與認識，2012，42(7)：93-99.

[12] 薛強， 趙靜. 基于變異系數法的不同地區國家級示范生產力促進中心發展實力的綜合評價[J]. 東方論壇，2013(3)： 56-61.

[13] TMFGB923A-wireless service measurement-key quality indicators[S]. 2004.

[14] 王應明. 判斷矩陣排序方法綜述[J]. 決策與決策支持系統，1995，5(5)：101.

[15] SAATY T L. The analytic hierarchy process[M]. New York：McGraw-Hill， 1980.

[16] 王靖，張金鎖. 綜合評價中確定權重向量的幾種方法比較[J]. 河北工業大學學報，2001(2)：52.

[17] 陳剛， 周文安，宋俊德. 基于SLA的業務建模和參數映射算法[J]. 北京郵電大學學報, 2007(8)：28-32.

[18] ITU-T. Definition of quality of experience (QoE)[S]. 2007.

[19] 鄭有強， 徐兆吉. TD-LTE業務承載能力及應用分析[J]. 移動通信，2010(5)：54-57.

鄧炳光(1978— )，講師，主要研究方向為通信網與測試技術；

劉 兵(1990— )，碩士生，主要研究方向為5G移動通信系統總體技術、通信網測試技術；

張治中(1972— )，教授，博士生導師，主要研究方向為第三、四、五代移動通信網絡架構、測試及優化技術。

責任編輯：閆雯雯

Design and Implementation of LTE Network Evaluation Model Based on User Perception

DENG Bingguang, LIU Bing, ZHANG Zhizhong

(CommunicationNetworksTestingEngineeringResearchCenter,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China)

With the rapid development of data services and the rapid popularity of intelligent terminal, how to evaluate and improve the user experience has become the focus of network optimization as well as the future network design for current operator. Based on this, a LTE network assessment model for user-perceived is established, using the analytic hierarchy process (AHP) and the variation coefficient method to unify all operations under the same mathematical model. Finally, the performance of HTTP operations is evaluated in a district of Chongqing, and a visual assessment is given.

LTE network; user perception; perception index system; analytic hierarchy process; variation coefficient method

【本文獻信息】鄧炳光，劉兵，張治中.面向用戶感知的LTE網絡評估模型的設計與實現[J].電視技術,2015，39(13).

國家“863”計劃項目(2014AA01A706)；國家科技重大專項(2014ZX03001027；2012ZX03001021)；重慶高校創新團隊項目(KJTD201312)；重慶市教委成果轉化重大項目(KJZH14103)

TN929.5；TP391

A

10.16280/j.videoe.2015.13.017

2015-01-27