基于大數據分析的移動互聯網用戶感知評估系統

陳 森，陳 超，張小勇，王 磊，孫 鵬

（中國聯合網絡通信集團有限公司北京市分公司 北京 100038）

1 引言

隨著移動通信網絡的逐漸演進和智能終端的迅猛發展，移動互聯網與用戶的聯系日益緊密，已經滲透到人們工作和生活的各個細節。移動互聯網業務層出不窮，競爭非常激烈，而讓用戶獲得良好的業務感知成為在競爭中勝出的關鍵，這就使得如何全面、及時、準確地評估移動互聯網業務的用戶感知成為網絡運營商和移動互聯網公司一個非常重視的問題。

目前對于移動互聯網業務用戶感知評估的研究主要集中在關鍵質量指標（key quality indicator，KQI）、用戶體驗質量（quality of experience，QoE）的評估理論和層次框架方面[1]，缺乏系統的評估指標體系和具體實現方法。在對用戶感知評估方法的實踐中，采用的方法主要有兩大類：基于測試終端和測試軟件上報各項定制指標數據，系統采集數據后進行分析評估[2]；基于移動通信網各類網元設備上報的關鍵性能指標（key performance indicator，KPI）數據，通過KPI數據對用戶感知進行分析評估[3]。其中，采用測試終端和測試軟件上報數據的方法存在測試樣本有限的問題，無法全面準確地評估真實大眾用戶的業務感知；采用設備網元上報關鍵性能指標數據的方法存在設備性能無法細化到每個用戶的問題，并且KPI無法全面涵蓋用戶業務相關各個環節，因此評估結果往往與用戶真實的業務感知偏離度過大，無法完成全面和精準的評估。

針對以上問題，首先為移動互聯網的每項主流業務設計了多個反映用戶不同方面業務感知的KQI，通過這些KQI實現對用戶感知的評估，并為每個KQI設計了詳細的計算公式以及公式中各項因子的具體識別、提取、計算方法等，從而建立一整套基于大數據分析的移動互聯網用戶感知評估體系。在這套用戶感知評估體系的基礎上，利用分布式處理技術建設了一套移動互聯網用戶感知評估系統。該評估系統通過對移動互聯網各接口分光獲得的海量數據分組進行大數據分析，對用戶業務行為進行還原復現，并生成單用戶單業務粒度的CDR（call details record）。基于單用戶單業務粒度的CDR，從業務、網元、用戶維度分別計算獲得各項主流業務的KQI得分，并可進一步綜合計算得到某項移動互聯網業務的全網用戶感知綜合QoE得分。

通過該系統，可以快速獲得基于用戶感知的網絡評估結果，在VIP用戶感知預警和用戶業務記錄查詢等方面有效支撐客戶服務工作，從多維度的KQI得分為網絡維護和網絡優化提供可能需要優化的網元或區域，從用戶感知評估結果的各個維度分布數據為運營商的網絡建設工作提供決策的數據支撐，也可以發現與移動互聯網公司有關的用戶感知問題，從而有助于移動互聯網公司進行針對性的優化和改進。

2 移動互聯網用戶感知評估體系

基于傳統信令監測系統的垂直分層架構，充分考慮到用戶感知評估的特點，在數據層與應用層之間增加獨立的評估層。評估層負責調用數據層的原始數據記錄進行關鍵信息的提取和計算，完成對用戶感知KQI的評估，并為應用層提供數據。移動互聯網用戶感知評估體系的整體架構如圖1所示，具體介紹如下。

（1）采集層

通過對移動互聯網各接口進行分光的方式采集全網所有用戶移動互聯網業務的IP數據分組，涉及的接口包括：無線接入網的接口（IU-PS/S1）、核心網的內部交互接口（Gn/Gr/S5/S8）以及接入 Internet的接口（Gi）。

圖1 移動互聯網用戶感知評估體系的整體架構

（2）數據層

對于海量用戶數據，通過DPI（deep packet inspection）特性庫進行深度解析，識別和整合出各種移動互聯網業務流，并通過用戶信息最終生成單用戶單業務粒度的CDR。

（3）評估層

基于對用戶移動互聯網業務行為的真實還原，制定出全面、精確的業務用戶感知KQI的量化公式，并從不同維度進行用戶感知評估。

（4）應用層

移動互聯網用戶感知評估系統的主要應用有如下3個方面。

· 客戶服務：基于精確的用戶感知量化公式，一方面可以準確、及時地監控到VIP用戶感知的波動情況，上報感知預警為用戶服務；另一方面也可以針對某些主流業務的用戶感知突變情況上報預警為用戶服務，以便對可能激增的用戶投訴及時做出應對。

· 網絡維護與優化：通過對不同網元維度（如CELL）的用戶感知評估結果的排序，可以提供得分最低的TopN的網元列表，為網絡維護與優化提供更精準的優化方向；并可以通過多維度自動定界功能對存在問題的KQI進行“一站式”的自動分析，迅速得出初步的分析結論，進行后續的優化解決。

· 網絡建設：從小區、Node B/eNode B、RNC、SGSN、GGSN、SGW、PGW等網元維度對用戶行為、業務感知和業務流量進行分析，對不同區域的用戶業務感知和網絡資源利用率進行預測分析，為網絡建設提供數據支撐，從而進行有針對性的網絡規劃和建設。

3 用戶業務行為的還原復現

在上述評估體系的架構中，單用戶單業務粒度CDR數據存儲是用戶感知評估的基礎，要實現單用戶單業務粒度CDR的生成，就必須對用戶每次業務行為進行還原復現。移動互聯網用戶感知評估系統首先針對用戶業務IP數據分組進行DPI特征庫的匹配，識別和整合出不同的業務流，然后根據用戶信息區分出不同用戶的業務流，從而將用戶的每一次業務行為從海量數據分組中還原復現。業務行為還原復現過程如圖2所示。

以網頁瀏覽業務為例（如圖3所示），用戶打開一個頁面往往需要從多個不同URL的服務器上下載各種文本、圖片、鏈接等數據，要將相關的大量IP報文進行關聯整合才能還原出用戶的真實業務行為。

對用戶網頁瀏覽業務行為的還原可通過如下5個步驟實現，如圖4所示，每個步驟的簡要說明如下。

（1）通過TCP/IP協議棧的層三、層四，解析出IP報文的五元組信息，將五元組信息相同的多個IP報文整合為一個業務流，五元組信息包括：源IP、目的 IP、源端口、目的端口、協議號（通常指TCP/UDP）。

（2）對業務流的前幾個IP報文進行解析，通過TCP端口號或應用層的Request Version字段識別判斷該IP報文是否為HTTP的報文，識別判斷方法為：若TCP端口號為80或8080則判斷該IP報文為HTTP的報文，或者若該IP報文包含的Request Version字段為HTTP類型 （如HTTP/1.1），則該IP報文也為HTTP的報文。若上述判斷的業務流前幾個IP報文中包含HTTP的報文，則判斷該業務流為HTTP的業務流。

圖2 用戶業務行為還原復現流程

圖3 用戶網頁瀏覽業務行為的關聯整合

圖4 用戶網頁瀏覽業務行為還原步驟

（3）對HTTP業務流中的HTTP報文的content-type字段進行識別，以判斷該HTTP報文是否為網頁瀏覽業務的報文，識別判斷方法為：若content-type為text或圖片或JavaScript，則判斷該IP報文為網頁瀏覽業務的報文。若上述判斷的業務流中包含網頁瀏覽的IP報文，則判斷該業務流為網頁瀏覽的業務流。

（4）鑒于用戶打開一個網頁的操作可能對應于多個用戶面的業務流，可以利用業務流中IP報文應用層的host和referer信息對包含網頁瀏覽業務的業務流進行用戶行為的整合，即將大量的IP報文整合為與用戶實際操作行為對應的記錄，整合方法為：將具有時間連續性的所有包含相同referer信息的業務流整合為一個用戶面的網頁瀏覽操作記錄，對于不包含referer信息但包含host信息的業務流，若存在其他業務流的referer信息與該業務流的host信息相同，則將它們整合為一個用戶面的網頁瀏覽操作記錄。

（5）用戶面IP報文整合完成后，再根據用戶IP地址、GTP隧道ID和時間等幾個要素將控制面的IP報文與用戶面的網頁瀏覽操作記錄進一步整合，最終形成完整的、與用戶真實行為對應的網頁瀏覽操作記錄。這種整合的粒度為單用戶單業務粒度，即一個用戶打開一個網頁則整合形成一條網頁瀏覽操作記錄。

經過上述5個步驟，移動互聯網用戶感知評估系統能夠將用戶的各類業務進行還原，能夠通過各類條件查詢出相應用戶的業務行為記錄，查詢結果如圖5所示。

4 用戶業務感知評估算法

移動互聯網用戶業務感知評估的關鍵是需要一套完整的評估算法，這套算法需要可以具體應用在單用戶單業務粒度CDR的大數據分析上。對此，移動互聯網用戶感知評估系統根據用戶業務的接入性、保持性、完整性3個方面設計了每類業務的各項KQI，然后基于用戶使用業務的全流程，分析各種移動互聯網業務使用過程中的各個子流程，從模擬復現用戶真實感知的角度設計確定各項KQI的計算式和各項因子的具體識別、提取、計算方法等，從而精確地量化每種移動互聯網業務的感知。之后，系統可以根據每種移動互聯網業務的流量比例確定該業務感知占網絡/網元級用戶感知的權重，最終計算出網絡/網元級的綜合用戶感知評估得分。具體計算式為：綜合用戶感知評估=K1×|KQI|1+K2×|KQI|2+K3×|KQI|3+…+Kn×|KQI|n，其中Ki（i=1,2,3,…,n）為標準化后的指標權重，|KQI|i（i=1,2,3,…,n）為標準化后的KQI。

本系統已完成網頁瀏覽、HTTP視頻、QQ、微信、在線音樂、電子郵件、HTTP下載、滴滴打車等主流移動互聯網業務的KQI公式設計，形成了一整套移動互聯網用戶感知的評估體系。

圖5 用戶業務行為記錄查詢結果

以網頁瀏覽、HTTP視頻、QQ業務為例，對應的KQI和計算式如下。

（1）網頁瀏覽業務

頁面響應成功率=[PDP激活成功率]×[業務請求成功率]×[首次域名解析成功率]×[首次 TCP 建立成功率]×[首次GET成功率]；

頁面響應時長=[首次get響應消息HTTP reply 200 OK的時刻]-[首個業務流程發起消息的時刻]；

頁面顯示完整性=[HTTP reply 200 OK次數和]/[get請求次數和+post請求次數和]×100%；

頁面顯示成功率=[頁面顯示完整性指標超過門限值的次數和]/[首次get請求的次數和]×100%；

頁面顯示時長=[本頁面最后一個數據分組的時刻]-[首個業務流程發起消息的時刻]；

頁面下載速率=[本次頁面下載的數據分組總大小]/[本次頁面下載持續的時長]。

（2）HTTP 視頻業務

視頻播放成功率=[域名解析成功率]×[TCP建立成功率]×[get成功率（重定向返回302）]×[重定向后TCP建立成功率]×[get成功率（返回 200 OK）]×[初始緩沖區下載成功率]；

視頻播放等待時長=[初始緩沖區滿的時刻]-[首個業務流程發起消息的時刻]；

視頻卡頓頻次=[卡頓次數和]/[觀看時長]；

視頻卡頓占比=[卡頓時長和]/[觀看時長]。

（3）QQ 業務

QQ登錄成功率=[PDP激活成功率]×[業務請求成功率]×[域名解析成功率]×[TCP 建立成功率]×[第一條 PSH ACK 成功率]×[第二條 PSH ACK 成功率]；

QQ登錄時長=[第二條PSH ACK的確認消息的時刻]-[TCP連接的SYN消息的時刻]；

QQ服務器響應成功率=[服務器發送的ACK消息的次數和]/[終端發起的PSH ACK消息的次數和]×100%；

QQ服務器響應時長=[服務器發送的ACK消息的時刻]-[終端發起的PSH ACK消息的時刻]；

QQ終端響應成功率=[終端發送的ACK消息的次數和]/[服務器發起的PSH ACK消息的次數和]×100%；

QQ終端響應時長=[終端發送的ACK消息的時刻]-[服務器發起的PSH ACK消息的時刻]；

QQ用戶掉線率=1-[TCP FIN消息成功響應消息的次數和]/[TCP FIN消息的次數和]×100%。

按照上述的KQI和計算式，移動互聯網用戶感知評估系統能夠對各項業務的用戶感知進行全面評估，以網頁瀏覽業務為例，某時段的評估結果如圖6所示。

5 主流業務閾值推薦

業務閾值的設定要通過分析組網情況、網絡環境的復雜度以及用戶使用業務的偏好等來最終確定，并根據情況進行調整，網頁瀏覽業務KQI的推薦閾值見表1，如果超過此閾值，將影響用戶的感知。

6 多維度自動定界

當某項KQI出現異常波動時，移動互聯網用戶感知評估系統能夠通過多維度自動定界功能實現“一站式”自動呈現初步分析報告，具有很高的精準性和快捷性，能夠對移動互聯網出現的用戶感知問題做出快速響應，為網絡維護和客戶服務部門提供有力的支撐保障。

圖6 網頁瀏覽業務感知評估結果示例

表1 網頁瀏覽業務KQI的推薦閾值

當出現某項業務的KQI問題時，系統對所有該項業務的單用戶單業務CDR進行大數據的多維度聚合，得到不同維度的分類匯總統計，針對低于平均水平的門限篩選，最終統計出與該問題相關聯的各維度個體數量，譬如，涉及的SP服務器IP有多少個，涉及的GGSN有多少個，涉及的用戶有多少個等。針對不同維度統計的個體數量，根據收斂度的計算式得到該問題在各個維度的收斂度，將收斂度最高且收斂度大于篩選門限（設定為50%）的維度視為可能存在問題的維度。若所有維度的收斂度均小于篩選門限，則認為該問題為全網性普遍問題，需進一步分析確認。收斂度的計算式為：收斂度＝（1-低于門限數量/收斂基數）×100%，小于0的直接置為0，不出現負值。從圖7的舉例中可以看出，該問題集中在少數幾個用戶上，可以初步判斷為少數用戶原因引起的指標波動。

根據多維度自動定界的原理和實現步驟，移動互聯網用戶感知評估系統能夠自動完成對某項KQI問題的分析定界，定界結果如圖8所示。

圖7 多維度自動定界的分析原理示例

圖8 多維度自動定界結果示例

7 用戶感知評估體系優化成果

用戶感知系統可以實現基于用戶、網元、應用協議和SP等維度的數據分析，下面介紹網頁瀏覽業務頁面響應時延的優化成果。

在針對新浪主頁的業務使用統計（見表2）中發現，4G網絡頁面響應時延明顯優于3G網絡，進行流程切片分析發現，3G網絡下DNS解析的時延較大。

表2 對新浪主頁的頁面響應時延

進一步分析用戶的行為，發現這些用戶都是從idle（空閑）狀態發起的業務，則DNS解析過程中包含了信令面的建立時延，而4G由于網絡的扁平化和信令流程的簡化，即使從idle狀態發起業務，時延也很小。

統計用戶處于connect（連接）狀態（DCH）下的頁面響應時延，統計結果見表3，3G網絡與4G網絡相差不大，且比idle狀態時延小很多。

優化小組提出方案，建議用戶盡量保持在connect的URA_PCH狀態 （connect狀態包含 DCH、FACH、PCH 和URA_PCH 4種），即用戶在業務完成后不遷移到idle狀態，而是遷移到URA_PCH狀態，在定時器超時后再遷移到idle狀態，那么用戶在URA_PCH狀態的時間段中，再次發起業務只需進行承載重配等流程即可進入DCH狀態，這個時延小于整個信令建立的時延。

表3 處于connect狀態的頁面響應時延

通過現網實施打開URA_PCH功能后測試，測試結果見表4。用戶在URA_PCH發起業務時頁面響應時延為1.328 s，比idle狀態提升將近1 s，效果明顯。

表4 URA_PCH功能測試

設備打開URA_PCH狀態會導致RRC/RAB/核心網側尋呼次數下降、小區更新次數增加，同時需要修改掉話率指標，提出在URA_PCH狀態的掉話（此過程掉話用戶無法感知且不影響業務），否則影響掉話率指標。

8 結束語

在移動互聯網業務迅猛發展的背景下，通信設備的KPI無法反映用戶真實業務感知的問題日益凸顯。為實現對移動互聯網業務用戶感知全面、及時、準確的評估，首先針對移動互聯網主流業務搭建了一套評估體系的框架，為每項業務設計了多個反映用戶不同方面的業務感知KQI，定義了每個KQI設計詳細的計算式以及式中各項因子的具體識別、提取、計算方法等，從而建立了一整套基于大數據分析的移動互聯網用戶感知評估體系。并利用分布式處理技術，基于該體系建設了一套移動互聯網用戶感知評估系統，實現了從多個維度對用戶業務感知的評估，對KQI的異常波動還能通過多維度自動定界功能進行自動分析定位。

移動互聯網用戶感知評估系統融合了多項重要技術創新，通過數據分組聚合技術在業界率先實現了對用戶業務行為的還原復現，在業界領先實現了一整套移動互聯網的用戶感知評估體系，并能通過“多維度自動定界”實現對用戶感知問題的“一站式”自動分析報告呈現。該系統能夠對全網所有用戶的移動互聯網業務感知進行全面、及時、準確地評估，對業務感知問題進行快速預警和定界分析；還能為客戶服務、網絡維護優化、網絡建設等方面提供有力的數據支撐，有助于縮短客服處理時長和改善客服處理效果，有助于推動網絡維護優化和網絡建設工作的精準化和高效化，有助于全面提升移動互聯網用戶的業務感知。

1 戴鵬程，沈亮，萬仁輝等.流量業務用戶感知的評估方法分析.電信工程技術與標準，2014(3)：11～15

Dai P C,Shen L,Wan R H,et al.Analysis and evaluation methods of flow business user perception.Telecommunications Engineering Technology and Standard,2014(3)：11～15

2 張小林，廖章君，曹磊等.基于移動互聯網的端到端移動用戶感知評估研究.現代電信科技，2012(11)：73～76

Zhang X L,Liao Z J,Cao L,et al.Research on the evaluation of end-to-end mobile user perception based on mobile Internet.Modern Telecommunication Technology,2012(11)：73～76

3 馬云飛，高羽.基于用戶感知的EGPRS網絡評估及優化.移動通信，2008(15)：49～54

Ma Y F,Gao Y.EGPRS network evaluation and optimization based on user perception.Mobile Communication,2008(15)：49～54

4 徐衡.基于eTOM模型的電信運營商流程體系設計及應用研究（碩士學位論文）.復旦大學，2008

Xu H.Telecom operators process system design and application research based on eTOM model (master dissertation).Fudan University,2008

5 鄭立明.基于顧客價值的推動要素.商業研究，2004(4)

Zheng L M.Push the elements based on customer value.Business Research,2004(4)

6 嚴浩仁，賈生華.移動通信顧客忠誠驅動因素的實證研究.電信科學，2004(5)：66～69

Yan H R,Jia S H.The empirical study on driving factors of customer loyalty in mobile communication.Telecommunications Science,2004(5)：66～69

7 李進良.移動數據業務分析.中國數據通信，2005(4)：11～16

LiJ L.Analysis ofmobile data service.Chinese Data Communication,2005(4)：11～16

8 操宜潔.移動通信集團客戶價值評估模型的研究 （碩士學位論文）.上海交通大學，2011

Cao Y J.The study of mobile communication customers value assessment model (master dissertation).Shanghai Jiao Tong University,2011

9 楊燕.淺析移動通信網絡中的QoE.電信科學，2007(8)：34～38

Yang Y.Analysis of QoE in mobile communication network.Telecommunications Science,2007(8)：34～38

10 3GPP TS 24.008.Mobile Radio Interface Layer 3 Specification;Core Network Protocols,2001

11 3GPP TS 25.413.UTRAN Iu Interface Radio Access Network Application Part(RANAP)Signaling,2001

12 3GPP TS 23.060.General Packet Radio Service(GPRS);Service Description,2001