大數據在移動網絡智能化建設中的應用研究

中國聯通研究院 北京 100032

引言

隨著第三代(3G)和第四代(4G)移動通信技術的快速發展和網絡更廣范圍的覆蓋，以及智能終端設備能力的提升和價格的快速下降，移動互聯網在中國和全球迅速發展。表現之一為大量的用戶通過移動設備接入互聯網。根據中國互聯網信息中心(CNNIC)《第36次中國互聯網絡發展狀況統計報告》提供的數據，截至2015年6月，中國手機網民達到5.94億戶，網民中使用手機上網的人群占比由2014年12月的85.8%提升至88.9%(如圖1所示)。與此相比，通過臺式電腦和筆記本電腦接入互聯網的比例較2014年底分別下降了2.4和0.7個百分點，電腦端向手機端遷移的趨勢明顯[1]。

移動互聯網迅速發展的表現之二為大量的互聯網應用正快速向移動終端側轉移，互聯網應用從面向PC到同時面向PC和移動終端用戶轉變，甚至出現了大量主要面向移動終端用戶的應用。對CNNIC《中國互聯網絡發展狀況統計報告》提供的數據進行研究不難發現，用戶通過手機終端使用各類互聯網應用的增長率遠高于所有互聯網用戶使用應用的增長率[1]。

作為移動互聯網業務的承載網絡，對移動網絡，上述表現直接體現在承載數據流量的迅速攀升。圖2為2014年10月至2015年9月中國聯通移動網絡流量的統計情況(注：2014年10月，流經中國聯通移動網絡的總流量約為37.98PB，2015年9月約為60.01PB，月均增長5.15%。同期，2014年10月中國聯通移動用戶數為2.97747億戶，2015年8月下降989萬戶至2.87858億戶)。隨著國家積極推進“互聯網+”行動計劃，移動通信網絡作為國家新一代信息基礎設施，在國家經濟發展和產業轉型中的地位變得日益重要，如何建設一個能夠有效支撐“互聯網+”產業發展的優質移動通信網絡成為運營商面臨的重要課題。

圖1 中國手機網民規模及其占網民比例(資料來源：CNNIC)

圖2 中國聯通移動網絡流量

1 移動網絡建設面臨的突出問題

當前運營商移動網絡建設面臨著以下主要問題：

1)移動網絡資源整體過剩但局部不足，網絡質量與移動互聯網業務需要存在差距。網絡規劃設計與實際移動互聯網用戶和業務分布特征并不能準確契合，網絡建設精準性和投資有效性亟需提高。

移動網絡規劃的核心是無線網絡規劃。無線網絡規劃需要設定覆蓋區域、業務量(容量)和業務質量目標。如何確定指定覆蓋區域的業務量？這涉及到覆蓋區域內的用戶數和每個用戶所需要的業務量[2]。用戶數是一個變化量，跟給定區域內的居住人口、工作人口和流動人口密切相關。而每用戶所需要的業務量則決定于業務種類和使用的頻繁程度。不同于以往相對靜態的話務模型，移動互聯網是業務創新最為活躍的領域，業務類型更加多樣，變化更加頻繁，業務受眾更加個性化，影響用戶使用習慣的因素眾多，使用頻度更加難以預測。對于業務質量，不同業務的要求也各不相同。面對這樣一個復雜多變的業務環境，就需要我們對網絡的業務情況有更加細分和精確化的了解，并以此為基礎做最優化的資源配置，而不是僅依靠傳統模型做相對靜態的預測。

2)以往移動網絡規劃及優化建設更多是以網絡自身的指標為核心，而非以用戶體驗為核心。例如，在覆蓋指標上，主要考慮覆蓋區域內的參考信號接收功率(RSRP)、接收信號強度指示(RSSI)、參考信號接收質量(RSRQ)、參考信號信噪比(RS-SINR)等指標，并設定相應的目標值；在業務質量指標上，在用戶占用一定網絡資源的條件下，設定無線接通率、掉線率、系統內切換成功率、可接入率、塊差錯率等目標值；在容量指標上考慮小區吞吐量、邊緣速率等指標[3]。

問題是，這些指標只反映了用戶接入無線網絡的質量情況，并不能完全反映用戶使用業務的真實感知。如圖3所示，當一個用戶在位置A使用業務時，他的業務訪問路徑是1，當用戶在位置B時，他訪問相同業務的路徑是2。用戶在位置A和位置B使用業務的感知是否有差異？是否滿足用戶的業務體驗要求？如果我們將業務的CDN節點擴展到數據中心N，使用戶在位置B訪問業務通過路徑3，是否會顯著提升用戶的體驗？顯然，單靠網絡接入指標是不能反映用戶使用業務的真實情況，因為端到端IP通路的質量并不包含在上述指標中。

圖3 一個用戶使用移動業務的典型場景

如果我們考察用戶使用業務過程中位置發生移動的場景，例如用戶從位置A移動到位置B，那么在其中又伴隨著大量的小區和基站間切換。我們雖然掌握某個設備(基站、小區、MME/S-GW)下的無線網絡質量情況，但并沒有系統完整告訴我們某個用戶使用業務的整個時間和空間內發生了什么，用戶的業務感知如何。

3)難以精確掌握網絡運行的整體情況，難以呈現網絡運行情況的整體視圖。目前運營商移動網絡管理系統依然存在條塊分割、管理手段分散的情況。條塊分割表現為：針對無線接入網、核心網、傳輸網等，都有各自的專業網管系統；管理手段分散表現為：在對網元設備的管理上，不同廠商針對自身設備有各自的網管系統，雖然在省分公司和集團公司總部層面建設了綜合網管系統，以期實現“集中管理、集中監控、集中維護”，但這樣的“綜合”系統也有幾百套之多，而廠商網管系統則多達千套。在此情況下，不僅缺乏端到端的集中監控和集中故障管理能力，并且無法及時和準確掌握網絡運行的整體情況。

要解決上述問題，就需要我們擺脫網絡規劃建設及網絡管理的既有模式，實現變革。

2 移動網絡中的數據

2.1 移動網絡中的“過程”數據

顯然，移動網絡智能化建設離不開數據的支持。首先，我們需要分析移動網絡中有哪些數據。

圖4描述了運營商現有移動網絡的架構示意[4]。以往，我們從移動網絡中獲取的數據通常有兩個特點：1)來源于網元設備，如基站、無線網絡控制器、電路域和分組域核心網設備等；2)網元生成的數據一般是結果數據，如用戶計費話單數據(Calling Detailed Record，CDR)、網元性能統計數據、測量數據等，而這些數據對網絡智能化建設遠遠不夠。

圖4 移動網絡架構

以數據業務為例，網元生成的用戶流量話單如：話單類型、用戶的MSISDN、用戶的IMSI、用戶設備的IMEI、接入點名稱(APN)、P-GW/GGSN IP地址、S-GW/SGSN IP地址、流量大小、記錄開始時間、持續時長、計費標識、用戶位置信息、無線接入類型(RAT Type)，等等。

這些信息在相關網元設備上按照一定的規則被記錄。對數據業務而言，通常是用戶的流量積累到一定門限(如5M)，或者累計到一定時長(例如30分鐘)，生成一條話單。但是用戶在發生這些流量時的業務體驗如何，上述信息并不能告訴我們任何答案。例如，用戶在發起業務請求時，初始上下文建立過程中的延時如何？無線接入承載(RAB)建立和變更過程中的時延如何？如果業務是網絡發起的，網絡尋呼用戶終端花費了多少時長？用戶使用業務期間的上網速率如何？IP層的丟包率如何？TCP的建立時延如何？等等。而這些恰恰是反映用戶業務體驗的重要指標。

更重要的，對于網絡建設而言，我們更關心那些并沒有成功發起的呼叫和業務請求。而這些在現有網元上僅有統計信息，而沒有針對具體用戶的記錄信息。例如，一個用戶訪問數據業務失敗，是因為用戶所在地的網絡質量問題，以至于無線資源鏈路無法建立？還是是因為MO(Mobile Originated，移動臺發起)過程中RAB指派失敗？亦或是MT(Mobile Terminated，移動臺終止)過程中被叫終端未被尋呼到？等等。準確發現和掌握這些問題，并解決這些問題，是網絡智能化建設的優先課題。

上述這些數據都是用戶在接入網絡和使用業務中的“過程”數據。在大數據時代，我們不僅需要知道事情的結果，而且更在意事情發生的過程，我們需要了解用戶和網絡發生的一切，并記錄下來。

對應上面數據業務的例子，為了了解用戶的網絡及業務體驗，我們可能需要如下過程數據：附著/去附著過程數據、業務請求過程數據、尋呼過程數據、承載資源建立/修改和釋放過程數據、用戶訪問移動互聯網業務應用的過程數據(訪問的網址、速率、時延等)。

對于“過程”數據，我們需要回答如下幾個問題。哪些數據需要被記錄？如何獲取并記錄這些數據？如何存儲和處理這些數據？

2.2 需要哪些過程數據

移動通信網絡在服務用戶的過程中產生兩種過程數據，一種是用戶面數據，一種是信令面數據。用戶面數據包括用戶的語音通話數據和上網流量數據。信令面數據是為了保證用戶面數據通信而在用戶終端設備與基站之間，以及網絡網元設備之間發送的控制信號。

顯然，用戶面數據是用戶通信的隱私數據，通信數據本身并不是我們需要的。對于用戶面數據，我們只需要一個概要，即為了分析網絡流量行為，我們僅需要知道用戶何時、何地、使用什么終端、訪問了哪些應用[5]，并且在訪問應用的過程中，網絡速率、延遲和抖動等指標如何。而信令面數據則完整描述了用戶從接入網絡，與網絡保持連接到使用業務過程中發生的與網絡交互的一切，這是我們更加需要的過程數據。在獲取上述過程數據后，我們就可以更好地發現網絡中存在的問題，實現網絡建設和優化設計的智能化。

一個衍生的問題是，信令面數據涉及的接口眾多，如圖4所示。例如，在2G網絡中就包含空中接口(空口)、Abis、A、Gb、D、Mc等接口；3G網絡中包含空口、Iubis、Iu-CS、Iu-PS、Gn、Gr等接口；4G網絡中包含空口、X2、S1-MME、S1-U、S11、S6a、SGs等接口。雖然我們希望采集“所有”的過程數據，但在現實環境中，因為實施難度等問題，我們需要根據應用的需求進行折中，例如采集部分接口。

這些過程數據存在于哪里呢？它們流經了將用戶終端設備與移動通信網絡連接起來的無線接入網，流經了移動通信網絡各網元之間的接口。這些數據被相關網元處理，但除了少量的加工后的結果數據和統計數據，絕大部分過程數據都并沒有被記錄。那些結果數據和統計數據被計費系統和網管網優系統所采集。

2.3 如何獲取和記錄過程數據

要記錄上述“過程”數據并不是一件簡單的事情，表現為以下4點：1)流程眾多。例如在4G網絡中，無線網基本信令流程包括隨機接入、尋呼、RRC連接建立、重配置、重建立、釋放、測量等；端到端業務建立和釋放流程包括附著、去附著、業務請求、專用承載建立、修改和釋放流程等；移動性管理包括跟蹤區更新、小區切換、小區重選等。而每一個流程中又根據用戶和業務的不同狀態包含眾多子流程。2)每一個流程都涉及諸多網元和接口。例如一次附著，就涉及eNodeB、MME、HSS、S-GW、P-GW等網元以及Uu、S1-MME、S6a、S11、S1-U等多種接口。3)這些過程頻繁發生，包括用戶使用業務期間和未使用業務期間。例如用戶終端在空閑狀態下，就會發生包括小區重選、跟蹤區更新等流程。4)用戶一次業務使用是眾多流程的組合。例如，用戶發起一次分組域業務訪問，就可能包含隨機接入、RRC連接建立、RRC重配置、初始上下文建立、創建會話、專用承載建立等流程。

要獲取上述過程數據，需要考慮以下問題。

1)依托現有網元設備獲取過程數據難以做到。首先網元設備的核心功能是處理來自接口的服務請求，實現業務邏輯處理，并保存必要的與一個流程相關的會話信息，以便處理后續的應答和服務請求。記錄日志雖然很重要，但這本是它的“附屬”功能。如果需要將網元處理的所有輸入和輸出的過程數據都記錄下來，顯然會極大增加現有網元的工作負擔，顯著降低它的處理性能。其次，每個網元設備看到的只是一個局部過程。例如，對MME而言，它并不知道RRC建立過程中發生了什么，同樣eNodeB也無從知曉S-GW和P-GW之間發生了什么。因此，要重現一個過程，就需要對多個網元之間的數據進行關聯。顯然，這也不是現有網元能夠做到的。再次，這些過程數據規模巨大。以當前中國聯通移動網絡為例，這些過程數據每日將有380TB之多。

一個好的方法是，我們可以直接在網元間鏈路上進行采集，獲取全部網元間流經的數據，并通過深度報文檢測(Deep Packet Inspection，DPI)技術摘取信令面和用戶面數據中包含的信息。通過一個集中的設備獲取上述信息，并進行數據之間的關聯轉換，生成最終的記錄話單。對于信令面數據記錄，我們稱之為SDR(Signal Detail Record)；對于用戶面數據記錄，我們稱之為FDR(Flow Detail Record)。

但DPI不能解決所有問題。有些接口鏈路過于分散，例如Iubis等，通過DPI方式采集實際難以實施。因此，現實的方案也從網元采集必要的數據，例如在eNodeB上采集Uu口的跟蹤信令數據。當然這種采集，根據范圍的不同會增加網元的處理負擔。

2)應該盡量選擇鏈路收斂的地方進行數據采集。收斂點可以是網元和物理鏈路。對于用戶面數據，合理的采集點是Gn接口和S1-U接口，因為這里鏈路最為收斂。對于核心網信令面數據，語音電路域信令數據可以選擇Mc接口，相比Iu-CS和A接口，更為收斂，分組域數據可以選擇Iu-PS、Gb、S1-MME、S11等。對于無線側信令面數據采集，較為合理的采集點如上文所說，是BSC、RNC和eNodeB等網元設備。

3)信令數據關聯是核心問題。關聯表現為需要將同一個接口或者不同接口上傳遞的信令以“會話”的形式集結起來，并找出它們的時序關系。通常關聯是圍繞用戶的會話進行。由于移動網絡不同接口上協議類型的豐富性和多層級，這種關聯很多時候會變得復雜。另外，不同接口對用戶的標識有所不同，例如，在用戶終端設備和無線接入網(Radio Access Network，RAN)之間，通常用RNTI(Radio Network Temporary Identity，無線網絡臨時標識)來標識用戶，而在用戶終端設備和核心網設備之間，通常用TMSI、P-TMSI、GUTI等標識用戶，而在核心網網元之間則用IMSI、MSISDN等標識用戶。因此，準確維護上述標識之間的關系，是數據關聯所必須的。

2.4如何存儲和處理過程數據

過程數據量非常巨大，根據采集范圍、采集方式的不同，每日有數千億至數萬億條記錄之多，與此相對應，每日的數據量有數十TB至數百TB。處理和存儲這些數據，顯然是大數據系統的范疇。

圖5描述了數據采集及預處理的過程。在需要采集的接口鏈路上進行分光和部署DPI探針，獲取信令和流量信息，從OMC(Operation and Maintenance Center，操作維護中心)設備上獲取性能管理、配置管理、信令跟蹤數據。獲取下來的數據通過抽取、轉換和數據關聯(ETL)，最終生成信令面數據記錄SDR、用戶面數據記錄FDR和統計數據記錄。上述過程在貼近網絡的地點進行。生成后的這些數據被送往集中的數據中心。

圖5 數據采集和預處理

圖6 數據存儲和數據處理

在數據中心，如圖6所示，上述數據通過流式計算技術(如Storm、Spark Streaming等)被即時處理，以便生成實時類結果數據，應用于監控類、實時處理類應用。同時，上述數據也通常被持久化存儲，如以文件方式存儲于HDFS(Hadoop Distributed File System)之上，或者存儲于HBase等分布式數據庫中。對于持久化存儲的數據，可以通過運行MapReduce或者其他計算任務的方式，進行數據的批量處理，生成結果數據。這些結果數據通常最終被存儲于數據庫之中，我們稱之為“服務數據庫”。服務數據庫一般選擇關系型數據庫，如Oracle，MySQL等，以便應用通過SQL語句進行交互式查詢或者進一步處理。對于某些特定應用場景，也可以對原始記錄數據進行查詢檢索。

3 大數據在網絡智能化建設中的應用

第2章描述了移動網絡中的大數據，以及采集、存儲和處理這些大數據的過程。圖7是一個實際系統的例子。在該系統中，從網絡中采集獲取了電路域呼叫控制信令數據、分組域會話管理類信令數據、無線接入網切換和承載管理類信令數據及測量報告數據、移動網絡移動性管理信令數據、基于基站小區的話務統計數據、用戶面基于流量類型的業務質量及用戶行為數據等。以此為基礎，依托大數據技術，構建集中化的數據處理分析系統。

圖7 移動網絡智能化建設系統

基于該系統，可以實現如下三大目標。

1)網絡可視化。網絡可視化表現為構建統一的網絡視圖，以便對網絡的服務質量有更加清晰化、數據化的洞察。用戶可以從多個維度，多個視角(全局和局部)觀察網絡。主要內容包括以下3點。

①網絡質量分析。實現對網絡整體質量的評估與分析，包括資源優化分析、地理化信息分析、移動性分析與優化、無線與核心網聯合分析與優化、無線網絡覆蓋評估、無線網絡干擾評估、上下不均衡小區評估、核心網EPC接入質量分析、保持質量分析、核心網3G/4G互操作分析、核心網CSFB(Circuit Switched Fallback，電路域回落)分析等。

②業務質量分析。對影響用戶業務體驗感知的關鍵指標進行評估與分析，包括TCP連接建立分析、用戶面DNS解析分析、頁面瀏覽指標分析、流媒體業務指標分析、Email業務指標分析、下載類業務指標分析、即時通信類業務指標分析、業務占比分析等。

③網絡質量監控。實現對網絡質量的實時和非實時監控，包括無線網絡質量監控、核心網質量監控等。指標包括接入性能，保持性能、運行性能等，維度包括成功率、時延、速率指標等。

2)網絡規劃優化。網絡可視化的一個重要目的就是發現網絡覆蓋和服務中的問題，從而提升網絡規劃優化的科學性。網絡規劃優化的核心是無線接入網絡，包括以下4點。

①網絡簡單擴容。結合無線資源利用率、用戶數、用戶體驗速率等，根據簡單擴容模型預測并計算各個小區擴容的系數，通過對擴容系數進行多個維度的排名，綜合推薦各個區域需要擴容的小區。

②網絡精準擴容。根據信令面和用戶面數據記錄，以及用戶測量數據，計算精確的覆蓋地圖、用戶地圖和業務地圖，從多維度對區域進行柵格級評估，計算需要進行擴容的基站小區，并對新建站的站址選擇提出建議。

③網絡優化。根據網絡質量和業務質量分析以及監控結果，對包括無線接入網、核心網、IP承載網、公眾寬帶網以及內容分發網絡(CDN)等進行端到端優化，使網絡性能達到最佳平衡。

④建設后評估。可以根據新建或者擴容小區基站的運行狀況、業務量統計、網絡服務質量、區域用戶體驗指標提升等多維度精確實現網絡規劃建設的后評估。

3)智能業務經營。隨著用戶業務從語音業務為中心轉向以流量業務為中心，如何實現智能化的流量業務經營就成為運營商關注的重點課題。信令面和用戶面數據記錄的采集和分析處理，可以讓我們更加精準地對用戶軌跡、業務偏好、時間偏好、位置偏好進行分析預測，并精準刻畫用戶畫像。此外，還可以從終端、價值區域等維度進行分析挖掘。分析的結果除了進行智能業務經營，還可以作為網絡規劃優化的輸入，以及用于更加廣泛的公益類及行業類大數據應用。

4 結束語

我們正在進入一個移動互聯的時代。移動通信網絡作為移動互聯網的基礎接入和承載網絡，作為國家新一代信息基礎設施的重要組成部分，在國家經濟發展和產業轉型升級中變得日益重要。

移動網絡建設必須擺脫以往粗放的建設模式，更多地轉向“以用戶體驗為中心”，實現網絡建設的智能化。“智能”來自“模型”，更來自“數據”。移動網絡蘊含著豐富的數據資源，這些數據資源不僅包括以往以網管和計費為中心的結果數據，更包括用戶接入網絡和使用業務過程中的“過程”數據。過程數據的獲取和分析挖掘在網絡智能化建設中的作用更加重要。

過程數據是大數據，并且是超大規模數據。通過對這些超大規模數據進行處理和分析，我們可以實現網絡從全局到局部的可視化，可以實現更加精準的面向用戶和面向業務的網絡規劃和優化建設。更多地，上述數據是一個蘊含黃金的寶庫。利用它，不僅可以服務于運營商的生產經營，還可以構建開放生態環境的方式，服務從政府到行業的各種應用[6]，以實現科學評估、科學預測和更加個性化的服務。

參考文獻

[1]中國互聯網絡信息中心(C N N I C).第3 6次中國互聯網絡發展狀況統計報告[R/OL].[2016-01-10].http://www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/201507/20150722_52624.htm

[2]張傳福,吳偉陵.第三代移動通信系統的網絡規劃[J].電子技術應用,2000,(6):4-6

[3]楊春蘭. LTE FDD無線網絡規劃研究[D].南京郵電大學,2014

[4]The 3rd Generation Partnership Project (3GPP). 3GPP TS 23.002 V13.2.0: Technical Specification Group Services and System Aspects; Network architecture(Release 13) [S/OL].[2016-01-10].http://www.3gpp.org/DynaReport/23002.htm

[5]王志軍,黃文良.大數據在移動用戶上網記錄查詢中的應用研究[J].信息通信技術,2013,7(6):29-34

[6]王志軍,黃文良.面向移動互聯網的業務創新生態環境研究[J].電信科學,2012(3):1-8