基于復(fù)雜網(wǎng)絡(luò)的電信大數(shù)據(jù)處理研究

張瑞

〔摘要〕文章針對(duì)目前電信運(yùn)營(yíng)商在大數(shù)據(jù)處理中的實(shí)際需求，全面分析研究了關(guān)于復(fù)雜網(wǎng)絡(luò)在大數(shù)據(jù)處理中的關(guān)鍵技術(shù)和具體應(yīng)用，深入討論了復(fù)雜網(wǎng)絡(luò)在靜態(tài)數(shù)據(jù)、動(dòng)態(tài)數(shù)據(jù)和社團(tuán)挖掘等方面的實(shí)用，為目前電信大數(shù)據(jù)的處理提供了一種比較實(shí)用的方法。

〔關(guān)鍵詞〕復(fù)雜網(wǎng)絡(luò)；電信大數(shù)據(jù)；靜態(tài)數(shù)據(jù)；動(dòng)態(tài)數(shù)據(jù)；社團(tuán)劃分

〔中圖分類(lèi)號(hào)〕G434〔文獻(xiàn)標(biāo)識(shí)碼〕A〔文章編號(hào)〕1008-0821（2014）06-0066-04

大數(shù)據(jù)是繼云計(jì)算、物聯(lián)網(wǎng)之后信息通信技術(shù)產(chǎn)業(yè)界又一次顛覆性的技術(shù)變革。對(duì)于整個(gè)產(chǎn)業(yè)而言，大數(shù)據(jù)市場(chǎng)是塊等待挖掘的“金礦”，因此，如何充分利用大數(shù)據(jù)，并使其進(jìn)一步發(fā)展壯大，也成為整個(gè)業(yè)界共同探究的熱點(diǎn)話題。在大數(shù)據(jù)領(lǐng)域探索中，相較于其他企業(yè)，電信運(yùn)營(yíng)商由于在數(shù)據(jù)資源、基礎(chǔ)資源、平臺(tái)資源上擁有先天優(yōu)勢(shì)，因此對(duì)于大數(shù)據(jù)的探索需求更為深入。但目前電信業(yè)在經(jīng)歷近十年來(lái)的變革后，各種商業(yè)模式被打破。盡管電信運(yùn)營(yíng)商一直積極地推進(jìn)4G網(wǎng)絡(luò)建設(shè)，但網(wǎng)絡(luò)的持續(xù)擴(kuò)容與升級(jí)并未給電信運(yùn)營(yíng)商帶來(lái)十分可觀的收入，并且，更為嚴(yán)峻的是，在大數(shù)據(jù)時(shí)代，電信運(yùn)營(yíng)商還面臨著來(lái)自數(shù)據(jù)、管理方面的巨大挑戰(zhàn)。海量的半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)大大降低了數(shù)據(jù)處理的效率，給運(yùn)營(yíng)商帶來(lái)了巨大的數(shù)據(jù)存儲(chǔ)和讀寫(xiě)壓力。如若不能縮短數(shù)據(jù)處理的周期，很多數(shù)據(jù)的價(jià)值都會(huì)被極大地稀釋。此外，龐大的數(shù)據(jù)規(guī)模和復(fù)雜的數(shù)據(jù)種類(lèi)也給運(yùn)營(yíng)商帶來(lái)了管理層面的難題。

1電信運(yùn)營(yíng)商大數(shù)據(jù)應(yīng)用及系統(tǒng)框架

電信運(yùn)營(yíng)商關(guān)于大數(shù)據(jù)的應(yīng)用主要包括以下4種類(lèi)型。首先，是基本的語(yǔ)音數(shù)據(jù)分析，運(yùn)營(yíng)商可以利用自動(dòng)語(yǔ)音識(shí)別數(shù)據(jù)對(duì)自身的產(chǎn)品進(jìn)行服務(wù)，并通過(guò)用戶(hù)偏好分析，及時(shí)、準(zhǔn)確進(jìn)行業(yè)務(wù)推薦，強(qiáng)化客戶(hù)關(guān)懷，這樣就可以不斷改善用戶(hù)體驗(yàn)，增加用戶(hù)的信息消費(fèi)；其次，網(wǎng)絡(luò)流量分析，主要指通過(guò)大數(shù)據(jù)分析網(wǎng)絡(luò)的流量、流向變化趨勢(shì)，及時(shí)調(diào)整資源配置，還可以分析網(wǎng)絡(luò)日志，進(jìn)行全網(wǎng)絡(luò)優(yōu)化，不斷提升網(wǎng)絡(luò)質(zhì)量和網(wǎng)絡(luò)利用率；第三，在企業(yè)經(jīng)營(yíng)層面，可以通過(guò)業(yè)務(wù)、資源、財(cái)務(wù)等各類(lèi)數(shù)據(jù)的綜合分析，快速準(zhǔn)確地確定公司經(jīng)營(yíng)管理和市場(chǎng)競(jìng)爭(zhēng)策略；第四，在業(yè)務(wù)創(chuàng)新層面，可以在確保用戶(hù)隱私不被侵犯的前提下，對(duì)數(shù)據(jù)進(jìn)行深度加工，對(duì)外提供信息服務(wù)，為企業(yè)創(chuàng)造新的價(jià)值。這樣，大數(shù)據(jù)將幫助運(yùn)營(yíng)商實(shí)現(xiàn)從網(wǎng)絡(luò)服務(wù)提供商，向信息服務(wù)提供商的轉(zhuǎn)變。

結(jié)合電信運(yùn)營(yíng)商的業(yè)務(wù)情況以及目前大數(shù)據(jù)的挑戰(zhàn)，業(yè)界提出了針對(duì)電信運(yùn)營(yíng)商大數(shù)據(jù)管理總體系統(tǒng)框架模型，其核心主要包括4層，即物理層、數(shù)據(jù)層、模型層和應(yīng)用層。其中數(shù)據(jù)層是整個(gè)運(yùn)營(yíng)商大數(shù)據(jù)管理的核心部分，為上層應(yīng)用提供數(shù)據(jù)支持（如圖1所示）。

2電信大數(shù)據(jù)解決方案與需求分析

目前，中國(guó)移動(dòng)采用Apache Hadoop軟件的英特爾分發(fā)版來(lái)消除數(shù)據(jù)訪問(wèn)瓶頸和發(fā)現(xiàn)用戶(hù)使用習(xí)慣，開(kāi)展更有針對(duì)性的營(yíng)銷(xiāo)利用，同時(shí)利用Hadoop分布式數(shù)據(jù)庫(kù)（Hadoop HBase）擴(kuò)展存儲(chǔ)。中國(guó)聯(lián)通也是利用Hadoop來(lái)實(shí)現(xiàn)對(duì)大數(shù)據(jù)的存儲(chǔ)和分析，構(gòu)建了基于Hadoop的結(jié)構(gòu)化訪問(wèn)數(shù)據(jù)庫(kù)，還采用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，針對(duì)海量數(shù)據(jù)進(jìn)行高性能查詢(xún)和分析工作。但海量數(shù)據(jù)的出現(xiàn)、數(shù)據(jù)結(jié)構(gòu)的改變，也給運(yùn)營(yíng)商的大數(shù)據(jù)管理及分析帶來(lái)了挑戰(zhàn)。主要表現(xiàn)在：一是由于多種業(yè)務(wù)的發(fā)展、市場(chǎng)需求的變化和網(wǎng)絡(luò)規(guī)模的擴(kuò)大使得運(yùn)營(yíng)商大數(shù)據(jù)迅速的增加，這增加了運(yùn)營(yíng)商大數(shù)據(jù)存儲(chǔ)和處理的難度，使得現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)無(wú)法線性擴(kuò)容，這表明傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)無(wú)法有效存儲(chǔ)日益增長(zhǎng)的業(yè)務(wù)數(shù)據(jù)；二是由于新型大數(shù)據(jù)服務(wù)不同于傳統(tǒng)通信業(yè)務(wù)分析特點(diǎn)，需要對(duì)內(nèi)容等非結(jié)構(gòu)化、大容量信息進(jìn)行多用戶(hù)、多應(yīng)用、實(shí)時(shí)有效的分析，傳統(tǒng)的架構(gòu)和數(shù)據(jù)倉(cāng)庫(kù)處理已不能滿(mǎn)足新的信息服務(wù)需求。因此，運(yùn)營(yíng)商需要建立新型大數(shù)據(jù)中心，來(lái)存儲(chǔ)、分析和處理海量數(shù)據(jù)。電信運(yùn)營(yíng)商采用的傳統(tǒng)數(shù)據(jù)挖掘方法主要包括描述和預(yù)測(cè)兩個(gè)方向，具體方法包括關(guān)聯(lián)分析、分類(lèi)和聚類(lèi)等，這些方法較多應(yīng)用于關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)，而目前電信運(yùn)營(yíng)商所面對(duì)的數(shù)據(jù)越來(lái)越多樣化，復(fù)雜化程度不斷增加，非結(jié)構(gòu)化數(shù)據(jù)占據(jù)的比重不斷攀升，傳統(tǒng)的數(shù)據(jù)挖掘辦法已經(jīng)不能跟上電信業(yè)大數(shù)據(jù)處理的實(shí)際需求。自從1998年Watts和Strogatz在Nature雜志上發(fā)表文章，引入了小世界網(wǎng)絡(luò)模型之后，國(guó)內(nèi)外學(xué)界注意到了復(fù)雜網(wǎng)絡(luò)研究的趨勢(shì)，開(kāi)始展開(kāi)深入的研究。復(fù)雜網(wǎng)絡(luò)研究的內(nèi)容主要包括：網(wǎng)絡(luò)的幾何性質(zhì)，網(wǎng)絡(luò)的形成機(jī)制，網(wǎng)絡(luò)演化的統(tǒng)計(jì)規(guī)律，網(wǎng)絡(luò)上的模型性質(zhì)，以及網(wǎng)絡(luò)的結(jié)構(gòu)穩(wěn)定性，網(wǎng)絡(luò)的演化動(dòng)力學(xué)機(jī)制等問(wèn)題。上述復(fù)雜網(wǎng)絡(luò)的研究?jī)?nèi)容恰恰與電信運(yùn)營(yíng)商目前所擁有的大數(shù)據(jù)內(nèi)容和處理需求緊密地結(jié)合在一起，為電信運(yùn)營(yíng)商的大數(shù)據(jù)處理開(kāi)辟了一條嶄新的方向。

3基于復(fù)雜網(wǎng)絡(luò)大數(shù)據(jù)處理

針對(duì)電信運(yùn)營(yíng)商大數(shù)據(jù)處理的第一步是數(shù)據(jù)預(yù)處理及準(zhǔn)備，以發(fā)生最多、數(shù)據(jù)量最大的客戶(hù)通話行為為例，它和用戶(hù)通話行為直接相關(guān)，其中涵蓋的具體內(nèi)容如表1所示，如通話時(shí)長(zhǎng)，基站信息等等，如果再加入個(gè)人年齡、性別等信息，則構(gòu)成多維數(shù)據(jù)，為大數(shù)據(jù)分體提供更多基礎(chǔ)數(shù)據(jù)。接下來(lái)，針對(duì)基于復(fù)雜網(wǎng)絡(luò)的電信大數(shù)據(jù)分析研究可以從以下3個(gè)方面展開(kāi)，分別是靜態(tài)研究、動(dòng)態(tài)研究和社團(tuán)挖掘研究。

3.1靜態(tài)數(shù)據(jù)研究

電信的運(yùn)營(yíng)數(shù)據(jù)的結(jié)構(gòu)隨著時(shí)間在不斷地發(fā)生變化，而且是比較典型的多維數(shù)據(jù)，復(fù)雜網(wǎng)絡(luò)的最初研究對(duì)象是某個(gè)網(wǎng)絡(luò)在某個(gè)特定時(shí)間段的內(nèi)容，譬如，某個(gè)市、區(qū)在某幾個(gè)月的通話數(shù)據(jù)，由此可以形成一個(gè)典型的網(wǎng)絡(luò)。在這里，以IEEE VAST 2008的數(shù)據(jù)集作為研究對(duì)象，它包括了一組涉及400人左右的10天通話數(shù)據(jù)，通話記錄數(shù)為9 834條。

利用復(fù)雜網(wǎng)絡(luò)方法對(duì)遠(yuǎn)程教育網(wǎng)絡(luò)的研究起始于基本的3項(xiàng)內(nèi)容，它們分別是度與度分布、平均路徑長(zhǎng)度和聚類(lèi)系數(shù)。

度的意義是指與該頁(yè)面節(jié)點(diǎn)連接的其他頁(yè)面節(jié)點(diǎn)的數(shù)目。在對(duì)電信通話數(shù)據(jù)的實(shí)際研究中主要是指一個(gè)用戶(hù)存在的與其他用戶(hù)通話的信息數(shù)目。一個(gè)用戶(hù)節(jié)點(diǎn)的呼出與呼入數(shù)量又分為出度和入度。所有用戶(hù)節(jié)點(diǎn)度的平均值稱(chēng)為網(wǎng)絡(luò)的平均度。數(shù)據(jù)顯示該通話記錄的節(jié)點(diǎn)平均度為3-9，從復(fù)雜網(wǎng)絡(luò)研究角度出發(fā)，一個(gè)用戶(hù)節(jié)點(diǎn)無(wú)論從出度或入度的大小都直接與該用戶(hù)的重要程度相關(guān)。由圖2和圖3可以看出，個(gè)別用戶(hù)節(jié)點(diǎn)擁有較大的出度與入度，他們?cè)谡麄€(gè)網(wǎng)絡(luò)中扮演了核心節(jié)點(diǎn)的角色，通過(guò)這幾個(gè)節(jié)點(diǎn)將其他用戶(hù)緊密地聯(lián)系在一起。endprint

平均路徑是基于復(fù)雜網(wǎng)絡(luò)電信大數(shù)據(jù)的另一個(gè)十分重要的指標(biāo)，它主要是指網(wǎng)絡(luò)中兩個(gè)節(jié)點(diǎn)之間最短路徑的邊數(shù)。任意兩個(gè)節(jié)點(diǎn)的最大值稱(chēng)為網(wǎng)絡(luò)的直徑，上述網(wǎng)絡(luò)的直徑為8。平均路徑長(zhǎng)度是衡量網(wǎng)絡(luò)轉(zhuǎn)發(fā)能力的一個(gè)重要參數(shù)，具有較短路徑長(zhǎng)度可以降低傳輸?shù)难舆t，對(duì)于網(wǎng)站的查找具有決定性的作用，上述網(wǎng)絡(luò)的平均路徑長(zhǎng)度為4-2，一般電信每個(gè)月的網(wǎng)絡(luò)直徑為20左右，整個(gè)網(wǎng)絡(luò)的直徑在15左右，這就充分說(shuō)明該網(wǎng)絡(luò)具有緊湊的結(jié)構(gòu)，保證用戶(hù)可以花費(fèi)最短的時(shí)間聯(lián)系到自己需要人，這對(duì)于電信運(yùn)營(yíng)商集團(tuán)網(wǎng)絡(luò)的建設(shè)及營(yíng)銷(xiāo)策略的細(xì)化非常重要。

聚類(lèi)系數(shù)用于描述網(wǎng)絡(luò)連接的聚集程度，即網(wǎng)絡(luò)有多緊密，也就是說(shuō)如果一個(gè)網(wǎng)絡(luò)結(jié)點(diǎn)有數(shù)個(gè)直接的鄰居結(jié)點(diǎn)，那么這些鄰居結(jié)點(diǎn)之間有可能也是鄰居。Watts和Strogatz首先指出，許多實(shí)際網(wǎng)絡(luò)的聚集系數(shù)遠(yuǎn)大于相同結(jié)點(diǎn)規(guī)模的隨機(jī)網(wǎng)絡(luò)。

3.2動(dòng)態(tài)數(shù)據(jù)研究

電信運(yùn)營(yíng)商大數(shù)據(jù)的分析具有其自身的特點(diǎn)，它的用戶(hù)動(dòng)態(tài)性較強(qiáng)，呈現(xiàn)出“生命周期”的特征，時(shí)間演化性是電信通話數(shù)據(jù)的復(fù)雜網(wǎng)絡(luò)化固有屬性，任何網(wǎng)絡(luò)都會(huì)隨時(shí)間呈現(xiàn)出一定的演化規(guī)律，但數(shù)據(jù)分析不能以秒、分、時(shí)以單位展開(kāi)，這樣單位內(nèi)的數(shù)據(jù)量太有限，要想嘗試抓住用戶(hù)的核心商業(yè)價(jià)值，制定相應(yīng)的營(yíng)銷(xiāo)策略，就需要以月或者季為單位進(jìn)行通話數(shù)據(jù)分析。

筆者將上述的數(shù)據(jù)導(dǎo)入復(fù)雜網(wǎng)絡(luò)分析軟件中，最終結(jié)果如圖4所示，其中包括通話日期、持續(xù)時(shí)間和基站信息，經(jīng)過(guò)運(yùn)算可以產(chǎn)生對(duì)電信數(shù)據(jù)商進(jìn)行用戶(hù)分析的諸多結(jié)果。首先，在圖中可以發(fā)現(xiàn)明顯的聚集效應(yīng)，他們的通話概率是其他用戶(hù)的2～3倍，這些用戶(hù)具有更高的活躍度，這些用戶(hù)在網(wǎng)朋友數(shù)目越多，其離網(wǎng)概率越小，由此可以幫助電信運(yùn)營(yíng)商建立流失模型，制定相應(yīng)策略進(jìn)而防止客戶(hù)流失。其次，可以發(fā)掘出部分的個(gè)人特征及通話偏好，譬如，有些用戶(hù)的通話量極少，有些用戶(hù)的通話大部分發(fā)生在夜間，建立這樣的用戶(hù)模型將有利于發(fā)現(xiàn)用戶(hù)的消費(fèi)行為，利于各種用戶(hù)套餐的制定，方便降低運(yùn)營(yíng)成本。最后，通過(guò)基站數(shù)據(jù)的分析，可以發(fā)現(xiàn)該用戶(hù)的活躍地區(qū)和基站的負(fù)載程度，幫助電信運(yùn)營(yíng)商進(jìn)行基站建設(shè)的規(guī)劃。

3.3社團(tuán)挖掘研究

復(fù)雜網(wǎng)絡(luò)社團(tuán)是指網(wǎng)絡(luò)中的頂點(diǎn)可以分成組，組內(nèi)頂點(diǎn)間的連接比較稠密，組間頂點(diǎn)的連接比較稀疏。社團(tuán)結(jié)構(gòu)在電信運(yùn)營(yíng)商數(shù)據(jù)分析中扮演著十分重要的角色，它是了解整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)和功能的重要途徑。針對(duì)電信運(yùn)營(yíng)商的大數(shù)據(jù)處理而言，雖然它們的社團(tuán)大小和數(shù)目是未知的，用戶(hù)之間的相互聯(lián)系是隨時(shí)間改變的，但這種網(wǎng)絡(luò)結(jié)構(gòu)呈現(xiàn)出比較鮮明的層次結(jié)構(gòu)，可以觀察出高密度或者低密度的社團(tuán)結(jié)構(gòu)。通過(guò)圖4，可以觀察到除了大部分的聚集用戶(hù)節(jié)點(diǎn)之外，還存在著其他類(lèi)型的用戶(hù)節(jié)點(diǎn)，比如離群點(diǎn)和中心點(diǎn)。這些中心節(jié)點(diǎn)將對(duì)謠言或者手機(jī)病毒的傳播起到重要的作用，同時(shí)還會(huì)對(duì)新客戶(hù)的發(fā)掘起到推進(jìn)作用。而離群節(jié)點(diǎn)則是比較典型的噪音數(shù)據(jù)，對(duì)這些數(shù)據(jù)的摒棄將有助于提高正常數(shù)據(jù)的處理速度。網(wǎng)絡(luò)社團(tuán)結(jié)構(gòu)的研究主要與計(jì)算機(jī)科學(xué)中的圖形分割和社會(huì)學(xué)中的分級(jí)聚類(lèi)有著密切的關(guān)系。

目前，基于復(fù)雜網(wǎng)絡(luò)的許多社團(tuán)網(wǎng)絡(luò)劃分算法都是在K-means基礎(chǔ)上提出和演化的，該算法在電信大數(shù)據(jù)處理中得到廣泛的應(yīng)用。K-means經(jīng)典算法的基本思想是：以空間中k個(gè)點(diǎn)為中心進(jìn)行聚類(lèi)，對(duì)最靠近他們的對(duì)象歸類(lèi)。通過(guò)迭代的方法，逐次更新各聚類(lèi)中心的值，直至得到最好的聚類(lèi)結(jié)果。假設(shè)要把樣本集分為c個(gè)類(lèi)別，算法描述如下：（1）適當(dāng)選擇c個(gè)類(lèi)的初始中心；（2）在第k次迭代中，對(duì)任意一個(gè)樣本，求其到c個(gè)中心的距離，將該樣本歸到距離最短的中心所在的類(lèi)；（3）利用均值等方法更新該類(lèi)的中心值；（4）對(duì)于所有的c個(gè)聚類(lèi)中心，如果利用（2）（3）的迭代法更新后，值保持不變，則迭代結(jié)束，否則繼續(xù)迭代。該算法的最大優(yōu)勢(shì)在于簡(jiǎn)潔和快速。該算法的關(guān)鍵在于初始中心的選擇和距離公式。在電信大數(shù)據(jù)背景下，K-means算法在分類(lèi)效果、實(shí)際運(yùn)行時(shí)間方面體現(xiàn)出較強(qiáng)的實(shí)用性。通過(guò)上述數(shù)據(jù)的K-means算法社團(tuán)劃分實(shí)驗(yàn)分析，可以得到3個(gè)結(jié)構(gòu)清晰的社團(tuán)，他們分別包含59、29和6個(gè)用戶(hù)節(jié)點(diǎn)。

4結(jié)束語(yǔ)

針對(duì)電信運(yùn)營(yíng)商數(shù)據(jù)處理的傳統(tǒng)方法雖然能夠在一定程度上進(jìn)行分析處理，但面對(duì)規(guī)模日益龐大的數(shù)據(jù)量，這些方法往往在實(shí)際過(guò)程中顯得力不從心，不能滿(mǎn)足實(shí)際需求。但伴隨著Google提出的MapReduee框架及其開(kāi)源Hadoop等優(yōu)秀的分布式架構(gòu)涌現(xiàn)及應(yīng)用，電信運(yùn)營(yíng)商能夠引入復(fù)雜網(wǎng)絡(luò)的系統(tǒng)科學(xué)方法進(jìn)行大數(shù)據(jù)的處理分析。復(fù)雜網(wǎng)絡(luò)對(duì)電信大數(shù)據(jù)目前大量出現(xiàn)的非結(jié)構(gòu)化數(shù)據(jù)具有極強(qiáng)的適應(yīng)性，其重要意義在于它對(duì)數(shù)據(jù)的宏觀及微觀兩個(gè)方面的研究，宏觀研究包括網(wǎng)絡(luò)結(jié)構(gòu)圖的繪制、網(wǎng)絡(luò)的演化和網(wǎng)絡(luò)魯棒性研究等，微觀研究主要是個(gè)體的研究，比如重要節(jié)點(diǎn)的發(fā)現(xiàn)、個(gè)體演化、社團(tuán)劃分及事件發(fā)現(xiàn)等。而且，上述兩方面的研究工作是相輔相成的，其目標(biāo)是對(duì)現(xiàn)實(shí)的復(fù)雜網(wǎng)絡(luò)進(jìn)行有效的分析。總體來(lái)看，各個(gè)電信運(yùn)營(yíng)商利用大數(shù)據(jù)來(lái)推動(dòng)業(yè)務(wù)轉(zhuǎn)型將是未來(lái)電信市場(chǎng)的一個(gè)重要方向。電信運(yùn)營(yíng)商如果能夠通過(guò)復(fù)雜網(wǎng)絡(luò)等新技術(shù)的進(jìn)步，不斷釋放其管道中龐大數(shù)據(jù)的潛在力量，將會(huì)成廣大用戶(hù)提供更好的服務(wù)體驗(yàn)。

參考文獻(xiàn)

[1]郭曉科.大數(shù)據(jù)[M].北京：清華大學(xué)出版社，2012：20-130.

[2]王星.大數(shù)據(jù)分析：方法與應(yīng)用[M].北京：清華大學(xué)出版社，2013：30-208.

[3]楊勝琦.基于復(fù)雜網(wǎng)絡(luò)的大規(guī)模電信數(shù)據(jù)分析研究[D].北京：北京郵電大學(xué)，2010：12-120.

[4]李秋靜，葉云.電信大數(shù)據(jù)解決方案及實(shí)踐[J].中興通訊技術(shù)，2013，（6）：34-38.

[5]汪小帆，李翔，陳關(guān)榮.復(fù)雜網(wǎng)絡(luò)理論及其應(yīng)用[M].北京：清華大學(xué)出版社，2007：162-198.

[6]包稢.大數(shù)據(jù)，大變化，大未來(lái)——大數(shù)據(jù)支撐驅(qū)動(dòng)電信運(yùn)營(yíng)商轉(zhuǎn)型發(fā)展[J].通信世界，2013，（6）：81-84.

（本文責(zé)任編輯：馬卓）endprint

平均路徑是基于復(fù)雜網(wǎng)絡(luò)電信大數(shù)據(jù)的另一個(gè)十分重要的指標(biāo)，它主要是指網(wǎng)絡(luò)中兩個(gè)節(jié)點(diǎn)之間最短路徑的邊數(shù)。任意兩個(gè)節(jié)點(diǎn)的最大值稱(chēng)為網(wǎng)絡(luò)的直徑，上述網(wǎng)絡(luò)的直徑為8。平均路徑長(zhǎng)度是衡量網(wǎng)絡(luò)轉(zhuǎn)發(fā)能力的一個(gè)重要參數(shù)，具有較短路徑長(zhǎng)度可以降低傳輸?shù)难舆t，對(duì)于網(wǎng)站的查找具有決定性的作用，上述網(wǎng)絡(luò)的平均路徑長(zhǎng)度為4-2，一般電信每個(gè)月的網(wǎng)絡(luò)直徑為20左右，整個(gè)網(wǎng)絡(luò)的直徑在15左右，這就充分說(shuō)明該網(wǎng)絡(luò)具有緊湊的結(jié)構(gòu)，保證用戶(hù)可以花費(fèi)最短的時(shí)間聯(lián)系到自己需要人，這對(duì)于電信運(yùn)營(yíng)商集團(tuán)網(wǎng)絡(luò)的建設(shè)及營(yíng)銷(xiāo)策略的細(xì)化非常重要。

聚類(lèi)系數(shù)用于描述網(wǎng)絡(luò)連接的聚集程度，即網(wǎng)絡(luò)有多緊密，也就是說(shuō)如果一個(gè)網(wǎng)絡(luò)結(jié)點(diǎn)有數(shù)個(gè)直接的鄰居結(jié)點(diǎn)，那么這些鄰居結(jié)點(diǎn)之間有可能也是鄰居。Watts和Strogatz首先指出，許多實(shí)際網(wǎng)絡(luò)的聚集系數(shù)遠(yuǎn)大于相同結(jié)點(diǎn)規(guī)模的隨機(jī)網(wǎng)絡(luò)。

3.2動(dòng)態(tài)數(shù)據(jù)研究

電信運(yùn)營(yíng)商大數(shù)據(jù)的分析具有其自身的特點(diǎn)，它的用戶(hù)動(dòng)態(tài)性較強(qiáng)，呈現(xiàn)出“生命周期”的特征，時(shí)間演化性是電信通話數(shù)據(jù)的復(fù)雜網(wǎng)絡(luò)化固有屬性，任何網(wǎng)絡(luò)都會(huì)隨時(shí)間呈現(xiàn)出一定的演化規(guī)律，但數(shù)據(jù)分析不能以秒、分、時(shí)以單位展開(kāi)，這樣單位內(nèi)的數(shù)據(jù)量太有限，要想嘗試抓住用戶(hù)的核心商業(yè)價(jià)值，制定相應(yīng)的營(yíng)銷(xiāo)策略，就需要以月或者季為單位進(jìn)行通話數(shù)據(jù)分析。

筆者將上述的數(shù)據(jù)導(dǎo)入復(fù)雜網(wǎng)絡(luò)分析軟件中，最終結(jié)果如圖4所示，其中包括通話日期、持續(xù)時(shí)間和基站信息，經(jīng)過(guò)運(yùn)算可以產(chǎn)生對(duì)電信數(shù)據(jù)商進(jìn)行用戶(hù)分析的諸多結(jié)果。首先，在圖中可以發(fā)現(xiàn)明顯的聚集效應(yīng)，他們的通話概率是其他用戶(hù)的2～3倍，這些用戶(hù)具有更高的活躍度，這些用戶(hù)在網(wǎng)朋友數(shù)目越多，其離網(wǎng)概率越小，由此可以幫助電信運(yùn)營(yíng)商建立流失模型，制定相應(yīng)策略進(jìn)而防止客戶(hù)流失。其次，可以發(fā)掘出部分的個(gè)人特征及通話偏好，譬如，有些用戶(hù)的通話量極少，有些用戶(hù)的通話大部分發(fā)生在夜間，建立這樣的用戶(hù)模型將有利于發(fā)現(xiàn)用戶(hù)的消費(fèi)行為，利于各種用戶(hù)套餐的制定，方便降低運(yùn)營(yíng)成本。最后，通過(guò)基站數(shù)據(jù)的分析，可以發(fā)現(xiàn)該用戶(hù)的活躍地區(qū)和基站的負(fù)載程度，幫助電信運(yùn)營(yíng)商進(jìn)行基站建設(shè)的規(guī)劃。

3.3社團(tuán)挖掘研究

復(fù)雜網(wǎng)絡(luò)社團(tuán)是指網(wǎng)絡(luò)中的頂點(diǎn)可以分成組，組內(nèi)頂點(diǎn)間的連接比較稠密，組間頂點(diǎn)的連接比較稀疏。社團(tuán)結(jié)構(gòu)在電信運(yùn)營(yíng)商數(shù)據(jù)分析中扮演著十分重要的角色，它是了解整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)和功能的重要途徑。針對(duì)電信運(yùn)營(yíng)商的大數(shù)據(jù)處理而言，雖然它們的社團(tuán)大小和數(shù)目是未知的，用戶(hù)之間的相互聯(lián)系是隨時(shí)間改變的，但這種網(wǎng)絡(luò)結(jié)構(gòu)呈現(xiàn)出比較鮮明的層次結(jié)構(gòu)，可以觀察出高密度或者低密度的社團(tuán)結(jié)構(gòu)。通過(guò)圖4，可以觀察到除了大部分的聚集用戶(hù)節(jié)點(diǎn)之外，還存在著其他類(lèi)型的用戶(hù)節(jié)點(diǎn)，比如離群點(diǎn)和中心點(diǎn)。這些中心節(jié)點(diǎn)將對(duì)謠言或者手機(jī)病毒的傳播起到重要的作用，同時(shí)還會(huì)對(duì)新客戶(hù)的發(fā)掘起到推進(jìn)作用。而離群節(jié)點(diǎn)則是比較典型的噪音數(shù)據(jù)，對(duì)這些數(shù)據(jù)的摒棄將有助于提高正常數(shù)據(jù)的處理速度。網(wǎng)絡(luò)社團(tuán)結(jié)構(gòu)的研究主要與計(jì)算機(jī)科學(xué)中的圖形分割和社會(huì)學(xué)中的分級(jí)聚類(lèi)有著密切的關(guān)系。

目前，基于復(fù)雜網(wǎng)絡(luò)的許多社團(tuán)網(wǎng)絡(luò)劃分算法都是在K-means基礎(chǔ)上提出和演化的，該算法在電信大數(shù)據(jù)處理中得到廣泛的應(yīng)用。K-means經(jīng)典算法的基本思想是：以空間中k個(gè)點(diǎn)為中心進(jìn)行聚類(lèi)，對(duì)最靠近他們的對(duì)象歸類(lèi)。通過(guò)迭代的方法，逐次更新各聚類(lèi)中心的值，直至得到最好的聚類(lèi)結(jié)果。假設(shè)要把樣本集分為c個(gè)類(lèi)別，算法描述如下：（1）適當(dāng)選擇c個(gè)類(lèi)的初始中心；（2）在第k次迭代中，對(duì)任意一個(gè)樣本，求其到c個(gè)中心的距離，將該樣本歸到距離最短的中心所在的類(lèi)；（3）利用均值等方法更新該類(lèi)的中心值；（4）對(duì)于所有的c個(gè)聚類(lèi)中心，如果利用（2）（3）的迭代法更新后，值保持不變，則迭代結(jié)束，否則繼續(xù)迭代。該算法的最大優(yōu)勢(shì)在于簡(jiǎn)潔和快速。該算法的關(guān)鍵在于初始中心的選擇和距離公式。在電信大數(shù)據(jù)背景下，K-means算法在分類(lèi)效果、實(shí)際運(yùn)行時(shí)間方面體現(xiàn)出較強(qiáng)的實(shí)用性。通過(guò)上述數(shù)據(jù)的K-means算法社團(tuán)劃分實(shí)驗(yàn)分析，可以得到3個(gè)結(jié)構(gòu)清晰的社團(tuán)，他們分別包含59、29和6個(gè)用戶(hù)節(jié)點(diǎn)。

4結(jié)束語(yǔ)

針對(duì)電信運(yùn)營(yíng)商數(shù)據(jù)處理的傳統(tǒng)方法雖然能夠在一定程度上進(jìn)行分析處理，但面對(duì)規(guī)模日益龐大的數(shù)據(jù)量，這些方法往往在實(shí)際過(guò)程中顯得力不從心，不能滿(mǎn)足實(shí)際需求。但伴隨著Google提出的MapReduee框架及其開(kāi)源Hadoop等優(yōu)秀的分布式架構(gòu)涌現(xiàn)及應(yīng)用，電信運(yùn)營(yíng)商能夠引入復(fù)雜網(wǎng)絡(luò)的系統(tǒng)科學(xué)方法進(jìn)行大數(shù)據(jù)的處理分析。復(fù)雜網(wǎng)絡(luò)對(duì)電信大數(shù)據(jù)目前大量出現(xiàn)的非結(jié)構(gòu)化數(shù)據(jù)具有極強(qiáng)的適應(yīng)性，其重要意義在于它對(duì)數(shù)據(jù)的宏觀及微觀兩個(gè)方面的研究，宏觀研究包括網(wǎng)絡(luò)結(jié)構(gòu)圖的繪制、網(wǎng)絡(luò)的演化和網(wǎng)絡(luò)魯棒性研究等，微觀研究主要是個(gè)體的研究，比如重要節(jié)點(diǎn)的發(fā)現(xiàn)、個(gè)體演化、社團(tuán)劃分及事件發(fā)現(xiàn)等。而且，上述兩方面的研究工作是相輔相成的，其目標(biāo)是對(duì)現(xiàn)實(shí)的復(fù)雜網(wǎng)絡(luò)進(jìn)行有效的分析。總體來(lái)看，各個(gè)電信運(yùn)營(yíng)商利用大數(shù)據(jù)來(lái)推動(dòng)業(yè)務(wù)轉(zhuǎn)型將是未來(lái)電信市場(chǎng)的一個(gè)重要方向。電信運(yùn)營(yíng)商如果能夠通過(guò)復(fù)雜網(wǎng)絡(luò)等新技術(shù)的進(jìn)步，不斷釋放其管道中龐大數(shù)據(jù)的潛在力量，將會(huì)成廣大用戶(hù)提供更好的服務(wù)體驗(yàn)。

參考文獻(xiàn)

[1]郭曉科.大數(shù)據(jù)[M].北京：清華大學(xué)出版社，2012：20-130.

[2]王星.大數(shù)據(jù)分析：方法與應(yīng)用[M].北京：清華大學(xué)出版社，2013：30-208.

[3]楊勝琦.基于復(fù)雜網(wǎng)絡(luò)的大規(guī)模電信數(shù)據(jù)分析研究[D].北京：北京郵電大學(xué)，2010：12-120.

[4]李秋靜，葉云.電信大數(shù)據(jù)解決方案及實(shí)踐[J].中興通訊技術(shù)，2013，（6）：34-38.

[5]汪小帆，李翔，陳關(guān)榮.復(fù)雜網(wǎng)絡(luò)理論及其應(yīng)用[M].北京：清華大學(xué)出版社，2007：162-198.

[6]包稢.大數(shù)據(jù)，大變化，大未來(lái)——大數(shù)據(jù)支撐驅(qū)動(dòng)電信運(yùn)營(yíng)商轉(zhuǎn)型發(fā)展[J].通信世界，2013，（6）：81-84.

（本文責(zé)任編輯：馬卓）endprint

平均路徑是基于復(fù)雜網(wǎng)絡(luò)電信大數(shù)據(jù)的另一個(gè)十分重要的指標(biāo)，它主要是指網(wǎng)絡(luò)中兩個(gè)節(jié)點(diǎn)之間最短路徑的邊數(shù)。任意兩個(gè)節(jié)點(diǎn)的最大值稱(chēng)為網(wǎng)絡(luò)的直徑，上述網(wǎng)絡(luò)的直徑為8。平均路徑長(zhǎng)度是衡量網(wǎng)絡(luò)轉(zhuǎn)發(fā)能力的一個(gè)重要參數(shù)，具有較短路徑長(zhǎng)度可以降低傳輸?shù)难舆t，對(duì)于網(wǎng)站的查找具有決定性的作用，上述網(wǎng)絡(luò)的平均路徑長(zhǎng)度為4-2，一般電信每個(gè)月的網(wǎng)絡(luò)直徑為20左右，整個(gè)網(wǎng)絡(luò)的直徑在15左右，這就充分說(shuō)明該網(wǎng)絡(luò)具有緊湊的結(jié)構(gòu)，保證用戶(hù)可以花費(fèi)最短的時(shí)間聯(lián)系到自己需要人，這對(duì)于電信運(yùn)營(yíng)商集團(tuán)網(wǎng)絡(luò)的建設(shè)及營(yíng)銷(xiāo)策略的細(xì)化非常重要。

聚類(lèi)系數(shù)用于描述網(wǎng)絡(luò)連接的聚集程度，即網(wǎng)絡(luò)有多緊密，也就是說(shuō)如果一個(gè)網(wǎng)絡(luò)結(jié)點(diǎn)有數(shù)個(gè)直接的鄰居結(jié)點(diǎn)，那么這些鄰居結(jié)點(diǎn)之間有可能也是鄰居。Watts和Strogatz首先指出，許多實(shí)際網(wǎng)絡(luò)的聚集系數(shù)遠(yuǎn)大于相同結(jié)點(diǎn)規(guī)模的隨機(jī)網(wǎng)絡(luò)。

3.2動(dòng)態(tài)數(shù)據(jù)研究

電信運(yùn)營(yíng)商大數(shù)據(jù)的分析具有其自身的特點(diǎn)，它的用戶(hù)動(dòng)態(tài)性較強(qiáng)，呈現(xiàn)出“生命周期”的特征，時(shí)間演化性是電信通話數(shù)據(jù)的復(fù)雜網(wǎng)絡(luò)化固有屬性，任何網(wǎng)絡(luò)都會(huì)隨時(shí)間呈現(xiàn)出一定的演化規(guī)律，但數(shù)據(jù)分析不能以秒、分、時(shí)以單位展開(kāi)，這樣單位內(nèi)的數(shù)據(jù)量太有限，要想嘗試抓住用戶(hù)的核心商業(yè)價(jià)值，制定相應(yīng)的營(yíng)銷(xiāo)策略，就需要以月或者季為單位進(jìn)行通話數(shù)據(jù)分析。

筆者將上述的數(shù)據(jù)導(dǎo)入復(fù)雜網(wǎng)絡(luò)分析軟件中，最終結(jié)果如圖4所示，其中包括通話日期、持續(xù)時(shí)間和基站信息，經(jīng)過(guò)運(yùn)算可以產(chǎn)生對(duì)電信數(shù)據(jù)商進(jìn)行用戶(hù)分析的諸多結(jié)果。首先，在圖中可以發(fā)現(xiàn)明顯的聚集效應(yīng)，他們的通話概率是其他用戶(hù)的2～3倍，這些用戶(hù)具有更高的活躍度，這些用戶(hù)在網(wǎng)朋友數(shù)目越多，其離網(wǎng)概率越小，由此可以幫助電信運(yùn)營(yíng)商建立流失模型，制定相應(yīng)策略進(jìn)而防止客戶(hù)流失。其次，可以發(fā)掘出部分的個(gè)人特征及通話偏好，譬如，有些用戶(hù)的通話量極少，有些用戶(hù)的通話大部分發(fā)生在夜間，建立這樣的用戶(hù)模型將有利于發(fā)現(xiàn)用戶(hù)的消費(fèi)行為，利于各種用戶(hù)套餐的制定，方便降低運(yùn)營(yíng)成本。最后，通過(guò)基站數(shù)據(jù)的分析，可以發(fā)現(xiàn)該用戶(hù)的活躍地區(qū)和基站的負(fù)載程度，幫助電信運(yùn)營(yíng)商進(jìn)行基站建設(shè)的規(guī)劃。

3.3社團(tuán)挖掘研究

復(fù)雜網(wǎng)絡(luò)社團(tuán)是指網(wǎng)絡(luò)中的頂點(diǎn)可以分成組，組內(nèi)頂點(diǎn)間的連接比較稠密，組間頂點(diǎn)的連接比較稀疏。社團(tuán)結(jié)構(gòu)在電信運(yùn)營(yíng)商數(shù)據(jù)分析中扮演著十分重要的角色，它是了解整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)和功能的重要途徑。針對(duì)電信運(yùn)營(yíng)商的大數(shù)據(jù)處理而言，雖然它們的社團(tuán)大小和數(shù)目是未知的，用戶(hù)之間的相互聯(lián)系是隨時(shí)間改變的，但這種網(wǎng)絡(luò)結(jié)構(gòu)呈現(xiàn)出比較鮮明的層次結(jié)構(gòu)，可以觀察出高密度或者低密度的社團(tuán)結(jié)構(gòu)。通過(guò)圖4，可以觀察到除了大部分的聚集用戶(hù)節(jié)點(diǎn)之外，還存在著其他類(lèi)型的用戶(hù)節(jié)點(diǎn)，比如離群點(diǎn)和中心點(diǎn)。這些中心節(jié)點(diǎn)將對(duì)謠言或者手機(jī)病毒的傳播起到重要的作用，同時(shí)還會(huì)對(duì)新客戶(hù)的發(fā)掘起到推進(jìn)作用。而離群節(jié)點(diǎn)則是比較典型的噪音數(shù)據(jù)，對(duì)這些數(shù)據(jù)的摒棄將有助于提高正常數(shù)據(jù)的處理速度。網(wǎng)絡(luò)社團(tuán)結(jié)構(gòu)的研究主要與計(jì)算機(jī)科學(xué)中的圖形分割和社會(huì)學(xué)中的分級(jí)聚類(lèi)有著密切的關(guān)系。

目前，基于復(fù)雜網(wǎng)絡(luò)的許多社團(tuán)網(wǎng)絡(luò)劃分算法都是在K-means基礎(chǔ)上提出和演化的，該算法在電信大數(shù)據(jù)處理中得到廣泛的應(yīng)用。K-means經(jīng)典算法的基本思想是：以空間中k個(gè)點(diǎn)為中心進(jìn)行聚類(lèi)，對(duì)最靠近他們的對(duì)象歸類(lèi)。通過(guò)迭代的方法，逐次更新各聚類(lèi)中心的值，直至得到最好的聚類(lèi)結(jié)果。假設(shè)要把樣本集分為c個(gè)類(lèi)別，算法描述如下：（1）適當(dāng)選擇c個(gè)類(lèi)的初始中心；（2）在第k次迭代中，對(duì)任意一個(gè)樣本，求其到c個(gè)中心的距離，將該樣本歸到距離最短的中心所在的類(lèi)；（3）利用均值等方法更新該類(lèi)的中心值；（4）對(duì)于所有的c個(gè)聚類(lèi)中心，如果利用（2）（3）的迭代法更新后，值保持不變，則迭代結(jié)束，否則繼續(xù)迭代。該算法的最大優(yōu)勢(shì)在于簡(jiǎn)潔和快速。該算法的關(guān)鍵在于初始中心的選擇和距離公式。在電信大數(shù)據(jù)背景下，K-means算法在分類(lèi)效果、實(shí)際運(yùn)行時(shí)間方面體現(xiàn)出較強(qiáng)的實(shí)用性。通過(guò)上述數(shù)據(jù)的K-means算法社團(tuán)劃分實(shí)驗(yàn)分析，可以得到3個(gè)結(jié)構(gòu)清晰的社團(tuán)，他們分別包含59、29和6個(gè)用戶(hù)節(jié)點(diǎn)。

4結(jié)束語(yǔ)

針對(duì)電信運(yùn)營(yíng)商數(shù)據(jù)處理的傳統(tǒng)方法雖然能夠在一定程度上進(jìn)行分析處理，但面對(duì)規(guī)模日益龐大的數(shù)據(jù)量，這些方法往往在實(shí)際過(guò)程中顯得力不從心，不能滿(mǎn)足實(shí)際需求。但伴隨著Google提出的MapReduee框架及其開(kāi)源Hadoop等優(yōu)秀的分布式架構(gòu)涌現(xiàn)及應(yīng)用，電信運(yùn)營(yíng)商能夠引入復(fù)雜網(wǎng)絡(luò)的系統(tǒng)科學(xué)方法進(jìn)行大數(shù)據(jù)的處理分析。復(fù)雜網(wǎng)絡(luò)對(duì)電信大數(shù)據(jù)目前大量出現(xiàn)的非結(jié)構(gòu)化數(shù)據(jù)具有極強(qiáng)的適應(yīng)性，其重要意義在于它對(duì)數(shù)據(jù)的宏觀及微觀兩個(gè)方面的研究，宏觀研究包括網(wǎng)絡(luò)結(jié)構(gòu)圖的繪制、網(wǎng)絡(luò)的演化和網(wǎng)絡(luò)魯棒性研究等，微觀研究主要是個(gè)體的研究，比如重要節(jié)點(diǎn)的發(fā)現(xiàn)、個(gè)體演化、社團(tuán)劃分及事件發(fā)現(xiàn)等。而且，上述兩方面的研究工作是相輔相成的，其目標(biāo)是對(duì)現(xiàn)實(shí)的復(fù)雜網(wǎng)絡(luò)進(jìn)行有效的分析。總體來(lái)看，各個(gè)電信運(yùn)營(yíng)商利用大數(shù)據(jù)來(lái)推動(dòng)業(yè)務(wù)轉(zhuǎn)型將是未來(lái)電信市場(chǎng)的一個(gè)重要方向。電信運(yùn)營(yíng)商如果能夠通過(guò)復(fù)雜網(wǎng)絡(luò)等新技術(shù)的進(jìn)步，不斷釋放其管道中龐大數(shù)據(jù)的潛在力量，將會(huì)成廣大用戶(hù)提供更好的服務(wù)體驗(yàn)。

參考文獻(xiàn)

[1]郭曉科.大數(shù)據(jù)[M].北京：清華大學(xué)出版社，2012：20-130.

[2]王星.大數(shù)據(jù)分析：方法與應(yīng)用[M].北京：清華大學(xué)出版社，2013：30-208.

[3]楊勝琦.基于復(fù)雜網(wǎng)絡(luò)的大規(guī)模電信數(shù)據(jù)分析研究[D].北京：北京郵電大學(xué)，2010：12-120.

[4]李秋靜，葉云.電信大數(shù)據(jù)解決方案及實(shí)踐[J].中興通訊技術(shù)，2013，（6）：34-38.

[5]汪小帆，李翔，陳關(guān)榮.復(fù)雜網(wǎng)絡(luò)理論及其應(yīng)用[M].北京：清華大學(xué)出版社，2007：162-198.

[6]包稢.大數(shù)據(jù)，大變化，大未來(lái)——大數(shù)據(jù)支撐驅(qū)動(dòng)電信運(yùn)營(yíng)商轉(zhuǎn)型發(fā)展[J].通信世界，2013，（6）：81-84.

（本文責(zé)任編輯：馬卓）endprint