通信網(wǎng)管數(shù)據(jù)分析與應(yīng)用

摘 要：隨著我國移動通信的迅猛發(fā)展，設(shè)備品種逐步增多，容量迅速增大，網(wǎng)管信息化的應(yīng)用，積累了海量數(shù)據(jù)，本文結(jié)合自己在實際網(wǎng)管數(shù)據(jù)分析與應(yīng)用中的經(jīng)驗，針對數(shù)據(jù)采集與整理、數(shù)據(jù)存儲與查詢、數(shù)據(jù)挖據(jù)三個過程積累的經(jīng)驗與大家分享。

關(guān)鍵詞：網(wǎng)管數(shù)據(jù)；數(shù)據(jù)挖掘；物化視圖

1 引言

隨著我國移動通信的迅猛發(fā)展，設(shè)備品種逐步增多，容量迅速增大，網(wǎng)管信息化的應(yīng)用，移動通信行業(yè)信息化進程得到巨大發(fā)展和廣泛應(yīng)用，運營網(wǎng)絡(luò)系統(tǒng)、綜合業(yè)務(wù)系統(tǒng)大量的歷史數(shù)據(jù)。但在很多情況下，這些海量數(shù)據(jù)在原有的作業(yè)系統(tǒng)中是無法提煉并升華為有用的信息并提供給業(yè)務(wù)分析人員與管理決策者的。因此如何應(yīng)用這量信息，給信息化工作者提出了挑戰(zhàn)，我作為一名移動行業(yè)信息化工作者，結(jié)合自己在實際網(wǎng)管數(shù)據(jù)分析與應(yīng)用中的經(jīng)驗，主要在數(shù)據(jù)采集與整理、數(shù)據(jù)存儲與查詢、數(shù)據(jù)挖掘三方面與大家探討一下。

2 數(shù)據(jù)采集與整理

2.1 文本格式FTP傳輸

網(wǎng)管系統(tǒng)在每天定時將前一天的數(shù)據(jù)文件上傳到指定的FTP服務(wù)器。數(shù)據(jù)文件為后綴TXT的文本文件，指標之間的間隔符為“|”，指標按照第三節(jié)模板中定義的順序排列，一條記錄為一行。因為網(wǎng)管數(shù)據(jù)往往較大，為了提高傳輸速率及節(jié)省空間，建議將數(shù)據(jù)進行壓縮處理。

2.2 數(shù)據(jù)按接口規(guī)范導(dǎo)入數(shù)據(jù)庫

應(yīng)用程序定時將網(wǎng)管數(shù)據(jù)解壓縮，通過XML配置文件制定數(shù)據(jù)導(dǎo)入的規(guī)范，如下：

配置文件中規(guī)定了讀取字段位置及存入數(shù)據(jù)庫的字段名稱，同時check中制定了數(shù)據(jù)的驗證規(guī)則。如rang min=“0” max=“22”表示取值范圍為0—22，如果超出該范圍的數(shù)據(jù)則直接丟棄。

2.3 數(shù)據(jù)處理采用存儲過程

存儲過程（Stored Procedure）是在大型數(shù)據(jù)庫系統(tǒng)中，一組為了完成特定功能的SQL 語句集，經(jīng)編譯后存儲在數(shù)據(jù)庫中，用戶通過指定存儲過程的名字并給出參數(shù)來執(zhí)行它。他有如下優(yōu)點：

⑴提高數(shù)據(jù)庫執(zhí)行效率。使用SQL接口更新數(shù)據(jù)庫，如果更新復(fù)雜而頻繁，則需要頻繁得連接數(shù)據(jù)庫。

⑵提高安全性。存儲過程作為對象存儲在數(shù)據(jù)庫中，可以對其分配權(quán)限。

⑶可復(fù)用性。

3 數(shù)據(jù)存儲與查詢

網(wǎng)管數(shù)據(jù)往往是海量的，每一統(tǒng)計數(shù)據(jù)的一天數(shù)據(jù)都能輕易達到千萬級，因此在存儲過程中要重復(fù)利用數(shù)據(jù)的技術(shù)性能。在我們的實踐過程中主要應(yīng)用了oracle數(shù)據(jù)庫。下面簡單介紹我們主要采用的技術(shù)手段。

3.1 表分區(qū)

區(qū)致力于解決支持極大表和索引的關(guān)鍵問題。它采用他們分解成較小和易于管理的稱為分區(qū)的片（piece）的方法。一旦分區(qū)被定義，SQL語句就可以訪問的操作某一個分區(qū)而不是整個表，因而提高管理的效率。分區(qū)對于數(shù)據(jù)倉庫應(yīng)用程序非常有效，因為他們常常存儲和分析巨量的歷史數(shù)據(jù)。

⑴增強可用性：如果表的某個分區(qū)出現(xiàn)故障，表在其他分區(qū)的數(shù)據(jù)仍然可用；

⑵維護方便：如果表的某個分區(qū)出現(xiàn)故障，需要修復(fù)數(shù)據(jù)，只修復(fù)該分區(qū)即可；

⑶均衡I/O：可以把不同的分區(qū)映射到磁盤以平衡I/O，改善整個系統(tǒng)性能；

⑷改善查詢性能：對分區(qū)對象的查詢可以僅搜索自己關(guān)心的分區(qū)，提高檢索速度。

如我們可以按時間字段對導(dǎo)入數(shù)據(jù)進行分區(qū)，網(wǎng)管數(shù)據(jù)較大，一般一個月就需要一個分區(qū)。

3.2 索引技術(shù)

在關(guān)系數(shù)據(jù)庫中，索引是一種與表有關(guān)的數(shù)據(jù)庫結(jié)構(gòu)，它可以使對應(yīng)于表的SQL語句執(zhí)行得更快。但對于現(xiàn)在的各種大型數(shù)據(jù)庫來說，索引可以大大提高數(shù)據(jù)庫的性能。有兩種類型的分區(qū)索引，全局索引和本地索引，使用本地索引，不需要指定分區(qū)范圍因為索引對于表而言是本地的，當本地索引創(chuàng)建時，Oracle會自動為表中的每個分區(qū)創(chuàng)建獨立的索引分區(qū)。

3.3 物化視圖

物化視圖是包括一個查詢結(jié)果的數(shù)據(jù)庫對像，它是遠程數(shù)據(jù)的的本地副本，或者用來生成基于數(shù)據(jù)表求和的匯總表。物化視圖存儲基于遠程表的數(shù)據(jù)，也可以稱為快照。使用物化視圖可以實現(xiàn)視圖的所有功能，而物化視圖確不是在使用時才讀取，大大提高了讀取速度，特別適用抽取大數(shù)據(jù)量表某些信息以及數(shù)據(jù)鏈連接表使用。

4 數(shù)據(jù)挖掘

4.1 利用最小二乘法實現(xiàn)數(shù)據(jù)的一元線性回歸

最小二乘法可以用來處理一組數(shù)據(jù)，可以從一組測定的數(shù)據(jù)中尋求變量之間的依賴關(guān)系，這種函數(shù)關(guān)系稱為經(jīng)驗公式。能夠?qū)で髕與y之間近似成線性關(guān)系時的經(jīng)驗公式。假定實驗測得變量之間的n個數(shù)據(jù)（x1，y1），（x2，y2），…，（xn，yn），則在xОy平面上，可以得到n個點Pi（xi，yi）（i=1，2，…n），考慮函數(shù)y=ax+b，其中a和b是待定常數(shù)。如果Pi（i=1，2，…n）在一直線上，可以認為變量之間的關(guān)系為y=ax+b。但一般說來，這些點不可能在同一直線上。記Ei=yi-（axi+b），它反映了用直線y=ax+b來描述x=xi，y=yi時，計算值y與實際值yi產(chǎn)生的偏差。當然要求偏差越小越好， 但由于Ei可正可負，因此不能認為總偏差 時，函數(shù) 就很好地反映了變量之間的關(guān)系，因為此時每個偏差的絕對值可能很大。為了改進這一缺陷，就考慮用 來代替 。但是由于絕對值不易作解析運算，因此，進一步用 來度量總偏差。 因偏差的平方和最小可以保證每個偏差都不會很大。于是問題歸結(jié)為確定y=ax+b中的常數(shù)a和b，使 為最小。用這種方法確定系數(shù)a，b的方法稱為最小二乘法。

4.2 數(shù)據(jù)自動修正算法描述

首先選擇時間上最接近當前的14天的數(shù)據(jù)，加權(quán)平均為x，然后按照1.2x>X>0.8x的約束，進行篩選，這樣新建站、數(shù)據(jù)異常等影響就會被消除。預(yù)測使用修正后的數(shù)據(jù)進行計算。

4.3 本地網(wǎng)預(yù)測修正

在本地網(wǎng)總趨勢的基礎(chǔ)上，利用歷史同期的趨勢按照就高不就低的原則進行修正。

4.4 單小區(qū)預(yù)測修正

在小區(qū)預(yù)測的基礎(chǔ)上，利用本地網(wǎng)總趨勢進行修正。修正過程為小區(qū)預(yù)測話務(wù)量與本地網(wǎng)預(yù)測話務(wù)量已載頻數(shù)做加權(quán)平均。

5 技術(shù)架構(gòu)

5.1 多層分布式架構(gòu)方案

系統(tǒng)采用三層結(jié)構(gòu)，將不同模塊分別運行在不同的服務(wù)器上共同來精算系統(tǒng)的功能。每一種模塊還可以再拆分在不同的服務(wù)器上運行實現(xiàn)負載分擔，因此系統(tǒng)可以根據(jù)需要和用戶的使用模式進行定制。這種結(jié)構(gòu)具有比較大的靈活性。系統(tǒng)功能發(fā)生改變的時候，可以分模塊單獨部署，減少后期維護開發(fā)的工作量。

5.2 J2EE主流開發(fā)技術(shù)

表示層為整個系統(tǒng)提供外部展現(xiàn)，根據(jù)用戶的使用習(xí)慣定制程序的操作流程。提高用戶的使用感受。跨業(yè)界最廣泛的操作系統(tǒng)環(huán)境，提供全J2EE編程模式，包括IBM OS/400，LINUX，IBM AIX，Microsoft Windows，HP-UX及Sun Solaris操作環(huán)境支持。最新的J2EE開發(fā)框架，大量的實際開發(fā)案例。系統(tǒng)符合最新的Web 2.0規(guī)范，提高系統(tǒng)的相應(yīng)速度。通過簡單的應(yīng)用編譯和部署來最大限度降低管理要求。

[參考文獻]

[1]邱宏.數(shù)據(jù)倉庫技術(shù)在移動通信行業(yè)中的應(yīng)用[J].電信科學(xué).1999（12）：34-35.

[2]GSM移動網(wǎng)絡(luò)擴容精算方法.百度文庫.