基于大數據的信令監測系統的設計與實現

胡為艷，艾　民，周光彬，胥大川

(中國人民解放軍78088部隊，重慶400039)

?

基于大數據的信令監測系統的設計與實現

胡為艷，艾民，周光彬，胥大川

(中國人民解放軍78088部隊，重慶400039)

摘要:隨著計算機技術與通信技術的飛速發展，各種數據流量也隨之急劇增加，這給信令數據的采集、存儲、分析帶來了巨大挑戰。在傳統信令監測系統的基礎上結合大數據特征，設計了該信令監測系統建設方案，討論了該方案的關鍵技術和功能架構，詳細介紹了該方案在網絡優化、業務經營、網絡安全三方面的應用，為大數據時代下實現信令監測、提高網絡安全，提供了理論支撐和實踐基礎。

關鍵詞:大數據；信令監測系統；網絡優化；業務經營；網絡安全

隨著大數據時代的來臨，從電信運營商的角度，其面臨越來越大的數據存儲、處理和分析的壓力。從用戶的角度，層出不窮的業務，讓用戶越來越注重網絡性能的個人體驗[1]。在這樣的背景下，建立一套基于大數據的信令監測系統以滿足用戶需求、解決運營商難題已成為現階段電信運營商的迫切需求。

傳統的信令監測系統往往以基于網元層面的客觀評估方法對網絡進行優化和故障診斷，并沒有充分考慮網絡安全和用戶體驗[2]。然而，在大數據時代，從用戶的角度，海量數據中包含大量用戶敏感信息，確保這些信息的安全已受到用戶越來越多的關注；從電信運營商的角度，海量數據只是簡單存儲在服務器中，這些數據中隱含的價值沒有得到利用，通過對海量數據的挖掘分析不僅可以按照用戶不同需求實現差異化服務，也可以更精細的管理、經營業務。因此，建立一套基于大數據的信令監測系統對用戶和電信運營商都具有重要意義。

本文在傳統的信令監測系統的基礎上，重點研究了大數據的關鍵技術和數據分析挖掘的方法，設計了一套基于大數據的信令系統監測方案，并詳細介紹了該方案在網絡優化、業務經營、網絡安全3方面的應用。

1大數據在信令監測系統中的應用

1.1大數據環境下信令數據特征分析

相比于傳統的信令數據，由于通信技術的快速發展和數據流量的急劇增長，現網數據包含信令面和業務面數據以及錯綜復雜的用戶數據，從這些數據中挖掘出的信令數據對信令監測系統有著重要作用。現網信令數據具有大數據特征：

1)數據量巨大。存儲的數據量十分龐大，通信技術的快速發展和智能終端的普及，使得信令數據的數據規模從TB級別躍升到PB級別甚至更大，因而對其分析的計算量也大。

2)數據類型多。數據類型非常復雜，不僅僅包括大量的像文本這種結構化和半結構化數據，還包括圖片、音頻、視頻以及地理位置信息等非結構化的數據。

3)價值密度低。對數據的處理挖掘存在潛在的價值，但是大量復雜的不相關數據會導致價值密度低。

4)處理速度快。數據的增長速度快，那么處理速度也要快。處理速度越快，實時性越高，其價值就越大，發揮的效能也就越大，這是大數據區分于傳統數據挖掘的本質區別[3]。

1.2大數據處理在信令監測系統中的應用

由于現網信令數據的大數據特征，不能運用傳統的信令監測系統對其進行分析。面對大數據，傳統的信令監測系統存在以下幾個方面的問題[4]：

1)網絡的運行質量在很大程度受數據量的影響，現網數據不僅包括結構化數據，還包括非結構化數據，傳統的信令監測系統只適合于分析結構化數據，而不能分析視頻數據等非結構化的數據。

2)由于網絡鏈路和數據流量的飛速增長，傳統的信令監測系統在海量數據的高效率讀寫、高并發讀寫、可擴展性等方面存在缺陷，無法滿足海量數據在計算和存儲等方面的需求。

3)現網大數據要求信令監測系統能夠滿足大規模數據挖掘、實時反饋分析結果、實時觸點營銷等需求，但是傳統的信令監測系統因其垂直化的架構設計使得建設成本高，而且服務的響應時間長，難以滿足大數據對信令監測系統的要求。

針對上述問題，本文提出的基于大數據平臺的信令監測系統，實現了對多樣化數據結構、海量信令數據的分析、挖掘和存儲，具有建設成本低廉、數據實時處理高效、系統配置靈活、系統擴容平滑等顯著優勢。信令監測系統的大數據關鍵技術[5-7]主要包括并行計算、分布式數據庫、分布式文件系統和云存儲等。

1.2.1并行計算

并行計算是指利用多種計算資源來協同解決同一個計算問題的一種計算手段，能夠有效地提高整個系統的處理能力和計算速率。其基本思想是將同一計算問題分配到若干個處理機同時進行計算，即將需要求解的計算任務分解成若干個子任務，各個子任務都由一個獨立的處理機來完成并行計算。并行計算系統既可以是含有多個處理機的計算機，也可以是若干個通過某種方式相互連接的計算機集群。

1.2.2分布式數據庫

分布式數據庫系統一般使用較小的計算機系統，采用分布式架構對海量數據進行存取，并通過集中服務器對資源進行管理或調度。其基本思想是將原來集中式數據庫中的數據分散地存儲到多個網絡互連的數據存儲節點上，從而獲取更大的存儲容量和更高的并發訪問量。由于關系型數據庫在處理海量數據時存在一些很難克服的缺點，使得可擴展性和并發性高的非關系型數據庫得到快速發展，傳統的關系型數據庫開始從集中式模型向分布式架構擴展。

1.2.3分布式文件系統

分布式文件系統是指資源存儲在分布于各處且與網絡互連的節點上，而不是一定連接在本地節點上的文件系統。其基本思想是通過網絡互連的方式將各個節點的存儲資源整合在一起，在提供大規模的文件存儲能力的同時，還能降低高端服務器的使用成本。分布式文件系統通常采用C/S(客戶端/服務器)的設計模式，將數據存放在一個可供多用戶訪問的服務器集群上。當用戶訪問分布式文件系統時，首先需要定位用戶所需存取數據在集中服務器存放的節點，定位成功之后，分布式數據存取就與傳統文件系統下普通的資源存取方式一致。

1.2.4云存儲

云存儲是指將存儲資源放到云上供用戶隨時隨地通過任何可連網設備存取的網絡存儲系統。其基本思想是利用網絡技術、集群應用或分布式文件系統等技術，將網絡中大量的類型各異的存儲設備通過軟件集合起來協同工作，實現數據存儲功能和數據訪問功能[8]。

2基于大數據的信令監測系統設計

在傳統信令監測系統的基礎上，基于大數據的信令監測系統如圖1所示，整個系統采用集群架構和分層分布式的數據處理模式[9]。

2.1數據采集層

數據采集層主要功能是通過一個或者多個采集點的信令采集設備采集通信網的信令數據與業務數據，如GB接口、IUPS接口等接口的數據，并把這些接口的數據進行整合，即把數據進行過濾、復制、整合處理，實現數據的統一存儲。信令采集點的位置一般設在信令轉接點、長途局等信令鏈路比較集中的地方[10]。

2.2數據處理層

數據處理層主要功能是完成對采集層采集到的信令數據進行處理，包括協議解析、數據轉換、批量計算等。該層根據功能可分為以下兩大模塊。

2.2.1信令預處理

該模塊主要功能是把采集設備采集到的二進制數據流進行預處理，如接口適配、協議解析等，轉化成用具有邏輯意義的數據結構并能提供給計算平臺的調用。首先，整合后的數據經過接口適配，根據需求的不同選擇相應的協議解析方案。協議解析分為兩種：一種為只提取消息中的部分關鍵字段信息，跳過其他字段信息的簡單解碼；另一種為對信令數據或者業務數據整條消息的所有信息都進行解析并對某些關鍵字段生成解析說明的詳細解碼[11]。其中詳細解碼的流程如圖2所示。

經過解碼后，需要把同屬一個CDR流程的消息進行關聯匹配并合成[12]。合成流程如圖3所示。

2.2.2分布式計算平臺

經過預處理之后得到原始CDR文件，根據不同的需求經過數據分流分發到各個分布計算流程進行處理。若需要對現網數據進行流量統計、呼損分析、話務統計等實時處理，則選擇實時數據流處理流程；若分析用戶的群體構成及其偏好或者高精確度與高效率的大數據量處理任務，可以分流到批量式計算處理流程，并把相關數據存入分布式數據庫，以供應用層各種業務需求調用[13]。

在批量式計算處理流程中，用戶偏好等分析需要對用戶使用的業務進行識別，故該流程采用了DPI技術進行業務識別。DPI業務識別流程如圖4所示，具體流程如下：

1)讀取DPI業務特征庫，生成DPI數據字典；

2)讀取數據文件，逐條地提取業務數據中的HOST，URL，Refer等字段信息；

3)根據HOST信息，通過DPI數據字典查找相關特征，并與URL、Refer等字段進行比對，若URL等信息與特征相匹配，則識別成功，并把業務信息與HOST等字段進行關聯；否則業務信息為空。然后再進行下一條數據識別；

4)把識別的結果錄入數據庫[14-15]。

2.3應用層

應用層主要功能是把數據處理層處理得到的數據進行歸納、分析，按照不同的專題應用進行統計，如呼損分析、TOP業務統計、網絡優化等。對于各種應用的結果，可選用柱狀圖、表格、折線圖、餅狀圖等不同形式進行展示。

3基于大數據的信令監測系統應用分析

信令監測系統的大數據解決方案，實現了對海量數據的并行處理和深度挖掘，相對于傳統的信令監測系統，在網絡優化、業務經營、網絡安全等方面具有顯著的優勢。

3.1網絡優化

基于大數據的網絡優化應用通過信令采集模塊采集原始信令數據，并利用大數據平臺的處理能力對移動網絡各項KPI進行統計挖掘，從而找到影響網絡質量的原因。由于我國各地區通信服務水平的差異，三大運營商需要綜合協調發展不同的網絡類型，如2G、3G、LTE等網絡，各類型網絡的統計KPI多達百余項，基于大數據的信令監測系統可以對網絡問題進行高效處理和實時定位。

以某部專用網(SS7信令系統)中的實測數據作為數據來源，對專用網絡下的ISUP呼叫接通率進行統計，統計結果如圖5所示。

由圖5第一行可得到源信令點和目的信令點之間的呼叫接通率為98.29%，呼叫應答率為74.36%，通信狀態良好。

以重慶移動某地區公用網絡中采集的數據作為數據來源，對該地區公網網絡下的附著成功率和路由區更新成功率進行統計，統計結果如圖6、圖7所示。

從圖6和圖7可以得到該地區附著成功率只有40%，路由區更新成功率為90%，網絡通信質量較差。

3.2業務經營

隨著OTT應用的爆發式發展，從電信運營商的角度，三大運營面臨越來越大的管道壓力，并逐步從語音業務轉向流量經營。基于大數據的信令監測系統通過對用戶海量業務數據的挖掘統計，可以實現用戶偏好分析、業務TOP分析、用戶流量分析以及夜間高流量用戶等分析。通過以上分析，不僅可以提高用戶體驗，還可以實現業務的精細化經營和用戶的差異化服務。

圖8展示了在客戶端頁面中查詢出的2015年1月視頻用戶對3G門戶-NBA直播中心的偏好程度分析情況。

從圖8中可以看出，通過對當月視頻用戶使用時長、使用流量和訪問次數3個指標的統計分析后可知：行號為1，IMSI為“460026083440797”的用戶被劃分為強偏好用戶；行號為6，IMSI為“460025083291428”的用戶被劃分為發燒用戶。

圖9展示了2015年1月—3月根據用戶量統計出的電視劇Top10，從圖中可以看出，用戶量排名前三的都是網絡熱播劇。

3.3網絡安全

隨著業務綜合化、開放化和網絡融合化的發展，專用網絡的安全脆弱性日益顯露出來，傳統的信令監測系統主要是實現網絡優化和故障診斷，在網絡安全防護方面相對比較薄弱。基于大數據的信令監測系統通過對各類攻擊方式的深度挖掘，能夠有效地對攻擊行為進行識別，并制定相應的防護方案，從而達到保護網絡安全的目的。

3.3.1騷擾電話攔截

騷擾電話是指攻擊者通過合法用戶接入，利用電話網資源，騷擾和欺騙合法用戶，常見的騷擾電話形式有以下3種：

1)被叫用戶聽到電話振鈴，用戶電話振鈴卻無法正常通話；

2)被叫用戶聽到電話振鈴，主叫號碼顯示為空號或是公共服務號碼；

3)用戶聽到電話振鈴，接通之后轉至一段錄音。

基于大數據的信令監測系統通過對各類攻擊行為的深度挖掘，分析出騷擾電話具有以下攻擊特征：

1)振鈴時長短；

2)超頻呼叫；

3)主叫占比門限高，號碼作為主叫呼出的次數占所有呼入呼出次數比例高；

4)用戶通常無法正常接聽；

5)不產生話單記錄。

根據以上騷擾電話的特征，基于大數據的信令監測系統網絡安全防護方案如圖10所示。

信令消息采集：從鏈路數據包中過濾出需要處理的信令消息。

呼叫狀態恢復：對采集到的信令消息進行解碼合成，從中得到每一條呼叫的用戶序號、開始時間、結束時間、主被叫號碼、接通時長、應答時長、通話時長等表征用戶通話過程的行為參數，并為每條呼叫建立記錄以供分析。

分析檢測：對騷擾電話進行檢測，若判斷為騷擾電話，則通知系統進行攔截，并保存該號碼至騷擾電話黑名單。

行為數據挖掘：將該條呼叫記錄與數據庫中的海量數據進行深度挖掘分析，如該呼叫主叫占比門限高達90%，則判斷該條呼叫的號碼為騷擾電話。

識別特征庫設置：自動或人為調整分析檢測環節中所設置的各種判決門限。

騷擾電話攔截：對騷擾電話進行攔截，并以短信形式預警被叫用戶。

以某部隊專用網(SS7信令系統)中的實測數據作為數據來源，對號碼的接通時長、應答時長等指標統計分析如圖11所示。

通過以上統計，基于大數據的信令監測系統可以對專網網絡下的各個號碼進行全面監控，結合騷擾電話攔截系統，可以全面防范并處理騷擾電話的攻擊。

3.3.2虛假主叫號碼識別

虛假主叫主要是通過改變主叫號碼來實施欺騙或欺詐，基于大數據的信令監測系統可以通過在匯接層獲取主叫號碼的海量信令數據，然后通過大數據處理技術與現網識別規則庫進行對比，從而最終判斷來話路由是否正常。

以某專用網為例，整個虛假主叫號碼識別步驟如下：

1)建立全網所有交換局下各用戶號碼與該信令點編碼或IP地址之間的對應關系，形成識別規則庫；

2)獲取主叫號碼和發送呼叫信令的交換局源信令點編碼以及IP地址；

3)將提取的關系與識別規則庫進行對比；

4)若識別為虛假號碼則對用戶進行預警。

整個識別流程示意圖如圖12所示。

以某部隊專用網(SS7信令系統)中的實測數據作為數據來源，通過PL/SQL程序在監測系統數據庫中查詢到5月15日的虛假號碼識別結果如圖13所示。

從圖13中可以看到，5月15日共查詢到兩個虛假號碼，分別是“0603969774”和“0701014331340”。

4結束語

未來移動通信將迎來大數據時代，如何快速、高效地實現海量數據的處理與挖掘將成為未來建設信令監測系統的研究重點。基于此，本文提出了一套信令監測系統建設方案，該方案基于大數據分析，詳細分析了該方案的業務需求和功能架構，重點介紹了該方案在網絡優化、業務經營、網絡安全三方面應用，驗證了其合理性及可行性，為大數據時代背景下信令監測系統的建設提供了重要的理論支撐和實踐基礎。

參考文獻：

[1]張海峰，張杰.TD-LTE數據業務發展趨勢[J].互聯網天地，2013(4)：12-14.

[2]楊豐瑞，吳在學.電信企業服務質量感知的評價指標體系和方法[J].北京郵電大學學報(社會科學版)，2012，14(5)：53-57.

[3]劉智慧，張泉靈.大數據技術研究綜述[J].浙江大學學報(工學版)，2014，48(6)：957-972.

[4]茍小龍.信令監測系統迎接大數據時代的到來[J].通信世界，2013(20)：52-52.

[5]王秀磊，劉鵬.大數據關鍵技術[J].中興通訊技術，2013，19(4)：17-21.

[6]TEKINER F，KEANE J A. Big data framework. systems，man，and cybernetics(SMC)[C]//Proc. 2013 IEEE International Conference on Manchester.[S.l.]：IEEE Press，2013：1494-1499.

[7]LIU Z Y，YANG P，ZHANG L X. A sketch of big data technologies[C]// 2013 Seventh International Conference on Internet Computing for Engineering and Science (ICICSE).Shanghai：IEEE Press，2013：26-29.

[8]梁軍，謝文君.云存儲技術的研究[J].信息系統工程，2013(9)：76-77.

[9]湯雅妃，魏進武，張云勇.基于大數據的信令監測系統研究[J].郵電設計技術，2014(7)：47-52.

[10]于振濤.七號信令監測系統的設計與實現[D].哈爾濱：哈爾濱工程大學，2015.

[11]肖寅東，王厚軍，田書林.高速網絡入侵檢測系統中包頭解析方法[J].儀器儀表學報，2012(6)：1414-1419.

[12]冉滴，張治中.基于LTE網絡GTPV2協議的CDR合成方案研究與實現[J].計算機光盤軟件與應用，2014(23)：291-292.

[13]DEANJ，GHEMAWATS.Mapreduce：simplifieddata

processingonlargeclusters[C]//Proc.OperatingSystemDesignandImplementation.USENIXAssociationBarkeley,CA,USA:ACMPress, 2008:10.

[14]YANGCS，LIAOMY，LUOMY，etal.AnetworkmanagementsystembasedonDPI[C]//Proc. 2010 13thInternationalConferenceonNetwork-BasedInformationSystems(NBiS).NewYork，USA：IEEEPress，2010：385-388.

[15]鄧炳光，石志廣，張治中.LTE網絡S1接口用戶行為分析系統的設計與實現[J].電視技術，2015，39(9)：84-87.

責任編輯：許盈

Design and implementation of big data based signaling monitoring system

HU Weiyan,AI Min,ZHOU Guangbin，XU Dachuan

(ArmyUnit78088，ChinesePeople’sLiberationArmy,Chongqing400039,China)

Key words:big data; signaling monitoring system; network optimization; business operation; network security

Abstract:With the rapid development of computer and communication technology, all kinds of flow data are increasing sharply, which brings great challenges to the signaling data collection, storage and analysis processing. On the basis of traditional signaling monitoring system and the big data features, a construction schema of signaling monitoring system is proposed, the key technologies and functional architecture of the schema are discussed, and the application in network optimization, business operation and network security are introduced. An important theoretical support and practical basis are provided to the realization of signaling monitoring and network security.

中圖分類號：TN929.5；TP391

文獻標志碼：A

DOI：10.16280/j.videoe.2016.01.019

收稿日期：2015-08-03

文獻引用格式：胡為艷，艾民，周光彬，等.基于大數據的信令監測系統的設計與實現[J].電視技術，2016，40(1)：95-101.

ZHANG W Y,AI M,ZHOU G B,et al.Design of low-cost optical network unit with four 100 Mbit/s ethernet port[J].Video engineering，2016，40(1)：95-101.