李普森 張喆 聶曉宇
摘 要:目前利用短信詐騙的行為很多,特別以短信發射機、偽基站的方式實施詐騙的技術手段非常先進,可以利用設備的便攜特性在人員密集的商場、休閑場所進行流動性的短信發送,很難做到檢測、排查和迅速發現。本項目計劃采用交換機上的實時失敗觀察的手段來檢測偽基站的短信發送情況,利用合適的數據庫軟件對收集的數據進行統計分析,可以及時的發現區域的異常通信行為,確定問題出現區域,縮小監控的范圍,進而更容易的找到惡意短信發送的人員,從而減小短信詐騙行為。
關鍵詞:失敗觀察;數據采集;信息提取;數據分析
中興WCDMA核心網交換SERVER上所帶的失敗觀察,主要是用來監控在本交換機下的用戶正常或非正常的通話釋放。這里說所得正常情況可以是用戶白發的在撥叫后的掛斷的用戶自身行為,也可以是異地用戶因為欠費停機而造成漫游限制等正常情況,不正常情況包括位置更新失敗,MM位置更新本端失敗,以及 MSCA局內切換失敗等等情況。
因為影響交換的指標就是由這些失敗造成的,所以對這些失敗的觀察和分析有利于發現問題,通過收集失敗觀察的信息,對各種引起不正常的情況進行分析,發現問題的規律,找到問題的根源,可以為下一步解決問題打下堅實的基礎。中興失敗觀察里,提供了很多失敗觀察的選項,包括語音呼叫,短信收發及上網等常用的業務。
短信收發作為失敗觀察的其中一項,可以單獨進行觀察和信息的采集。因為這里主要利用失敗觀察這一手段檢測偽基站的短信發送情況,對短信詐騙行為進行監控,所以這里在失敗觀察里只選擇短信收發這一個選項,這樣可以提高分析的效率,如果有其他分析指標的需要,可以根據要求來選擇相應的失敗觀察選項。
1.利用失敗觀察檢測偽基站的具體應用
1.1 數據采集與預分析
這里對本文失敗觀察所進行的數據采集與預分析進行說明,本項目首先通過中興的4G交換機,設置失敗觀察為短信(SMS)選項,然后進行相關數據的采集與預分析。為了更好的分析失敗觀察的數據對檢測偽基站的短信發送情況的影響,盡量排除因為短期收集數據,收集數據量不足等問題對本項目所帶來的負面影響,收集數據的相關時間段選為上午忙時09:00至11:00(共計2個小時)以及下午忙時17:00至18:00(共計1個小時),連續收集天數設置為1周,其目的是為了分析數據的全面性和可靠性。然后在交換機上點擊開始,后臺收集數據,因為中興軟交換上,存放失敗觀察文件的系統文件夾的容量只有200M,當超過這個容量時,就會覆蓋掉前期觀察所存放的文件,為了避免覆蓋,所以每天固定時間導出收集的數據,這樣可以有實際的預分析數據模板,為后面的實時數據分析打下基礎。
1.2 基于失敗觀察數據的軟件分析系統
在收集到失敗觀察數據之后,需要利用數據庫軟件進行數據導出并將對檢測偽基站的短信發送情況有用的信息分離出來,然后對這些信息進行統計分析,具體的工作步驟如下:將每天導出的交換機失敗觀察數據轉成txt文本格式,用數據庫軟件分析導出數據,分離出用戶MSISDN,IMSI,基站CellID,失敗根源原因等相關數據,并對用戶號碼和基站等進行匹配,然后對失敗根源原因進行統計。
這里對短消息主叫失敗根源進行分析,總結出失敗的原因主要有以下五種:
(1)mOperatorBarred_M
當用戶由于欠費、漫游禁止等原因,導致簽約的運營商閉鎖置位,產生此類呼損。在“失敗觀察”中提取“mOperatorBarred_M ”的呼損,并進行信令跟蹤。可以看到:MSC側向無線發送的CP-DATA 消息中,Cause Value為 Operatordetermined barring。
(2)短消息中心擁塞
用戶做短消息主叫時,短消息中心發生擁塞導致報此呼損。在 “失敗觀察”中提取“短消息中心擁塞”的呼損,并進行信令跟蹤。可以看到:短消息中心回復了MAP Error,包含內容失敗碼為sc-Congestion,MSC側根據此原因報短消息中心擁塞的呼損。
(3)非法的短消息號碼格式
由于短消息中心設置錯誤,造成此類呼損。在“失敗觀察”中提取“非法的短消息號碼格式”的呼損,并進行信令跟蹤。可以看到:CP-DATA 消息里短消息中心的號碼設置格式不是正確的短消息中心號碼格式。
(4)用戶為非短消息中心用戶
短消息中心沒有對應用戶的數據,當用戶進行短消息主叫時,產生此類呼損。在“失敗觀察”中提取“用戶為非短消息中心用戶”的呼損,并進行信令跟蹤。可以看到:MSC 側與短消息中心交互時,短消息中心回復MAP Error,其中包含了subscriberNotSC-Subscriber的failure code。
(5)遠端節點不可及
用戶做短消息主叫,由于短消息中心設置錯誤,造成此類呼損。在“失敗觀察”中提取“遠端節點不可及”的呼損,并進行信令跟蹤。可以看到:無線向M SC 側發送CP-DATA,MSC側回復CP-DATA消息里CAUSEVALUE為Temporary failure。從第一條CP-DATA消息里發現短消息中心的號碼設置為8613800,不是正確的短消息中心號碼格式。在呼損為“非法的短消息號碼格式”中,短消息號碼格式為非86開頭的錯誤短消息中心地址,兩種呼損的本質是一樣的,都是設置錯誤。
在收集到數據之后主要進行的是數據的提取分析,而要完成數據的提取分析這一步首先需要選擇合適的數據庫分析軟件,通過收集的數據發現,無論使用MySQL,還是使用SQLite都無法實現相關數據提取,即便是添加SQL的編程功能,問題依然無法解決,而且在提取過程中還經常遇到數據庫軟件假死崩潰的現象,幾乎無法正常使用。經分析之后發現問題出現的主要原因在于分析的數據量很大,超過百萬條,解決這一問題的關鍵在于數據的處理速度。
針對這一問題,首先懷疑是內存容量問題,這可以在項目進行時,對主機進行內存升級,添加內存到32G后,進行相關測試,觀察是否能提升數據的處理速度,以及避免數據庫軟件崩潰現象。
另外因為收集的失敗觀察數據每次到一定大小,就會自動截止,然后又生成新的數據,在忙時生成的數據較多,分割的文件也較多。將這些原始的文件導出后,轉化成txt文件時,步驟較多需要人的過程干預,而作為一種自動化的分析軟件,應該盡量將所有到的過程都盡可能的避免人的干預,要能做到會自識別文件,完成解壓導入處理數據的過程,對出現問題的焦點問題,可以在系統內關聯適合人讀取的信息,將16進制的機器語言轉化成英文或漢語,方便人們讀取查詢,形成一個完全自動化的系統,所以在分析數據系統設計時,也考慮到能自動的識別txt文件,導入系統中進行數據格式的轉換和處理,并有進一步分析的能力,可以提取出有價值的信息,比如相關的基站號、基站對應名稱、所在位置及對應手機號用戶信息等,提高系統的易用性,并且具備問題直接呈現和處理建議推薦功能。
1.3 匯總、形成模板并實時分析數據
在進行數據的統計分析之后,根據上面的分析結果,可以在前臺用戶管理系統及后臺移動用戶管理數據庫HSS中查詢失敗觀察用戶的情況,包括用戶的身份信息、住址、發生問題的基站、失敗發生的次數統計等等相關統計信息并針對出現大量失敗觀察的小區進行排查,對集中出現的失敗原因進行分析,查找出相關問題發生原因。
在形成模板的基礎上,可以對分析出的問題區域進行持續的監控,這時需要在10幾分鐘內對百萬以上的失敗觀察數據進行迅速分析,只有這樣才可以在分析完成數據后,迅速的追蹤問題區域,協助警方進行跟蹤查詢嫌疑偽基站,本項目研發的系統才有意義。
另外,進行數據分析不是目的,系統最關注的是分析結果,需要在提取數據后,使用效率高的數據庫軟件在數據提取上體現優勢,而且要降低工作量,并支持對要分析的數據進行深入分析,在整個流程環中進行數據采集、提取分類、關聯信息查詢、情景分析,最終發現問題并提供處理建議,體現整個系統的完整性和智能性。
根據失敗觀察數據特性(數據量大,達到百萬級),本項目計劃采用數據庫的索引方式,進行數據的迅速匹配查詢,然后再刪除索引的方式來優化數據查詢過程,并保持數據格式范圍,完成數據完整性和提高效率的雙重提升。
2.實驗和驗證
在形成模板過程中,短期的數據采集無法發現問題,收集的忙時數據要持續好幾天,所以要分析的數據量很大,要優選數據庫的分析軟件。對比MySQL、Access、SQL Server、SQLite等數據庫軟件后,要選取符合本項目處理百萬以上數據的效率要求,才能作為數據分析的主要軟件,計劃通過詳細對比試驗來選擇軟件。
由于時間原因,這里先利用了數據庫效率測試軟件對三種候選的數據庫軟件進行了初步的Insert和Select測試,在之后會進行更加詳細的對比試驗來進行測試。
測試結果:經過查詢相關資料,首先排除了速度最慢的Access數據庫,而SQL Server 和 MySql性能相差不大,但是SQL Server是需要付費的,Sqlite由于其屬于輕量型數據庫,所以數據多大幾萬條時明顯過慢,所以比較之下,Mysql可能是最合適的數據庫軟件。
通過對比選擇的數據庫,測試其索引查詢速度情況,計算大量數據的在查詢提取過程的具體時間,選擇索引查詢速度最快的數據庫分析軟件,從項目準備前期的情況看,無論哪種數據庫在經過索引查詢后,速度都比直接的逐條查詢速度快了不止一個等級,所以這種大數據提取加速設想是切實可行的。
3.結語
本文針對目前盛行的短信詐騙現象提出了一種基于交換機失敗觀察的短信詐騙監控系統的研究思路與設想,并對其技術方案的可行性與有效性進行了論述,其核心思想是利用中興交換機的失敗觀察選項,通過對收集的大量數據進行統計分析,對失敗根源進行分析,然后找到最有可能的問題區域進行排查,從而減少短信詐騙行為,其主要的分析手段是利用數據庫軟件進行數據信息的提取和分析,這方面的主要工作是尋找到能處理百萬級數據的數據庫軟件以及合適的大數據處理方案,現階段是利用數據庫的索引查詢技術來實現大數據的提取加速。本文為解決短信詐騙提供了一種切實可行的實現方案,而且這對核心網的穩定和優化有一定的借鑒意義。
參考文獻:
[1]王巖, 胡承忠. 失敗觀察在位置更新成功率分析中的應用[J]. 中國新通信, 2014(24):49-50.
[2]胡喜梅.核心網短信業務失敗原因分析[J].科技風,2015(10):124.
[3]李志斌. 無線網絡核心網優化研究[D].北京郵電大學,2012.
[4]羅淡貞.淺析移動核心網的網絡優化要點[J].中國新通信,2017,19(10):15-16.
[5]李鍇.移動通信核心網優化探討[J].中國新通信,2017,19(09):8.
[6]董磊.移動通信核心網優化探討[J].通訊世界,2017(05):71-72.
[7]吳靜源.移動核心網的優化方法研究[J].通訊世界,2016(19):22-23.
[8]胡喜梅.切換業務呼損場景分析[J].電腦與電信,2016(03):52-53.
[9]張曉蘭.移動通信核心網優化研究[J].新技術新工藝,2015(12):119-121.
[10]張章炳.移動通信核心網工程的規劃設計[J].電信快報,2015(08):38-41.
[11]李興. 基于MSC POOL的長沙聯通核心網設計與實施[D].南京郵電大學,2015.
[12]丁中華.移動核心網交換側網絡優化方案設計[J].通信電源技術,2015,32(01):108-110.
[13]熊偉. 基于核心網數據挖掘的移動通信用戶行為分析及應用[D].北京郵電大學,2014.
[14]陳昕. 基于信令分析的移動網絡業務質量評估方法的研究[D].北京郵電大學,2015.
[15]莊波,劉博.利用核心化模塊優化局間3G切換[J].科技信息,2014(10):137-138+167.
[16]劉曉燕. 山東聯通移動核心網網絡優化方案設計[D].山東大學,2013.
[17]馮萬里.移動核心網優化的要點及方法探討[J].科技創新導報,2011(27):60.
支持項目:國家級大學生創新創業訓練計劃項目,項目編號:201710453166.