大數據在聯通互聯網維護中的應用探討

劉志金

摘要：本文針對大數據在聯通互聯網維護中的應用展開研究分析，采取針對性的服務措施，提高大數據在聯通互聯網維護中應用的有效性，為用戶提供高質量的網絡服務，為聯通的持續穩定發展打下良好的基礎。

關鍵詞：大數據；聯通；互聯網

中圖分類號：TP393.06 文獻標識碼：A 文章編號：1007-9416（2018）02-0039-01

大數據時代，存在海量的數據信息，企業數據處理效率直接關系到企業的生存和發展。百度、京東等互聯網企業針對用戶進行了大量大數據方面的研究，以此為基礎，不斷更新自身的搜索、支付、購物以及游戲等方面的業務，不斷為用戶營造新的體驗。電信運營企業在從以往的電信網絡運營商向著信息運營商發展的過程中，通過大數據方式實現對用戶數據的共享、分析和挖掘，已經成為當前全球電信運營商發展的一種共識。聯通作為其中重要的一員，其自身互聯網用戶數量越來越多，寬帶業務類型逐漸豐富，當前企業支撐系統中包含有大量的數據信息，比如DNS業務數據客戶AAA認證等，因此必須要做好大數據在聯通互聯網維護中的應用，本文就此展開了研究分析。

1 研究背景

互聯網時代，大數據已經成為人們研究和應用的熱點，比如搜索引擎的設計和開發方面，從海量數據中迅速找到所需要的數據信息有著非常大的難度，利用大數據分析技術，能夠借助智能化模型，通過貝葉斯理論等大數據分析方式，對所需要瀏覽的信息快速定位。當前大數據技術在金融證券、電子商務、智能制造等方面有著非常廣泛的應用，應用在聯通互聯網維護中，同樣有著非常好的應用價值和效果[1]。

1.1 DNS系統和AAAA系統數據現狀

（1）DNS系統數據現狀。對某地區聯通DNS服務器用戶DNS服務器請求QPS分析發現，平均數1.4萬條，結合當前DNS節點進行臺內DNS服務器估算，每月約所沉積服務請求歷史數據大約有290億條。（2）AAA系統數據現狀。在AAA系統日志中，有大量沉積數據，選擇其中“用戶登錄記錄數”項查詢，單月“用戶登錄記錄”系統日志條目有6437萬條，結合AAA系統日志請求屬性記錄估算，每月沉淀的相關服務日志數據高達50億條。

分析某地連通現有AAA系統以及DNS系統所沉淀服務日志信息分析發現，在系統內存方面的日志條數單位達到“億條”，使用原始分析方法，利用數據庫進行數據的分析，會大量占用系統計算資源。另外，在網服狀態下分析服務器數據庫，非常容易導致整個服務器崩潰。必須要將大數據分析方式引入實際的數據分析中，提高數據分析有效性[2]。

1.2 Hadoop系統原理

Hadoop系統包含有兩個主要組成部分，分別是分布式文件系統（HDFS）和Map Reduce處理模型。與傳統RDBMS處理模型相比，Map Reduce處理模型有著以下幾個方面的優勢：

（1）處理數據大。傳統RDBMS處理數據單位為GB級，Map Reduce處理數據單位可以達到TB/PB級；（2）在訪問形式方面。傳統RDBMS為交互式和腳本，Map Reduce為批處理腳本；第（3）在數據更新頻率方面。Map Reduce低于傳統RDBMS；（4）在數據結構模式方面。傳統RDBMS為靜態模式，Map Reduce為動態模式；（5）在數據完整性方面。傳統RDBMS對數據完整性有非常高的要求，Map Reduce對數據完整性的要求則相對較低；（6）在橫向擴展能力方面。Map Reduce橫向擴展能力高，傳統RDBMS橫向擴展能力低。也就是說，與傳統的關系數據庫系統相比，在大數據分析方面，Map Reduce的應用效果更好。另外，Map Reduce在半結構化數據方面有著非常強的處理能力，更加方便處理服務器所產生的日志記錄。HDFS在數據處理方面選擇分布式計算方法，對一個任務分割，借助調度方法將任務分布到多臺實體主機，展開計算，結果匯總后再計算，最后輸出結果。

2 使用大數據方式分析DNS系統和AAA系統日志

2.1 利用大數據分析DNS的query日志數據

DNS日志記錄中包含有請求日期、請求時間、請求用戶IP、請求url地質、請求記錄類型等方面信息，其中請求時間、用戶IP、URL地址為有用信息。針對query日志數據中IP地址，選擇hadoop系統分析，發現前20位發現正常情況下單個IP在日志塊QPS在1000內，當日志塊中單個IP的QPS與正常值之間存在有過大差異時，則表明DNS系統包含有異常請求，借助統計分析方式，能夠及時找到異常請求。進一步分析URL，能夠判斷出該用戶IP是否屬于惡意。當判斷結果為惡意請求時，借助黑白名單限制方式拒絕再次接受該IP請求，使DNS系統安全性和穩定性得到保證[3]。

通過Hadoop系統分析Query日志url請求數據，可以建立一個專門的模型，針對日常訪問較多網站解析，建立日常URL請求分析比對機制，提高DNS在異常請求方面自動監控和過濾有效性。Hadoop系統本身有著非常好的擴展性，能夠以此為基礎構建實時監控過濾系統，過濾異常URL請求，使DNS服務器處理效率得到顯著地提高，降低DNS在用戶請求方面的延時速度，使用戶有一個更好的網絡體驗。

2.2 利用大數據分析AAA系統“用戶登錄記錄”日志記錄

AAA系統中“用戶登錄記錄”有兩個日志文件，通過對日志文件的分析可以獲取當前在線用戶的IP地址信息、地理位置、用戶名、上線時間、下線時間等。分析每日寬帶使用用戶數，可以判斷出平均在