基于Hadoop技術的電信大數據平臺設計

文/王成 閆紅

隨著經濟的快速發展與進步，我國已經進入了高度信息化的全新時代，人們生活和生產工作已完全依附于網絡通信的支撐。在生活和工作中可以發現，移動信息網絡的最大的優勢能夠將海量的信息資源整合到一起，并且進行整理和儲存，再將處理后的信息數據發送到各個所需要的服務用戶，基于此，網絡可以成為獲取大眾消費傾向以及情況的有力依據，這也就需要強大的信息技術作為支持。

1 Hadoop平臺技術框架評價

目前，由于我國網絡使用者的數量飛速增長，這也為各大網絡平臺的信息處理方面帶來了巨大壓力，并且這也是一項巨大的挑戰。針對這些信息處理問題，云計算技術也就成為了一個良好的信息處理平臺，能夠為眾多網絡平臺分憂解難，做到對各大信息數據的有效處理以及高效率的分析。Hadoop Distributed File System（Hadoop）作為眾多信息技術的主要支撐技術，具有高容錯性、高吞吐量和高運算能力等特點，目前已經在電信大數據的處理分析中得到了廣泛的應用，并且達到了理想中的作業效果。基于此，電信在數據處理這方面將會獲得很大的進步空間。除此之外，目前在移動通信這方面已經達到了高度飽和的狀態，這也為在Hadoop技術支持之下的電信大數據提供了很大的發展空間。

Hadoop平臺技術的框架主要分為兩個部分，分別是并行的計算框架以及該平臺技術的分布式文件系統。并行的計算機框架可以理解為一個用來編寫處理以及并行分布數據的一種框架。目前為止，大家所熟悉的分布式文件系統之一就是NFS，但是在Hadoop平臺技術中所應用的分布式文件系統為HDFS，與NFS分布式文件系統相比，由于這種分布式文件系統具有單一的節點設計，也正因此，HDFS分布式文件系統能夠有效的縮小文件系統的結構。

2 基于Hadoop平臺技術的電信大數據平臺設計思路

Hadoop平臺技術可以概括為一個分層次的分布框架技術，該技術主要用于對網絡信息數據的處理以及分析，本文設計的基于Hadoop平臺技術的電信大數據分析平臺設計思路如下：

2.1 建立離線流量分析系統

為了能夠實現Hadoop平臺技術在流量統計這方面的應用，該平臺在原有計算機技術框架的基礎上，增加了一個離線流量分析系統，以便于對流量數據的分析和處理，對流量實現實時的監督與控制，從而達到理想中的應用效果。此外，在原有管理系統的基礎下，將Hadoop平臺技術分支出一個專門控制管理流量日志的系統，并利用此系統實現對大數據的處理以及分析：

（1）與其他系統相比較，該系統在結構化以及不完全結構化的信息數據處理和分析這方面具有更加高效率高質量的優勢。

（2）該系統具有閃存功能，能夠詳細準確的記錄以及儲存一切流量信息數據，基于此，該系統還能夠為大數據處理相應的制作鏡像包。

（3）在該系統中，針對模塊信息數據處理的這方面，相關工作人員研發出了一套根據語音進行信息數據處理以及分析的應用系統，通過這種方式簡化該平臺信息數據處理的操作，簡化系統的數據處理分析流程。

2.2 在原有系統上設計云計算監控系統

為了能夠達到更加高效、密切的對網絡數據進行監督和管理的目的，可在Hadoop平臺技術的基礎下，對原有系統進行升級優化，并且安裝云計算監控系統，從而實現對電信大數據的管理分析以及進行實時監督控制。一直以來，能否保證在電信平臺上的使用用戶的所有網絡資料的安全，是電信平臺以及其他網商所擔心的一個問題，因此，為了能夠實現用戶資料的使用全程的安全性以及私密性，該系統將采用zoomanager集中監控與管理系統，該保護系統能夠做到對云計算的大數據內容進行密切細致并且極其可靠的保護，除此之外，該系統的應用在實踐中發現，還能夠在一定程度上對云計算中的信息進行優化，能夠在對計算機云計算中的信息進行搜集管理并且儲存的同時，還能夠通過相關科學算法，做到對大數據以及信息的分類，這樣就很容易發展數據中存在的問題，進而對出現的問題提出相應的完善策略。

2.3 簡化系統集群

由于電信平臺具有龐大的用戶數額和海量傳輸數據，因此，電信平臺的信息數量也是相當龐大的，為了能夠實現系統運行的效率以及質量，就要相應的簡化Hadoop系統以及系統集群，基于此，本平臺中可采用MapReduce的云計算平臺，從而簡化系統集群，通過對網絡信息用戶基本信息的分析和處理，從而達到簡化系統集群的目的，另外，該系統還能夠采集到計算機CPU的使用率以及推斷出構造數據資源所處于的資源消耗類型，從而幫助運維人員進行資源調配和管理。

2.4 建立用戶服務器網絡圖

由于互聯網的整體系統是由多個小網絡系統所構成的，基于此，對于電信網絡平臺的運營商來說，各個小型網絡支撐系統以及各個用戶的網絡使用數據和基礎信息，也就構成了龐大電信平臺的網絡系統。為了能夠提升電信網絡的使用效率以及質量，相關網絡技術人員就研發出了集電信各個用戶的基本信息以及數據的用戶服務器網絡圖，該構圖的基礎為物理結構。

3 Hadoop技術支撐下電信大數據處理的特點

3.1 具有龐大互聯網數據的處理構架

在電信大數據平臺中具有以Hadoop技術為基礎的計算機云系統，該系統能夠實現對網絡大量數據以及信息的搜集，儲存，管理以及分析，并且還可以進行相關的安全檢測。除此之外，由于這幾個程序是按照順序進行的，所以從另外一個角度來說，云計算系統能夠實現對網絡的全面檢測。在該系統的具體應用實踐中發現，與以往傳統的計算系統相比，該系統能夠在很大程度上提升平臺的工作的質量以及效率，尤其是在安全檢測這方面獲得了很大的進步。

3.2 具有分布式檢測系統故障的數據采集機制

信息數據的采集作為電信平臺大數據處理過程中的第一個環節，該環節決定了后續環節工作的準確性以及質量，基于此，在信息數據的采集部分一定要做到信息的高度準確，這樣才能保證后續工作的順利開展。但是，在數據的搜集過程中仍然存在許多困難，因此，針對目前平臺的信息搜集現狀，相關科研工作者建立起一個具有分布式檢測系統故障的數據采集機制，其主要內容有兩點，分別是網絡信息節點的檢測以及對系統的計算方法進行檢測工作。在該機制的運行過程中發現，這個機制能夠有效的避免以往信息搜集系統中存在網絡信息模糊的問題，并且能夠實現對數據進行動態的檢測，從而保證數據能夠高度符合實際，使后續的工作能夠穩定進行。

3.3 具有能夠進行動態儲存以及分配的計算方法

在對電信大數據進行計算時，采用不同的儲存計算的方式也就會產生不同的儲存計算結果，基于此，為了使數據計算達到理想中的效果，相關工作人員也就逐漸研發除了動態儲存以及分配的計算方法。這種算法主要是以節能性評價為基礎，在此基礎上對計算的數據進行儲存管理，另外，該系統還要借助一些節點參數來對數據進行儲存，并且根據不同節點的特點來對信息數據實現精密的分類。目前為止，該技術已經在電信大數據處理平臺上得到了實際的應用，并且取得良好的應用效果。

3.4 具有以異構云環境為基礎層面的動態推理算法

數據的處理以及分析在電信大數據的處理過程中占有核心地位，該環節的工作情況直接影響到電信大數據處理的整體效果以及質量，基于此，為了能夠使平臺的數據處理結果更加準確，就要對此環節進行不斷的優化以及完善。目前為止，雖然電信大數據處理平臺的云計算系統處于初步構建的階段，但是該系統的提升速度是非常快的，尤其是該系統的硬件水平，但是這也導致了平臺中節點之間存在較大的差異性。針對目前系統這樣的運作情況，為了達到理想中的系統運作效率，在平臺的科研人員的努力下，提出了異構云環境為基礎層面的動態推理算法。

4 結論

綜上所述，隨著時代的進步與發展，電信為了能夠得到可持續健康發展，就必須跟緊時代發展的步伐，在電信大數據處理以及分析這方面進行不斷的完善和優化工作，組建專業的科研團隊，并緊跟社會的科技發展動向以及需求。因此，本文基于Hadoop技術設計的電信大數據處理平臺，可實現高效率、高準確性的處理能力，節約了大量網絡帶寬和時間，并使得運算過程可充分并行化，從而為電信大數據處理提供一個良好的技術支撐。