大數據環境下的企業網絡管理工作的開展

呂靈敏

（大慶油田信息技術公司，黑龍江 大慶 163000）

大數據環境下的企業網絡管理工作的開展

呂靈敏

（大慶油田信息技術公司，黑龍江 大慶 163000）

文章首先針對當前企業環境中的數據以及處理工作特征進行深入的說明和分析，而后在此基礎之上，進一步針對云環境下的數據處理體系結構，以及相應的層級職能展開討論，對于加深大數據環境之下的企業數據管理工作具有一定的借鑒意義。

大數據；企業；網絡；管理

當前信息環境下，企業對于數據的依賴性呈現顯著上升的趨勢。并且在大數據相關技術不斷成熟的領域中，數據所帶給企業的，已經遠不止工作效率的提升，而更多是圍繞數據本身所展開的更為深層價值的發現和挖掘，并通過數據價值的深入應用，實現對企業決策的良好支持。在這樣的需求背景下，數據的重要程度得到了前所未有的肯定，對應的數據的收集也因此得到進一步落實。這些都直接帶動了網絡環境中數據量的激增，而如何在海量數據的基礎之上進一步實現對于大數據的有效利用和解讀，成為當前企業網絡管理工作的重點。

1　當前企業環境中的數據以及處理工作特征

對于目前的企業環境而言，為了能實現對于企業工作狀態以及對應環境的全面反映，切實實現對于整個系統的深入有效分析，通常都會深入到企業工作過程及工作環境中展開數據的采集。這直接導致當前企業環境中的數據呈現出3個突出特征，即海量性、異構性和非確定性。傳統工作環境下，企業的數據多相對比較常規，數據量也趨于穩定，但是當前，尤其是對于油田企業工業環境而言，為了確保工業過程的整體安全穩定，各個工作環節都開始加強數據建設，包括視頻傳輸以及數字化油田儀表監控數據等在內的諸多數據，構成了當前油田企業環境中的數據體系。這樣的數據環境從數據總量上看，表現出明顯的激增，并且更多格式的數據涌入，都帶給企業數據環境以新的特點。同時，數據的實時性也成為新的突出特征，這種特征與數據本身的不確定性、語義匹配的不確定性等共同構成了數據環境的非確定特征，并影響著當前企業在面向數據展開深入處理的整個工作方式。

傳統的數據處理多圍繞數據庫展開，以數據庫作為整個數據處理系統展開工作的核心環節，其存儲和處理方式包括關系型數據庫處理方法、數據倉庫處理方法以及數據倉庫和大內存結合的方法三種。其中關系型數據庫處理方法是將工作過程中采集和產生的數據存放在數據庫環境中，并且以SQL語句作為工具展開分析和計算。此種工作方式適用于結構化數據，曾經成為數據處理工作的重要依據和形式，但隨著當前數據格式種類的增加，需要將非結構化數據在后臺進行轉化，降低了整體的工作效率，因此不再適用于海量數據分析環境。而對于數據倉庫處理方法而言，則是面向數據展開抽取處理，而后離線對數據進行匯總并保存在數據庫中。此種工作方式的效率同樣無法滿足海量數據之下對于數據處理效率的要求。而對于數據倉庫與大容量內存結合的工作方式而言，則是利用數據倉庫來實現對于海量數據的預加工，而后展開深入處理。此種工作方式雖然能在海量數據的環境下實現初步支持，但是內容容量成為此種數據處理方式的瓶頸問題，因此難以得到深入發展。

2　云環境下的數據處理技術

在海量數據環境中，云計算方式成為未來發展的突出表現，并且分布式的數據處理實現方式，本身也適應了當前海量數據的突出特征。以Hadoop開源技術為例，其能夠在成本、二次開發靈活特征以及廣泛支持等方面有良好表現。云環境之下，一個典型的數據處理體系包括五個層面，自下而上分別是數據源層、計算層、存儲層、查詢層以及應用層。

從職能的角度看，最基層的數據源層負責實現數據的采集，在油田工業環境中，主要包括諸多信息采集終端，例如終端攝像頭以及油田工業環境中的開采以及加工儀表等，同時也包括為工作人員提供的數據讀取和錄入接口。這些數據源層端口負責實現將油田工業環境中方方面面的描述數據納入到數據環境中來。而計算層，在云環境中，位于存儲層之下，主要是考慮到分布式數據處理的實現。具體而言，這一個層面的職能包括數據的抽取、裝載和加工，主要用于對實時數據有所及時反應。而存儲層多位于數據中心，通過局域網與分布式計算層保持聯系，在油田工業環境中，由于數據節點以及數據終端相對分散，因此基于公共網絡的虛擬專用網技術也會出現在這個環節中。存儲層負責將大量數據匯總和整理，為分布數據節點騰出空間。在此之上的查詢層，同樣擔負有數據處理的職能。但是相對于計算層而言，查詢層的數據處理職能更多是對數據的綜合性深入挖掘，采用的技術也包括人工智能等在內的更為復雜的處理技術。最后，應用層主要負責面向系統用戶展開對話，包括多個應用組件，諸如全業務運營系統以及查詢系統等，都會涵蓋在該層面中。

在這樣的系統中，數據的采集和Hadoop集群數據處理，以及數據倉庫三個部分稱為職能重點。數據采集環節而言，除了需要完成相對常規的數據采集職能以外，還需要實現從源數據到Hadoop集群數據的格式轉化，形成Hadoop技術能夠直接處理的數據文件。這個職能多被放置于分布節點上，靠近數據采集終端。而對于Hadoop集群數據處理而言，則需要在對數據文件展開Map-Reduce計算的基礎上，將處理結果存入數據倉庫，且添加對應的標簽，方便應用層程序使用。而數據倉庫多采用Oracle 關系型數據庫展開設計和建設，保持良好兼容特征，同時對工作人員友好。

3　結 語

在當前企業環境中，云計算已經成為數據處理工作突出的發展趨勢，其本身的展開方式，在面對海量數據處理需求的時候呈現出良好適應特征。尤其是在面對油田工業環境這樣的大型綜合數據體系時，能夠在實時性等方面表現良好。針對此種狀況，應當切實保持該技術領域的警惕，積極引入先進算法，推動油田工業深入發展。

主要參考文獻

［1］李喬，鄭嘯.云計算研究現狀綜述［J］.計算機科學，2011（4）.

［2］王聰，王翠榮，王興偉，等.面向云計算的數據中心網絡體系結構設計［J］.計算機研究與發展，2012（2）.

10.3969/j.issn.1673 - 0194.2015.20.035

TP311.52

A

1673-0194（2015）20-0046-01

2015-09-11