網絡大數據信息處理平臺的設計與實現

馬杰

關鍵詞： 網絡大數據; 信息處理平臺; 信息采集; 信息處理器; 時域特征; 頻域特征

中圖分類號： TN711?34; TP311.13 ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2018）24?0075?04

Design and implementation of network big data information processing platform

MA Jie

（Experimental Center of Nanjing Audit University， Nanjing 211815， China）

Abstract： Since the network big data information processing platform based on orthogonal decomposition adopts a single network data feature extraction method， which may result in poor effect of data information processing， a network big data information processing platform based on Web is designed. The system architecture of the designed platform is composed of the service layer， function layer and platform layer. The network big data information acquisition module is constructed by using the Ethernet control chip CP2200 and the microcontroller C8051F340. In the platform layer， the network big data information is collected by the network big data information acquisition module. The network big data information processor taking the network processor IXP2400 as its core is used to realize information processing of network big data. In the function layer， the time domain feature extraction algorithm is used to extract the artificial data instantaneous energy， and its mean square value， zero?crossing rate and high zero?crossing frame ratio in network big data. The frequency domain feature extraction algorithm is used to extract the Mel?frequency cepstral coefficient and linear prediction coefficient in the artificial data， so as to provide a reliable analysis basis for the follow?up information processing. The test results show that the designed platform for network big data information processing has high stability， low resource occupancy rate and good operation effect.

Keywords： network big data; information processing platform; information acquisition; information processor; time domain feature; frequency domain feature

0 ?引 ?言

21世紀，計算機技術與網絡技術越發成熟，海量的網絡大數據具有大容量、多樣性和分散的特性[1]，使用者查找、利用網絡數據信息的障礙大幅提升。因此，通過網絡大數據信息處理平臺，確保使用者能夠方便快捷地得到網絡數據信息資源變得尤為重要。傳統基于正交分解的網絡大數據信息處理平臺將平臺中的處理功能分解為松耦合的多個功能正交的模塊，在網絡數據信息特征提取過程中采用單一的網絡數據特征提取方法，導致數據信息處理效果較差[2]。為了解決這個問題，本文設計基于Web的網絡大數據信息處理平臺，采用多種數據信息特征提取方法，提升網絡大數據信息處理精度的同時，具有穩定性高、資源占用率低、速度快的優勢。

1 ?基于Web的網絡大數據信息處理平臺

1.1 ?平臺體系架構設計

基于Web的網絡大數據信息處理平臺體系架構如圖1所示，主要包括：

1） 服務層。基于Web的網絡大數據服務：構建基于Web的大數據處理環境;基于Open API的大數據服務：分析網絡大數據處理開放接口和開放流程，構建基于Open AIP的大數據處理模式。

2） 功能層。網絡大數據信息挖掘：構建高可擴展的大數據處理與挖掘算法庫，實現PB級數據挖掘;網絡大數據管理：保障網絡大數據處理過程內的信息安全;網絡大數據存儲：實現網絡大數據處理結果的人機交互、可視化功能;網絡大數據采集：構建基于單片機的工作流執行引擎實現網絡大數據的高效采集。

3） 平臺層。網絡大數據處理系統：進行大數據采集、存儲、管理等大數據處理工作[3];智能數據中心調度引擎模塊：整合各數據庫的存儲及計算等資源。

1.2 ?網絡大數據信息采集模塊設計

平臺層中網絡大數據信息采集模塊通過以太網管制芯片CP2200和單片機C8051F340實現網絡大數據信息的采集[4]。利用REGIN引腳將電源輸出的5 V電壓傳輸到單片機C8051F340的電壓調節器內，將5 V電壓轉化為3 V電壓，并利用VDD引腳將轉化后的3 V電壓發送至其他3 V器件內。利用P3，P4口和其他的I/O引腳能夠實現C8051F340單片機與CP2200芯片之間的數據信息交流。將經過調整電路調整后的Web中被測信號通過單片機的P25引腳傳輸至能夠實現信號與數據之間轉換的A/D轉換器內，利用網絡接口將得到的網絡數據傳輸給網絡處理器，實現網絡大數據信息的采集。

1.3 ?網絡大數據信息處理器設計

以IXP2400網絡處理器為核心，在硬件結構上，利用共享數據線程和微引擎間的事件信號實現對網絡大數據信息的處理[5]。圖2為IXP2400硬件結構。

通過圖2可知，控制處理器具有可編程的功能，通過其編程功能能夠確定控制處理器處理獲取的網絡數據信息的工作模式[6]。在控制處理器的控制下，將數據信息處理程序載入存儲區，利用數據信息處理程序實現網絡處理器對網絡大數據的信息處理。利用控制處理器與存儲模塊之間的連接將獲取的網絡大數據信息處理結果傳輸到外部存儲模塊內實施存儲。

1.4 ?軟件設計

由于網絡大數據的多樣性，平臺軟件設計中采用多種特征提取方法進行網絡大數據信息特征提取，提升平臺網絡大數據信息處理的精度[7]。平臺針對人為數據分別從時域特征和頻域特征兩方面進行網絡大數據信息特征的提取。

1.4.1 ?時域特征提取算法

網絡大數據中，人為數據的時域特征分為三種，即：瞬時能量及其均方值、過零率和高過零幀比[8]。

1） 通常情況下，在對網絡大數據中的人為數據進行瞬時能量特征提取時，時間與人為數據升降的參考能量值[Q0]是根據人為數據中各幀（人為數據單位）的對照點幅值[f]的平方和確定的，描述公式為：

[Q0=r=0R-1f2r] ? （1）

式中：r表示當前人為數據量;[R]表示對照點數值。

通過式（1）可獲取人為數據的瞬時能量EUQ，即：

[EUQ=Q0R] ?（2）

2） 指定時間區域中，人為數據正負幅值的變更次數即過零率，基于式（2）通過式（3）對其進行描述：

[H0=12R-2EUQr=0R-1tirfr-tirfr-1] （3）

式中，[tir]表示指定參數，若[tir]的變量不小于0，那么[tir]為1，相反，則[tir]為-1。[fr]及[fr-1]分別表示當前以及前一時刻人為數據的幅值。

3） 指定時間區域中，過零率瞬時值大于平均值的幀比例，即高過零幀比PWSDD，基于式（2）以式（4）對其進行描述：

[PWSDD=12Un=0U-1EUQ1+tirH0u-1.5pjH0] ?（4）

式中：U，[H0u]，[pjH0]分別表示人為數據內全部片段幀、幀數為[n]的過零率以及過零率的平均值。

1.4.2 ?頻域特征提取算法

對網絡大數據中的人為數據內的梅爾頻率倒譜系數及線性預測系數進行提取即頻域特征提取[9]。以[xc]代表得到的幀的時域信號對其實施傅里葉變換。[xd]為通過變換取得的離散頻譜，以式（5）對其進行表示：

[xd=c=0C-1xce-2πcpdC， 0≤d≤C] ? ? ? ? （5）

式中：[C]，[f]，[k]，[c]分別表示傅里葉變換點數、頻率、次序以及幀數;[d]為自然數。以[X2d]對通過[xd]得到的離散頻譜平方值進行描述，那么處理輸出對數能量[gv]為：

[gv=Inc=0C-1xc2Wvd， 0<m<V] （6）

式中：[Wv]，[V]，[v]分別表示經過處理后得到的輸出能量值、處理次數、處理順序。

通過式（6）和式（7）得到梅爾頻率倒譜系數[yc]：

[yc=c=0C-1gvcosπcv-5V， 0<c<V] （7）

利用式（8）能夠獲取線性預測系數[ξi]：

[Od=i=ivξiOd-i， d=0，1，2，…，k] （8）

式中：k，[Od]，[i]分別表示線性預測的階層、實數序列數量為[d]組合的能量以及實數序列的排序數。其中，[i]為自然數。

通過式（7）和式（8）實現網絡大數據中人為數據中梅爾頻率倒譜系數及線性預測系數的提取，進而實現人為數據頻域特征有效提取。

2 ?實驗分析

實驗對本文設計的基于Web的網絡大數據信息處理平臺的穩定性進行測試。針對不同信息量，使用本文平臺和基于正交分解的網絡大數據信息處理平臺分別進行處理，并對不同平臺的處理結果進行對比，對比結果見表1和表2。其中，Y值表示不同平臺對網絡大數據信息處理水平的預測值[10]。實驗處理的大數據對象為人為數據。

對表1和表2進行分析可知，使用本文平臺對不同信息量的網絡大數據進行處理得到的準確率、召回率以及Y值隨著信息量的不斷增長均呈線性平緩提升，并且都高于使用基于正交分解的網絡大數據信息處理平臺獲取的結果。實驗結果說明本文平臺的穩定性較好。

實驗為測試本文平臺的資源占用率，分別從大數據采集，數據信息分類等不同方面對本文平臺和基于正交分解的網絡大數據信息處理平臺的CUP占用率以及內存占用率進行對比，結果如表3所示。

通過表3分析得到，使用本文平臺進行網絡大數據信息處理時，CPU占用率在9%～18%之間，內存占用率在10%～20%之間。而基于正交分解的網絡大數據信息處理平臺的CUP占用率在66%～71%之間，內存占用率在30%～44%之間，說明本文平臺的資源占用率較低。

實驗為驗證本文平臺的信息處理效率，在相同的實驗環境中，用本文平臺和基于正交分解的網絡大數據信息處理平臺對信息處理中的兩個步驟所用時間進行對比，結果如表4所示。

由表4能夠得到，使用本文平臺進行網絡大數據信息處理所使用的時間均小于使用基于正交分解的網絡大數據信息處理平臺進行信息處理所用的時間，說明本文平臺進行網絡大數據信息處理的效率較高。

3 ?結 ?論

本文設計的基于Web的網絡大數據信息處理平臺，能夠解決基于正交分解的網絡大數據信息處理平臺中存在的數據信息處理效果差的問題，實現網絡大數據信息的高精度處理，并且具有穩定性好、資源占用率低、速度快的優勢，能夠實現平臺設計的最初目的，在網絡大數據信息處理工作中發揮重要作用。

參考文獻

[1] 張科星.網絡大數據平臺中的特征數據分類系統設計與實現[J].現代電子技術，2017，40（8）：25?28.

ZHANG Kexing. Design and implementation of feature data classification system in network big data platform [J]. Modern electronics technique， 2017， 40（8）： 25?28.

[2] 向小佳，趙曉芳，劉洋，等.一種正交分解大數據處理系統設計方法及實現[J].計算機研究與發展，2017，54（5）：1097?1108.

XIANG Xiaojia， ZHAO Xiaofang， LIU Yang， et al. An orthogonal decomposition based design method and implementation for big data processing system [J]. Journal of computer research and development， 2017， 54（5）： 1097?1108.

[3] 趙光遠，秦豐林，郭曉東.基于P2P的網絡測量云平臺的設計與實現[J].山東大學學報（理學版），2017，52（12）：104?110.

ZHAO Guangyuan， QIN Fenglin， GUO Xiaodong. Design and implementation of P2P?based network measurement cloud platform [J]. Journal of Shandong University （Natural science）， 2017， 52（12）： 104?110.

[4] 姜臘林，楊嘉佳，姜磊，等.高速網絡流采集系統的設計與實現[J].計算機應用，2014，34（11）：3201?3205.

JIANG Lalin， YANG Jiajia， JIANG Lei， et al. Design and implementation of high?speed network traffic capture system [J]. Journal of computer applications， 2014， 34（11）： 3201?3205.

[5] 沈宇，王祺.基于大數據的煤礦安全監管聯網平臺設計與實現[J].礦業安全與環保，2016，43（6）：21?24.

SHEN Yu， WANG Qi. Design and implementation of coal mine safety supervision networking platform based on big data [J]. Mining safety & environmental protection， 2016， 43（6）： 21?24.

[6] 王磊，王西點，程楠.基于大數據技術的智能化無線網絡優化體系[J].電信科學，2015，31（12）：167?171.

WANG Lei， WANG Xidian， CHENG Nan. Intelligent system of wireless network optimization based on big data technology [J]. Telecommunications science， 2015， 31（12）： 167?171.

[7] 張倩.高校檔案物聯網大數據處理平臺的構建方案研究[J].檔案與建設，2016，33（2）：39?43.

ZHANG Qian. Research on the construction scheme of IoT big data archival processing platform in colleges and universities [J]. Archives & construction， 2016， 33（2）： 39?43.

[8] WANG Z， CHEN D， LI L. Design and implementation of personalized information customization system based on Hadoop cloud platform [J]. Journal of Jilin University （Information science edition）， 2016， 34（2）： 271?277.

[9] 劉香蘭.煤礦安全生產大數據分析與管理平臺設計研究[J].煤炭工程，2017，49（6）：32?35.

LIU Xianglan. Design and research of big data analysis and management platform for coal mine safety production [J]. Coal engineering， 2017， 49（6）： 32?35.

[10] 張晶.大數據平臺下數據庫訪問信息安全管理仿真[J].計算機仿真，2017，34（7）：436?440.

ZHANG Jing. Simulation of database access information security management under big data platform [J]. Computer simulation， 2017， 34（7）： 436?440.