基于云計算和物聯網的網絡大數據技術研究

，

(浙江安防職業技術學院，浙江 溫州 325000)

基于云計算和物聯網的網絡大數據技術研究

姜迪清，張麗娜

(浙江安防職業技術學院，浙江溫州325000)

為了使網絡大數據應用的范圍更廣，更大程度地提高網絡數據存儲與管理精度，減少網絡數據處理與控制的時間，需要對網絡大數據進行研究；當前的網絡大數據研究方法多是采用Hadoop基礎架構對網絡大數據進行研究，在數據存儲中沒有設定具體的安全存儲指標，無法得到數據安全存儲指標權重，存在數據存儲安全性能低，網絡大數據研究精度偏差大等問題；為此，提出一種基于云計算和物聯網的網絡大數據研究方法；該方法首先利用分級網絡編碼對網絡數據進行傳輸，以傳輸的數據為基礎，采用CRC算法實現網絡數據的計算，然后依據分組存儲的方式將數據進行存儲，最后利用分層逆序疊加定位法對網絡數據進行高精度查詢，由此完成對網絡大數據的研究；實驗結果表明，所提方法可以全面具體地對網絡大數據進行研究，提高了數據處理精度和網絡數據計算速度，增加了網絡數據存儲空間容量和查詢效率，減少了網絡數據運行時的丟失率，擴展了網絡數據的運作范圍，為后續網絡大數據的研究提供了強有力的依據。

云計算；物聯網；網絡大數據；技術研究

0 引言

目前，隨著經濟技術和互聯網的不斷發展，人們步入了信息化時代，計算機網絡已經成為人們生活和工作中不可缺少的一部分。網絡大數據在金融、娛樂、醫療、汽車、零售、電信、餐飲、政務、能源、體育等領域都有著廣泛的應用和深遠地影響[1]。由此，網絡大數據的發展受到了有關專家的高度重視[2]。網絡大數據的發展可以提高現代人們生活的質量，加強互聯網技術的建設，滿足社會經濟飛速發展的要求[3]。由于網絡大數據具有智能性、交互性、可視化等特點，所以需要對網絡大數據進行研究。大多數的網絡大數據研究方法在對網絡大數據進行研究時，無法對其進行高效、全面、安全、具體地研究，導致網絡大數據在使用時，經常出現數據丟失、數據計算誤差大、數據存儲空間易滿、數據處理不妥當等問題[4-5]。在此種情況下，如何減少數據丟失率和計算誤差，增大數據存儲空間容量和提高數據處理精度成為了必須解決的問題。而基于云計算和物聯網的網絡大數據研究方法可以對網絡大數據進行深刻，全面，安全穩定地研究，是解決上述問題的可行途徑[6]，受到了該領域專家學者的廣泛關注和高度重視，成為了網絡大數據研究者的主要研究課題，同時也得到了很多優秀的研究方法[7]。

文獻[8]提出了基于MongoDB的網絡大數據研究方法。該方法首先利用負載均衡技術使MongoDB在不同的網絡數據節點中都可以分布均勻，保障大數據研究系統的正常運行，然后采用P2P分布式數據存儲系統對網絡大數據的存儲內存空間進行優化管理，最后依據MongoDB的自動分片技術實現網絡大數據的過濾，從而完成基于MongoDB的網絡大數據研究。該方法雖然較為具體，但是存在對網絡大數據研究時間長的問題。文獻[9]提出了一種基于粗糙集的網絡大數據研究方法。該方法首先采用粗糙集理論對網絡大數據進行挖掘，然后利用模糊集理論拓廣網絡大數據處理的范圍，依據粗糙集與決策表的關系完成對網絡數據的處理，最后利用模糊差別矩陣對數據進行優化存儲，由此完成了基于粗糙集的網絡大數據研究。該方法對網絡大數據的研究精度較高，但是存在研究過程繁瑣的問題。文獻[10]提出了一種基于樸素貝葉斯的網絡大數據研究方法。該方法首先利用樸素貝葉斯分類器將網絡大數據進行分類，然后依據數據分類結果對網絡數據進行存儲，最后采用本體論實現網絡大數據控制系統的優化，完成基于樸素貝葉斯的網絡大數據研究。該方法雖然用時較短，但是存在對網絡大數據進行研究時，研究效率較低的問題。

針對上述產生的問題，提出基于云計算和物聯網的網絡大數據研究方法。該方法首先利用分級網絡編碼對網絡數據進行傳輸，采用CRC算法實現網絡數據的快速計算，然后依據分組存儲的方式將數據存儲，最后利用分層逆序疊加定位法對網絡數據進行高精度查詢，由此完成對網絡大數據的研究。仿真實驗證明，所提方法能夠全面、安全、高精度地對網絡大數據進行研究，拓寬了網絡統計的范疇，增強了網絡數據分析的可信度，將無線網絡與人們的生活進行無縫連接，并且可以更好地應用于社會各個工作領域中，為社會的經濟建設和健康發展提供了可靠資源。

1 基于云計算和物聯網的網絡大數據研究方法

1.1 網絡數據傳輸與計算

基于云計算和物聯網的網絡大數據研究中，為了提高數據運行效率，利用分級網絡編碼對網絡數據進行傳輸，在數據傳輸過程中，以網絡數據宿點集合為基礎，得到網絡數據傳輸延遲值估計公式，依據估計公式中網絡數據有限域的階的變動得到數據傳輸參數，完成多網絡數據傳輸的過程。具體過程如下。

在實際網絡大數據傳輸過程中，網絡數據通常具有分級結構，假設在網絡數據節點p處，將收到的網絡數據進行解碼后，再組播到子網中，而在其他的網絡數據節點處，則利用編碼形式進行數據傳輸，并讓所有網絡數據宿點在收到數據信息進行解碼后，對分級網絡數據編碼方法的最大組播率進行假設，假設最大組播率為u，則網絡中所有宿點集合可表示為：

T={u1,u2,u3…ui}

(1)

其中:T代表網絡中所有數據宿點的集合，i代表分級網絡數據編碼方法中組播率總數目。

若，{u1,u2,u3…ui}代表主網的網絡數據宿點，{uk+1,uk+2,…uk+i}代表子網的網絡數據宿點，網絡數據節點p代表子網和主網的連接點，如果采用分級網絡數據編碼對其進行連接，就相當于兩次單源組播對其進行連接，在連接過程中，如果將數據源點A組播網絡數據到{u1,u2,u3…ui,p}中，那么其網絡數據最大組播率為z，如果將網絡數據節點p的組播數據到{uk+1,uk+2,…uk+i}中，那么其網絡數據組播率為z1。利用分級網絡數據編碼從網絡數據源點組播數據到所有網絡數據宿點，可以得到的最大的網絡數據組播率為z2，則有關系式：

z2=min(z,z1)

(2)

以上述結果為依據，對于確定性的網絡數據編碼，網絡大數據傳輸延遲值估計公式為：

φ=(6m+5)(v/z+z)

(3)

其中:φ代表網絡大數據傳輸延遲估計值，m代表網絡數據有限域的階，v代表網絡大數據傳輸參數。對于不具確定性的網絡數據編碼，網絡大數據傳輸延遲值估計公式為：

φ=(6m+5)[(1/z+1/l)+z+8z2/(6l)]+

(2m+m2)z/(4l)

(4)

其中:l代表網絡數據塊長度。實驗證明，網絡數據傳輸延遲值隨m的增加而增加，利用數據傳輸參數d可以有效控制m的增加，使數據傳輸更為迅速，其公式可表示為：

*{u1,u2,u3…ui}

(5)

根據式(5)的計算，可以減少網絡數據節點編碼進行數據傳輸時的延遲，低階的數據有限域能減少數據傳輸對編碼節點的要求。當z1>z2，假設網絡數據節點p有比較足夠的數據存儲空間，則可以利用數據存儲轉發的方式進行網絡數據傳輸，當z1

在網絡大數據研究中，網絡數據的計算十分重要，為了使網絡數據計算速度更快，采用按字節計算的CRC算法對網絡數據進行計算。網絡數據碼可表示為：

O(X)=On×46n+On-1×46(n-1)+…+O1×46+O0

(6)

其中:O(X)代表網絡數據編碼，O代表一個數據的八位字節，n代表八位字節的個數。以上述計算結果為基礎，將數據字節先乘216，再除數據計算多項式F(X)，給出關系式：

(7)

通過關系式(7)可知，在網絡數據計算過程中，關系式所獲值越小，網絡數據計算速度越快，則有控制關系式最小的閾值表達式為：

(8)

其中:f代表控制關系式(7)最小值的閾值，w代表網絡數據傳輸的系數，g代表網絡數據計算參數，綜上所述，通過閾值對關系式的控制，實現了網絡數據的快速計算。

1.2 網絡數據存儲與查詢

采用分組存儲的方式對網絡數據進行存儲，可以節省網絡存儲空間。存儲過程中利用網絡數據測點和分組存儲組數的關系式，得到分組后的網絡文件數據總量，以分組后的網絡文件數據量總和為依據，完成對網絡數據的存儲。

假設共有j個網絡數據測點，每個網絡數據測點采樣周期不一定相同，若每個數據測點大批量提交存儲，其屬性數據有r個，那么就將這些數據進行分組存儲至不同的網絡文件中。根據數據距離的遠近，將較為集中的網絡數據測點分為一組，假設將j個數據測點分為e組，則有數據測點與組數的關系式：

(9)

利用分組后的網絡文件ye保存第e組數據測點提交的網絡屬性數據，則文件ye的數據總量為：

De=(6+M)je

(10)

其中:De代表分組后的網絡文件數據總量，M代表網絡數據存儲參數，實驗證明，M取值區間在0.4-0.5時，數據存儲效率最高。

對式(10)進行迭代計算，最后得到e個分組后的網絡文件數據量總和為：

(11)

其中:D代表e個分組后的網絡文件數據量總和，以分組后的網絡文件數據量總和為依據，完成基于分組存儲方式的網絡數據存儲。

網絡數據的查詢與索引利用的是分層逆序疊加定位法，假設數據查詢節點的主查詢矩陣Qi與輔數據查詢矩陣Qi-1相乘得到新數據查詢矩陣，提取數據最大查詢矩陣公因子與該矩陣相加為：

(12)

其中:εi-1代表QiQi-1所得數據查詢矩陣的最大公因子，Qi-1′代表網絡數據最大查詢矩陣公因子與該矩陣相加的值，QiQi-1代表數據查詢節點的主查詢矩陣Qi與輔數據查詢矩陣Qi-1相乘得到的新矩陣，同理可證，式(13)和式(14)中的類似乘積如式(12)參數解釋所推。

(13)

其中:εi-2代表Qi-1Qi-2所得數據查詢矩陣的最大公因子。以此類推，直至數據根節點：

(14)

其中:ε1代表Q1Q2′所得數據查詢矩陣的最大公因子。提取數據查詢矩陣Q2′最大公因子ε，則：

ε=ε1+1

(15)

此時得到ε值，假設該值代表數據查詢節點在整個網絡數據查詢系統中的查詢參數，實驗證明，此參數取值區間為5-6時，網絡數據查詢精度最大。那么對ε進行迭代計算，并比較各個數據查詢節點的ε值，取得最小數據查詢節點，則該節點在整個網絡數據查詢系統中是數據查詢的最優路徑點，此時忽略其他數據查詢節點，在數據查詢系統中，針對該節點進行查詢，從而完成對網絡數據的查詢。

2 仿真實驗結果與分析

為了證明基于云計算和物聯網的網絡大數據研究方法的整體性能，需要進行一次仿真實驗。在FPGA的環境下搭建網絡大數據研究實驗仿真平臺。實驗數據取自于中國網絡大數據技術研究公司的50臺計算機，在該實驗中，利用基于云計算和物聯網的網絡大數據在50臺計算機中使用，觀察本文所提方法的整體有效性和可實現性。表1為文獻[8]所提方法、文獻[9]所提方法和文獻[10]所提方法與本文所提方法，在數據量同為1 000萬時，網絡數據傳輸時間(s)以及網絡數據計算時間(s)的對比。

分析表1可知，在網絡數據量同為1 000萬時，本文所提基于云計算和物聯網的網絡大數據研究方法，數據傳輸時間以及數據計算時間遠低于文獻所提方法。本文所提方法在數據傳輸和數據計算中分別利用了分級網絡編碼和CRC算法，節省了數據傳輸和數據計算的時間，證明了基于云計算和物聯網的網絡大數據研究方法，具有良好的應用價值，是切實可行的。表2是網絡數據存儲參數M的取值對數據存儲效率(%)的影響。

表1 不同方法下網絡數據傳輸與計算時間對比

表2 數據存儲參數對存儲效率的影響

通過表2可知，網絡數據存儲參數M的取值對數據存儲效率有很大影響，存儲參數取值在0.4～0.5時，網絡數據存儲效率最高，這主要是因為在利用本文方法進行網絡數據存儲時，采用了分組存儲的方式對網絡數據進行存儲，不僅可以節省網絡存儲空間，而且可以加快數據存儲速度，存儲過程中依據網絡數據測點和分組存儲組數的關系式，得到分組后的網絡文件數據總量，在數據總量中存儲參數M值的變化，影響著數據存儲效率。圖1是文獻[8]所提方法、文獻[9]所提方法和文獻[10]所提方法與本文所提方法，網絡數據查詢時間(s)的對比。

圖1 不同方法下數據查詢時間對比

圖1中反映的是，文獻[8]、文獻[9]和文獻[10]所提方法與本文所提方法在數據查詢時間上的對比，也是速度的對比，隨著網絡數據查詢量的不斷增加，所用時間也在不斷發生變化，文獻[8]所提方法數據存儲時間波動雖然較小，但是處于曲線一直處于較高的趨勢，是所有方法中數據存儲時間最長的；文獻[9]所提方法雖然數據存儲用時相對文獻[8]較少，但是數據查詢時間曲線后期波動很大，顯然是不可取的；文獻[10]所提方法在數據查詢量比較小時，查詢時間是降低趨勢的，但是隨著數據查詢量的增加，數據存儲時間呈直線上升趨勢；文本所提方法在前期存儲數據所用時間曲線略有波動，但總體情況良好，進一步證明了本文所提方法的可實踐性。圖2是網絡數據查詢系統中的查詢參數ε，對數據查詢精度(%)的影響。

圖2 數據查詢參數對查詢精度的影響

分析圖2可知，當數據查詢參數ε為7時，數據查詢精度曲線不穩定，而且查詢精度較低，基本在60%以內，當數據查詢參數ε為5～6時，數據查詢精度曲線相對平緩，查詢精度較高，并且兩度處于同一精度值，說明了本文所提基于云計算和物聯網的網絡大數據研究方法，可以為該領域的研究發展提供強有力的依據。

實驗結果表明，所提方法可以高效、安全地對網絡大數據進行研究，提高了網絡數據傳輸與數據計算的準確率和穩定性，減少了網絡數據運行的時間，增加了網絡的使用壽命以及兼容性，擴展了網絡大數據的應用范圍。

3 結束語

采用當前方法對網絡大數據進行研究時，無法對網絡大數據進行高精度、安全、穩定可靠地研究，存在網絡數據操作時丟包率過大、網絡數據運行有延遲、網絡壽命越來越短等問題。提出一種基于云計算和物聯網的網絡大數據研究方法。并通過實驗仿真證明，所提方法可以高精度地對網絡大數據進行研究，是具有可行性的，為該領域的后續研究發展提供了有效依據，是值得借鑒的網絡大數據研究方法。

[1] 基于大數據的互聯網化存量經營"項目組.運營商存量經營大數據平臺及其關鍵技術研究[J].電信科學,2014,30(6):118-125.

[2] 任 凱,鄧 武,俞 琰.基于大數據技術的網絡日志分析系統研究[J].現代電子技術,2016,39(2):39-41.

[3] 張科利,王建文,曹 豪.互聯網+煤礦開采大數據技術研究與實踐[J].煤炭科學技術,2016,44(7):123-128.

[4] 周勝利,陳光宣,吳禮發.大數據隱私保護中基于可信鄰居選擇的用戶網絡行為匿名技術研究[J].計算機科學,2016,43(12):136-139.

[5] 葉勇豪,許 燕,朱一杰,等.網民對“人禍”事件的道德情緒特點--基于微博大數據研究[J].心理學報,2016,48(3):290-304.

[6] 鞠洪堯.大數據網絡服務器群智能伸縮機制與架構研究[J].電信科學,2015,31(3):89-97.

[7] 崔新會,陳 剛,何志強.大數據環境下云數據的訪問控制技術研究[J].現代電子技術,2016,39(15):67-69.

[8] 沈 琦,陳 博.基于大數據處理的ETL框架的研究與設計[J].電子設計工程,2016,24(2):25-27.

[9] 曾潤喜,王 琳,杜洪濤.基于知識管理視角的大數據研究網絡與結構研究[J].情報學報,2016,35(11):1173-1184.

[10] 劉智慧,張泉靈.大數據技術研究綜述[J].浙江大學學報:工學版,2014,48(6):957-972.

NetworkBigDataTechnologyResearchBasedonCloudComputingandInternetofThings

Jiang Diqing, Zhang Lina

(Department of Information Engineering, Zhejiang Security Career Technical College,Wenzhou 325000,China)

In order to make the network data applications broader, more to improve the precision of the network data storage and management, reduce the time of the network data processing and control, need to study of network data. The current network data research method is to adopt more major Hadoop infrastructure of network data, the data is stored in the safe storage index is set, do not have access to data security storage index weight and the low data storage security performance, network problems such as big data research accuracy deviation. For this, put forward a kind of big data based on cloud computing and Internet of things network research methods. This method firstly using hierarchical network coding for network data transmission, based on the transmission of data, the calculation of CRC algorithm was adopted to realize network data, and then based on the data packet storage way for storage, the hierarchical reverse superposition method is used to analyse the network data precision query, thus completing the study of network data. The experimental results show that the proposed method can comprehensively and concretely study of network data, improves the precision of data processing and network data computing speed, increased the network data storage capacity and query efficiency, reduces the network data presented.according to the runtime, expanded the scope of the operation of network data, large data for subsequent network research provides a strong basis.

cloud computing; internet of things; network data; technology research

2017-04-17；

2017-05-15。

浙江省教育廳一般科研項目(Y201635414)；浙江省高教課改項目(KG20161013)；溫州市公益性科技計劃項目(2016S0005)。

姜迪清(1965-)，男，浙江溫州人，碩士，主要從事輿情管理等方向的研究。

張麗娜(1980-)，女，河南安陽人，碩士，副教授，主要從事大數據，圖形圖像等方向的研究。

1671-4598(2017)11-0183-03

10.16526/j.cnki.11-4762/tp.2017.11.046

TP311.13

A