淺談物聯(lián)網(wǎng)海量數(shù)據(jù)的分布式存儲(chǔ)算法

張征亮

（中國(guó)聯(lián)合網(wǎng)絡(luò)通信有限公司石家莊市分公司，石家莊 050000）

分布式存儲(chǔ)（DistributedStorage）可降低網(wǎng)絡(luò)壓力，面向用戶(hù)提供了一個(gè)分布式緩存系統(tǒng)，作為存儲(chǔ)系統(tǒng)的訪問(wèn)接口，進(jìn)行各類(lèi)數(shù)據(jù)的緩沖以降低網(wǎng)絡(luò)壓力。物聯(lián)網(wǎng)模式下，數(shù)據(jù)量快速增加，分布式存儲(chǔ)的價(jià)值也進(jìn)一步得到重視，針對(duì)物聯(lián)網(wǎng)海量數(shù)據(jù)的分布式存儲(chǔ)算法進(jìn)行分析、設(shè)計(jì)，有較為突出的現(xiàn)實(shí)意義。

1 物聯(lián)網(wǎng)海量數(shù)據(jù)的分布式存儲(chǔ)算法設(shè)計(jì)

1.1 基本架構(gòu)

以分布式存儲(chǔ)算法為依托，嘗試對(duì)物聯(lián)網(wǎng)海量數(shù)據(jù)進(jìn)行有效處理，要求搭建以智能設(shè)備為核心的工作系統(tǒng)，整個(gè)工作系統(tǒng)的架構(gòu)為：數(shù)據(jù)分析設(shè)備、存儲(chǔ)空間分析設(shè)備、通信線路、計(jì)算機(jī)終端五個(gè)部分。數(shù)據(jù)分析設(shè)備、存儲(chǔ)空間分析設(shè)備以智能芯片控制，數(shù)據(jù)分析設(shè)備可評(píng)估產(chǎn)生的數(shù)據(jù)量，存儲(chǔ)空間分析設(shè)備可了解計(jì)算機(jī)和網(wǎng)絡(luò)資源的工作壓力。通信線路負(fù)責(zé)進(jìn)行信息的快速交互，包括設(shè)備之間和設(shè)備-網(wǎng)絡(luò)之間。計(jì)算機(jī)終端作為上述工作工作開(kāi)展的載體。

1.2 算法原理

上述設(shè)計(jì)的算法原理為，在工作開(kāi)展前，收集相關(guān)對(duì)象的參數(shù)，包括網(wǎng)絡(luò)資源（主要是帶寬和對(duì)應(yīng)的傳輸能力）、緩沖區(qū)空間等，并將其收集到智能設(shè)備中實(shí)現(xiàn)存儲(chǔ)和記憶。具體工作開(kāi)始后（數(shù)據(jù)產(chǎn)生），啟動(dòng)物聯(lián)網(wǎng)中的計(jì)算機(jī)，為數(shù)據(jù)分析設(shè)備、存儲(chǔ)空間分析設(shè)備提供工作平臺(tái)，評(píng)估物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)規(guī)模，該項(xiàng)工作由數(shù)據(jù)分析設(shè)備執(zhí)行，在此過(guò)程中，存儲(chǔ)空間分析設(shè)備實(shí)時(shí)向計(jì)算機(jī)提供存儲(chǔ)空間信息和網(wǎng)絡(luò)資源信息。如果數(shù)據(jù)規(guī)模較大，超過(guò)網(wǎng)絡(luò)資源負(fù)載上限（或者接近），則將其暫時(shí)存儲(chǔ)到分布式存儲(chǔ)系統(tǒng)中，反之則允許其直接進(jìn)入網(wǎng)絡(luò)[1]。總體來(lái)看，智能化的固定參數(shù)記憶和實(shí)時(shí)參數(shù)匹配分析，構(gòu)成了工作的基本模式。

1.3 關(guān)鍵技術(shù)

算法設(shè)計(jì)可實(shí)現(xiàn)的關(guān)鍵技術(shù)在于實(shí)時(shí)化的信息交互，和準(zhǔn)確的參數(shù)收集、匹配。考慮到物聯(lián)網(wǎng)內(nèi)的信息產(chǎn)生源是多樣的，為避免信息之間互擾（包括工作產(chǎn)生的源信息和各類(lèi)反饋信息），擬采用CAN 總線技術(shù)，所有的信息源均通過(guò)獨(dú)立的線路與計(jì)算機(jī)和數(shù)據(jù)分析設(shè)備、存儲(chǔ)空間分析設(shè)備進(jìn)行連接，信息之間的傳輸相互不存在影響，且可以獨(dú)立進(jìn)行[2]。參數(shù)收集工作要求早期進(jìn)行，結(jié)合物聯(lián)網(wǎng)的實(shí)際工作需要精確化核定，參數(shù)匹配是指數(shù)據(jù)分析設(shè)備、存儲(chǔ)空間分析設(shè)備之間的參數(shù)，前者是非實(shí)時(shí)進(jìn)行的，只在數(shù)據(jù)產(chǎn)生時(shí)進(jìn)行評(píng)估，后者則以每2s 為間隔持續(xù)進(jìn)行，將網(wǎng)絡(luò)資源等信息傳輸給計(jì)算機(jī)，有計(jì)算機(jī)對(duì)數(shù)據(jù)分析設(shè)備、存儲(chǔ)空間分析設(shè)備的數(shù)據(jù)進(jìn)行對(duì)比，作出決策。

2 仿真實(shí)驗(yàn)

2.1 模擬對(duì)象和方法、過(guò)程

以某地區(qū)的工業(yè)物聯(lián)網(wǎng)作為對(duì)象建立計(jì)算機(jī)虛擬模型。通過(guò)參數(shù)調(diào)整法進(jìn)行實(shí)驗(yàn)，可變參數(shù)為物聯(lián)網(wǎng)的數(shù)據(jù)產(chǎn)生總量、峰值數(shù)據(jù)量。觀察指標(biāo)為數(shù)據(jù)是否得到準(zhǔn)確的分布處理、平均處理時(shí)間。共模擬進(jìn)行200次實(shí)驗(yàn)，其中低數(shù)據(jù)總量、低峰值數(shù)據(jù)量實(shí)驗(yàn)50次，設(shè)為1號(hào)組，實(shí)驗(yàn)過(guò)程中數(shù)據(jù)產(chǎn)生量模擬為300GB/天，峰值數(shù)據(jù)量為5GB/s。高數(shù)據(jù)總量、低峰值數(shù)據(jù)量實(shí)驗(yàn)進(jìn)行50次，設(shè)為2號(hào)組，實(shí)驗(yàn)過(guò)程中。數(shù)據(jù)產(chǎn)生量模擬為30PB/天，峰值數(shù)據(jù)量為5GB/s。高數(shù)據(jù)總量、高峰值數(shù)據(jù)量實(shí)驗(yàn)進(jìn)行50次，設(shè)為3號(hào)組，實(shí)驗(yàn)過(guò)程中數(shù)據(jù)產(chǎn)生量模擬為30PB/天，峰值數(shù)據(jù)量為50GB/s。混亂數(shù)據(jù)產(chǎn)生實(shí)驗(yàn)50次，隨機(jī)進(jìn)行參數(shù)變化，設(shè)為4號(hào)組。另以該物聯(lián)網(wǎng)實(shí)際工作為對(duì)照組

2.2 模擬結(jié)果

對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行記錄，如表1所示：

表1 實(shí)驗(yàn)數(shù)據(jù)

從結(jié)果上看，以智能設(shè)備為核心進(jìn)行計(jì)算，可改善物聯(lián)網(wǎng)海量數(shù)據(jù)的分布式存儲(chǔ)效果。無(wú)論數(shù)據(jù)出現(xiàn)何種變化，處理有效率都能達(dá)到96%以上，且處理時(shí)間不超過(guò)3s。而該物聯(lián)網(wǎng)目前的處理效率不高，耗時(shí)平均為59.6s，且處理有效次數(shù)為42次，差異較為明顯。這表明，上述算法設(shè)計(jì)具有較為理想的可行性。

3 結(jié)束語(yǔ)

綜上，物聯(lián)網(wǎng)模式下的海量數(shù)據(jù)，可通過(guò)分布式存儲(chǔ)給予處理。本次研究提出了智能算法，以數(shù)據(jù)信息和分庫(kù)空間實(shí)時(shí)情況為基準(zhǔn)，通過(guò)不同線路下達(dá)指令快速完成信息處理，以總線技術(shù)、智能技術(shù)等作為支持。仿真實(shí)驗(yàn)中，大量數(shù)據(jù)的存儲(chǔ)較為有效，沒(méi)有出現(xiàn)信道擁堵和信息丟失問(wèn)題，可作為后續(xù)工作的參考。